Kecerdasan Buatan dan Tantangan Tata Kelola Data: Risiko, Strategi, dan Langkah Lanjut

Posted on3 Weeks ago by Trisma Juwita 89

Tantangan Pengelolaan Data di Era Kecerdasan Buatan

Kecerdasan buatan atau Artificial Intelligence (AI) telah mengubah cara organisasi mengumpulkan, membaca, menganalisis, dan menggunakan data. Jika sebelumnya data lebih banyak diproses dalam sistem yang terstruktur dan terbatas, saat ini AI mampu mengolah data dalam volume besar, dari berbagai sumber, dan dalam waktu yang sangat cepat.

Tantangannya bukan hanya pada besarnya data yang digunakan, tetapi juga pada cara AI menemukan pola, membuat prediksi, dan menghasilkan keputusan dari data tersebut. AI dapat menghubungkan data yang terlihat biasa, seperti riwayat transaksi, lokasi, perilaku digital, pencarian, atau interaksi pelanggan, menjadi informasi yang sangat sensitif tentang seseorang.

NIST menjelaskan bahwa salah satu risiko AI adalah adanya “privacy concerns related to the use of underlying data to train AI systems” atau kekhawatiran privasi terkait penggunaan data dasar untuk melatih sistem AI. Risiko ini menjadi semakin penting karena AI tidak hanya menyimpan data, tetapi juga belajar dari data tersebut dan dapat menghasilkan insight baru yang sebelumnya tidak terlihat secara langsung. (NIST AI 100-1 Artificial Intelligence Risk Management Framework (AI RMF 1.0)) (NIST Publications)

Dengan kata lain, tantangan utama di era AI adalah bagaimana organisasi dapat memanfaatkan AI untuk meningkatkan efisiensi, inovasi, dan kualitas layanan, tetapi tetap memastikan bahwa data digunakan secara aman, etis, transparan, dan terkendali.

Beberapa Risiko AI yang Perlu Dipahami

1. AI dapat menyebabkan profiling yang terlalu dalam
Sistem AI mampu membangun profil individu berdasarkan data perilaku, transaksi, lokasi, histori layanan, atau interaksi digital. Profil ini dapat digunakan untuk memberikan layanan yang lebih personal, tetapi juga dapat menimbulkan risiko jika digunakan untuk membatasi akses, membedakan perlakuan, atau membuat penilaian terhadap seseorang tanpa penjelasan yang memadai.

2. AI dapat menghasilkan keputusan otomatis yang kadang-kadang sulit dijelaskan
Banyak model AI bekerja seperti black box, sehingga pengguna atau bahkan organisasi belum tentu dapat menjelaskan secara sederhana mengapa suatu keputusan dihasilkan. Dalam konteks layanan keuangan, rekrutmen, kesehatan, atau asuransi, hal ini dapat menjadi masalah serius apabila AI digunakan untuk menentukan kelayakan, prioritas layanan, risiko pelanggan, atau rekomendasi keputusan penting.

3. AI memiliki risiko bias dan diskriminasi algoritmik
Jika data yang digunakan untuk melatih AI memiliki ketidakseimbangan, kesalahan historis, atau representasi yang tidak adil, maka AI dapat memperkuat bias tersebut. Kasus Rite Aid menjadi contoh nyata. Federal Trade Commission menyatakan Rite Aid dilarang menggunakan teknologi facial recognition untuk tujuan pengawasan selama lima tahun karena gagal menerapkan prosedur yang memadai dan mencegah kerugian terhadap konsumen. (Federal Trade Commission)

4. AI dapat menimbulkan risiko kebocoran data melalui penggunaan generative AI
Banyak karyawan menggunakan AI publik untuk mempercepat pekerjaan, seperti membuat ringkasan, memperbaiki kode, menganalisis dokumen, atau membuat laporan. Namun, ketika data internal, kode program, informasi pelanggan, atau dokumen rahasia dimasukkan ke tools AI tanpa kontrol, data tersebut dapat keluar dari lingkungan organisasi. Kasus Samsung sering dijadikan contoh, ketika engineer dilaporkan memasukkan source code dan catatan internal ke ChatGPT sehingga menimbulkan risiko kebocoran informasi rahasia. (Incident 768: ChatGPT Implicated in Samsung Data Leak of Source Code and Meeting Notes (AI Incident Database))

5. AI dapat menjadi target serangan baru
Dalam konteks Large Language Model, OWASP menjelaskan bahwa prompt injection dapat memanipulasi respons model untuk mengubah perilakunya. Risiko lainnya adalah sensitive information disclosure, yaitu ketika aplikasi berbasis LLM berisiko mengekspos data sensitif, informasi rahasia, atau detail internal melalui output yang dihasilkan. (LLM01:2025 Prompt Injection (OWASP Gen AI Security Project))

6. AI dapat memperbesar risiko manipulasi data dan model
Data poisoning terjadi ketika data training, fine-tuning, atau embedding dimanipulasi untuk memasukkan bias, backdoor, atau kelemahan tertentu ke dalam model. OWASP menjelaskan bahwa data poisoning dapat menurunkan performa model, menghasilkan konten bias atau berbahaya, dan mengeksploitasi sistem turunan yang menggunakan output AI. (LLM04:2025 Data and Model Poisoning (OWASP Gen AI Security Project))

7. AI dapat menimbulkan risiko excessive agency
Risiko ini muncul ketika AI agent diberikan akses untuk mengambil tindakan, memanggil API, mengambil data, mengirim instruksi, atau menjalankan workflow tanpa batasan yang jelas. Jika tidak dikendalikan, AI tidak hanya menjadi alat bantu analisis, tetapi juga dapat menjadi aktor otomatis yang melakukan tindakan salah, mengambil data berlebihan, atau mengeksekusi keputusan di luar kewenangan yang seharusnya.

Contoh Kasus AI terkait Pelindungan Data Pribadi

Salah satu contoh nyata risiko pelindungan data pribadi dalam penggunaan AI adalah insiden ChatGPT pada Maret 2023. OpenAI menjelaskan bahwa bug pada library open-source menyebabkan sebagian pengguna dapat melihat judul percakapan pengguna lain. Investigasi lanjutan juga menemukan kemungkinan tereksposnya informasi pembayaran sebagian kecil pelanggan ChatGPT Plus, termasuk “first and last name, email address, payment address”. Kasus ini menunjukkan bahwa layanan AI tidak hanya memproses prompt atau percakapan, tetapi juga menyimpan metadata, histori interaksi, dan informasi akun yang termasuk data pribadi. Apabila kontrol keamanan tidak memadai, data tersebut dapat terekspos kepada pihak yang tidak berwenang.

Contoh berikutnya adalah pemeriksaan regulator Italia terhadap ChatGPT. Garante, otoritas pelindungan data Italia, menyatakan adanya isu terkait pengumpulan dan pemrosesan data pribadi untuk melatih algoritma AI. Dalam pernyataannya, regulator menyebut adanya “no legal basis underpinning the massive collection” atas data pribadi untuk training algoritma. Kasus ini penting karena menunjukkan bahwa isu pelindungan data pribadi dalam AI tidak hanya terjadi saat data bocor, tetapi juga sejak tahap data dikumpulkan, digunakan untuk training, dan diproses tanpa informasi yang cukup kepada subjek data. (Artificial intelligence: stop to ChatGPT by the Italian SA Personal data is collected unlawfully, no age verification system is in place for children (gpdp.it))

Kasus Clearview AI juga menjadi contoh yang sangat relevan. Clearview membangun sistem facial recognition dengan mengumpulkan foto wajah dari internet dan mengubahnya menjadi kode biometrik. Otoritas pelindungan data Belanda menyatakan Clearview memiliki “database met ruim 30 miljard foto’s” dan menjatuhkan denda sebesar 30,5 juta euro karena pengumpulan data ilegal untuk pengenalan wajah. Kasus ini menunjukkan bahwa data yang terlihat “publik”, seperti foto di internet, tetap dapat menjadi data pribadi yang sangat sensitif ketika diproses oleh AI untuk identifikasi biometrik. Risiko utamanya bukan hanya kebocoran data, tetapi perubahan tujuan penggunaan data dari konteks sosial menjadi sistem identifikasi dan pelacakan individu.

Kasus Rite Aid di Amerika Serikat juga menunjukkan risiko AI terhadap data biometrik dan hak individu. Federal Trade Commission menyatakan Rite Aid menggunakan teknologi facial recognition untuk pengawasan di ratusan toko tanpa safeguard yang memadai. FTC menyebut sistem tersebut menghasilkan “false-positive matches” dan menggunakan puluhan ribu gambar individu. Risiko pelindungan data pribadi dalam kasus ini tidak hanya terkait pengumpulan gambar wajah, tetapi juga dampaknya terhadap konsumen yang salah diidentifikasi, dicurigai, atau diperlakukan berbeda berdasarkan hasil sistem AI. (Rite Aid Banned from Using AI Facial Recognition After FTC Says Retailer Deployed Technology without Reasonable Safeguards (Federal Trade Commission))

Contoh lain adalah insiden Mixpanel yang berdampak pada pengguna platform API OpenAI pada 2025. OpenAI menjelaskan bahwa insiden pada vendor analytics pihak ketiga menyebabkan tereksposnya “names, email addresses, and OpenAI API metadata”. Walaupun OpenAI menyatakan bahwa chat, API requests, API keys, password, dan payment details tidak terdampak, kasus ini tetap relevan karena menunjukkan bahwa ekosistem AI tidak hanya terdiri dari model AI, tetapi juga vendor analytics, monitoring, integrasi API, dan third-party service lain yang ikut memproses data pengguna. (OpenAI)

Dari berbagai kasus tersebut, dapat dilihat bahwa risiko pelindungan data pribadi dalam AI memiliki beberapa bentuk. Pertama, data pribadi dapat bocor melalui kelemahan teknis pada platform AI. Kedua, data pribadi dapat digunakan untuk training model tanpa transparansi dan dasar pemrosesan yang memadai. Ketiga, data publik dapat berubah menjadi data sensitif ketika diproses menjadi identitas biometrik. Keempat, AI dapat menghasilkan keputusan atau identifikasi yang salah dan berdampak langsung kepada individu. Kelima, risiko tidak hanya berasal dari model AI itu sendiri, tetapi juga dari vendor, integrasi, dan rantai layanan digital yang mendukung penggunaan AI.

Dengan demikian, organisasi yang menggunakan AI perlu melihat pelindungan data pribadi sebagai bagian dari tata kelola AI secara menyeluruh. Kontrol tidak cukup hanya diterapkan pada aplikasi utama, tetapi juga harus mencakup sumber data, proses training, penggunaan prompt, integrasi pihak ketiga, penyimpanan log, akses pengguna, audit output, dan mekanisme penanganan insiden apabila data pribadi terekspos.

Strategi Pengelolaan Risiko AI

1. Membangun tata kelola AI yang jelas

Organisasi perlu memiliki prinsip, kebijakan, peran, dan batasan penggunaan AI. Tata kelola ini harus menjelaskan jenis penggunaan AI yang diperbolehkan, jenis data yang tidak boleh dimasukkan ke AI publik, proses persetujuan use case AI, serta pihak yang bertanggung jawab atas risiko dan kontrolnya.

2. Mengelola data secara aman sepanjang siklus hidup AI

Data yang digunakan dalam AI perlu dikendalikan sejak tahap pengumpulan, pemilihan dataset, training, testing, deployment, monitoring, hingga penghapusan. Prinsip yang perlu diterapkan antara lain data minimization, masking, access control, logging, encryption, dan pembatasan penggunaan data sesuai kebutuhan.

3. Memastikan transparansi dan pengawasan manusia
AI tidak boleh sepenuhnya dibiarkan mengambil keputusan penting tanpa mekanisme review. Untuk use case yang berdampak pada pelanggan, pegawai, atau pihak eksternal, organisasi perlu memastikan adanya human oversight, penjelasan keputusan, mekanisme koreksi, dan jalur eskalasi apabila hasil AI dianggap tidak tepat.

4. Meningkatkan literasi dan kontrol penggunaan AI
Strategi AI tidak cukup hanya dengan teknologi. Organisasi perlu memberikan edukasi kepada karyawan tentang risiko memasukkan data rahasia ke AI publik, risiko bias, risiko output yang salah, dan batasan penggunaan AI dalam pekerjaan sehari-hari. Awareness ini perlu didukung dengan prosedur, panduan praktis, dan monitoring penggunaan AI.

AI Governance dan Risk Control Framework

Salah satu strategi yang perlu diperdalam adalah membangun AI Governance dan Risk Control Framework. Framework ini menjadi fondasi agar AI tidak hanya digunakan secara cepat, tetapi juga aman, terukur, dan dapat dipertanggungjawabkan.

Langkah pertama adalah membuat inventaris seluruh use case AI. Organisasi perlu mengetahui AI digunakan untuk apa, oleh unit mana, menggunakan data apa, terhubung ke sistem apa, dan berdampak kepada siapa. Tanpa inventaris, organisasi akan sulit mengetahui risiko yang muncul dari penggunaan AI.
Langkah kedua adalah melakukan klasifikasi risiko AI. Use case AI dapat dibagi menjadi risiko rendah, sedang, tinggi, atau kritikal. Misalnya, AI untuk membuat draft konten internal mungkin memiliki risiko lebih rendah dibanding AI untuk menentukan kelayakan kredit, deteksi fraud, rekomendasi tindakan hukum, atau pengambilan keputusan otomatis terhadap pelanggan.
Langkah ketiga adalah menetapkan kontrol sesuai tingkat risiko. Untuk use case risiko tinggi, organisasi perlu menerapkan kontrol yang lebih ketat, seperti approval formal, model validation, bias testing, data protection review, security testing, audit trail, dan human-in-the-loop. Sementara untuk use case risiko rendah, kontrol dapat dibuat lebih sederhana tetapi tetap terdokumentasi.
Langkah keempat adalah melakukan monitoring setelah AI digunakan. Risiko AI tidak berhenti saat sistem selesai dibuat. Model dapat mengalami drift, output dapat berubah, data dapat berubah, dan perilaku pengguna juga dapat berubah. Karena itu, organisasi perlu memantau akurasi, fairness, security incident, kualitas output, penggunaan data, dan feedback dari pengguna.
Langkah kelima adalah menyiapkan mekanisme perbaikan. Jika ditemukan output yang salah, bias, kebocoran data, atau penggunaan AI yang tidak sesuai, organisasi perlu memiliki proses koreksi, penghentian sementara, retraining model, perbaikan prompt, pembatasan akses, atau evaluasi ulang terhadap use case tersebut.

Langkah Berikutnya Menuju AI yang Aman dan Bertanggung Jawab

AI bukan lagi teknologi masa depan, tetapi sudah menjadi bagian dari cara organisasi bekerja, mengambil keputusan, dan memberikan layanan. Karena itu, organisasi perlu bergerak dari sekadar mencoba AI menuju penerapan AI yang terarah, aman, dan bertanggung jawab.

Langkah berikutnya adalah mulai menyusun roadmap AI yang jelas. Organisasi dapat memulai dengan mengidentifikasi use case AI yang paling relevan, menilai risiko dari setiap use case, menentukan kontrol minimum, membangun governance, dan menyiapkan kapabilitas tim untuk mengelola AI secara berkelanjutan.

Dengan pendekatan tersebut, AI tidak hanya menjadi alat untuk meningkatkan produktivitas, tetapi juga menjadi bagian dari transformasi digital yang aman, etis, dan dapat dipercaya. Ke depan, organisasi yang siap bukan hanya organisasi yang paling cepat menggunakan AI, tetapi organisasi yang mampu mengelola risiko AI dengan baik sejak awal.