Tantangan dan Risiko Penggunaan Agen AI dalam Bisnis Modern

Arahan News - Kecerdasan buatan memasuki era baru dengan munculnya agen AI otonom. Berbeda dengan chatbot tradisional yang hanya menjawab pertanyaan sederhana, agen AI adalah sistem yang mampu mengambil keputusan sendiri, menggunakan perangkat lunak, dan secara mandiri melakukan serangkaian tindakan berurutan.

Biaya operasional "meledak" di luar kendali.

Menurut surat kabar Prancis La Tribune, salah satu kejutan terbesar bagi bisnis saat menggunakan agen AI adalah tantangan finansial. Karena mekanisme operasi berbasis rantai, tugas sederhana dapat memicu puluhan atau ratusan permintaan, menyebabkan jumlah "token" yang digunakan untuk pembayaran meningkat secara eksponensial. Mengontrol token keluaran (konten atau tindakan yang dihasilkan oleh AI) jauh lebih sulit dan mahal daripada mengontrol token masukan.

Contoh yang jelas adalah kasus blogger teknologi Federico Viticci, yang membayar hingga $3.600 hanya dalam satu bulan agar AI secara otomatis mengelola email dan kalendernya.

Selain biaya AI, para pelaku ini terus-menerus mengakses basis data dan mengaktifkan perangkat lunak internal, sehingga memberikan tekanan besar pada infrastruktur teknologi dan menyebabkan tagihan komputasi awan beberapa bisnis meningkat dua kali lipat. Tanpa manajemen yang tepat, penggunaan mereka dapat secara tak terduga meningkatkan biaya API dan komputasi awan.

Risiko yang ditimbulkan oleh agen AI terhadap bisnis.

Otonomi agen AI adalah pedang bermata dua. Karakteristik yang membuat agen AI begitu ampuh juga menghadirkan risiko baru jika tidak dikelola dengan benar. Agen yang tidak diawasi dapat berinteraksi dengan sistem kritis dengan cara yang tidak diinginkan, atau menciptakan kesalahan yang menyebar ke seluruh proses yang saling terhubung. Tidak seperti manusia, agen tidak lelah atau kehilangan fokus; AI yang dikelola dengan buruk dapat berulang kali mengeksekusi instruksi yang salah dan menyebabkan kerusakan yang meluas sebelum ada yang menyadarinya.

Fleksibilitas AI telah menyebabkan peningkatan dramatis dalam "AI bayangan." Menurut survei yang dilakukan oleh Ardoq—platform manajemen Arsitektur Perusahaan berbasis cloud yang membantu organisasi mendigitalkan, memvisualisasikan, dan memahami hubungan antara proses, aplikasi, dan infrastruktur TI—lebih dari 60% karyawan mengakui menggunakan alat AI yang tidak sah, dan 33% karyawan telah menyalin data perusahaan atau pelanggan yang sensitif ke platform AI eksternal.

Karena agen AI membutuhkan akses ke data sensitif agar dapat berfungsi secara efektif, otorisasi yang ceroboh dapat menyebabkan kebocoran data, penyalahgunaan, dan pelanggaran privasi yang serius. Lebih dari 80% pemimpin teknologi mengatakan bahwa penggunaan AI oleh karyawan melampaui kemampuan sistem TI untuk memverifikasi alat-alat ini secara aman. Satu kesalahan atau kekeliruan kecil oleh AI yang terhubung ke sistem kritis dapat memiliki konsekuensi keamanan siber yang signifikan.

Penerapan agen AI juga membawa risiko pelanggaran standar hukum dan etika, seperti Undang-Undang AI Uni Eropa. Agen AI yang nakal dapat membuat keputusan diskriminatif atau menjalankan proses otomatis tanpa log yang diaudit, sehingga perusahaan menghadapi masalah hukum. Selain itu, bisnis juga menghadapi risiko "keterikatan model" ketika mereka terlalu bergantung pada platform pihak ketiga (seperti Microsoft, AWS), sehingga rentan jika vendor mengubah harga, mengalami masalah, atau mengubah ketentuan.

Menghadapi kekurangan-kekurangan ini, tata kelola AI bukan lagi semata-mata tanggung jawab departemen TI, tetapi telah menjadi prioritas wajib di tingkat dewan direksi. Bisnis secara bertahap meninggalkan pola pikir penerapan massal, dan malah membaginya menjadi tim-tim yang lebih kecil yang bertanggung jawab atas tugas-tugas spesifik.

Menurut Ardoq, organisasi perlu mengadopsi tiga pilar utama tata kelola: katalogisasi AI yang komprehensif, menjaga konteks yang kuat, dan memastikan kemampuan untuk menjelaskan.

Buat katalog komprehensif untuk memastikan tidak ada AI yang beroperasi secara sembunyi-sembunyi dengan memantau setiap alat AI yang digunakan.

Pastikan adanya keterjelasan . Setiap keputusan yang dibuat oleh AI harus dapat dilacak dan diverifikasi oleh manusia, sehingga menjamin transparansi dan kepatuhan terhadap peraturan.

Agen AI saat ini ibarat karyawan otomatis yang sangat potensial namun belum berpengalaman. Mereka bukanlah semacam "keajaiban teknologi" yang dapat diterapkan secara sembarangan. Keberhasilan suatu perusahaan tidak terletak pada kecepatan penerapan AI, tetapi pada kemampuannya untuk mengoperasikannya dengan aman, stabil, dan terkendali dalam ekosistem yang semakin kompleks.

Hien Thao

Sumber: https://doanhnghiepvn.vn/cong-nghe/ai-agent-trong-doanh-nghiep-khi-phep-mau-cong-nghe-di-kem-rui-ro-khon-luong/20260227085629445