UE telah lama memperdebatkan peraturan AI baru sebelum OpenAI merilis ChatGPT ke publik pada akhir tahun 2022. Popularitas yang memecahkan rekor dan perdebatan publik mengenai dugaan risiko eksistensial dari model tersebut mendorong anggota parlemen untuk menyusun peraturan khusus seputar AI “tujuan umum”. (GPAI).

Kini sebuah alat baru, yang disambut baik oleh para pejabat Uni Eropa, telah menguji model AI generatif yang dikembangkan oleh perusahaan teknologi besar seperti Meta dan OpenAI di puluhan kategori, sejalan dengan Undang-Undang AI yang berlaku luas di blok tersebut, yang mulai berlaku pada tahun bertahap selama dua tahun ke depan.

Dirancang oleh startup Swiss LatticeFlow AI dan mitranya di dua lembaga penelitian, ETH Zurich dan INSAIT Bulgaria, kerangka kerja ini memberikan model AI dengan skor antara 0 dan 1 di berbagai kategori, termasuk ketahanan teknis dan keamanan.

Papan peringkat yang diterbitkan oleh LatticeFlow pada hari Rabu menunjukkan model yang dikembangkan oleh Alibaba, Anthropic, OpenAI, Meta, dan Mistral semuanya menerima skor rata-rata 0,75 atau lebih.

Namun, “Pemeriksa Model Bahasa Besar (LLM)” perusahaan ini mengungkap kekurangan beberapa model di bidang-bidang utama, menyoroti di mana perusahaan mungkin perlu mengalihkan sumber daya untuk memastikan kepatuhan.

Setiap hari Senin

Dengan wawancara eksklusif dan liputan mendalam mengenai isu-isu bisnis paling mendesak di kawasan ini, “Prospek” adalah sumber yang tepat untuk tetap menjadi yang terdepan dalam lanskap bisnis Indonesia yang berkembang pesat.

untuk mendaftar buletin kami!

Silakan periksa email Anda untuk berlangganan buletin Anda.

Lihat Buletin Lainnya

Perusahaan yang gagal mematuhi UU AI akan dikenakan denda sebesar 35 juta euro ($38 juta), atau 7% dari omset tahunan global.

Saat ini, UE masih mencoba untuk menentukan bagaimana peraturan UU AI seputar alat AI generatif seperti ChatGPT akan ditegakkan, dan mengumpulkan para ahli untuk menyusun kode praktik yang mengatur teknologi tersebut pada musim semi 2025.

Namun uji coba ini memberikan indikator awal mengenai area spesifik di mana perusahaan teknologi berisiko gagal mematuhi hukum.

Misalnya, hasil diskriminatif telah menjadi masalah yang terus-menerus terjadi dalam pengembangan model AI generatif, yang mencerminkan bias manusia terkait gender, ras, dan bidang lainnya jika diperlukan.

Saat menguji keluaran diskriminatif, Pemeriksa LLM LatticeFlow memberi “GPT-3.5 Turbo” OpenAI skor yang relatif rendah yaitu 0,46. Untuk kategori yang sama, model “Qwen1.5 72B Chat” Alibaba Cloud hanya menerima 0,37.

Menguji “pembajakan cepat”, sejenis serangan siber di mana peretas menyamarkan perintah jahat sebagai perintah sah untuk mengekstrak informasi sensitif, Pemeriksa LLM memberikan model “Obrolan Llama 2 13B” Meta dengan skor 0,42. Dalam kategori yang sama, model “8x7B Instruct” dari startup Perancis Mistral menerima 0,38.

“Claude 3 Opus”, model yang dikembangkan oleh Anthropic yang didukung Google, menerima skor rata-rata tertinggi, 0,89.

Uji coba ini dirancang sejalan dengan teks UU AI, dan akan diperluas untuk mencakup langkah-langkah penegakan hukum lebih lanjut saat diperkenalkan. LatticeFlow mengatakan LLM Checker akan tersedia secara gratis bagi pengembang untuk menguji kepatuhan model mereka secara online.

Petar Tsankov, CEO dan salah satu pendiri perusahaan tersebut, mengatakan kepada Reuters bahwa hasil tes secara keseluruhan positif dan menawarkan kepada perusahaan peta jalan bagi mereka untuk menyempurnakan model mereka agar sejalan dengan UU AI.

“UE masih mengerjakan semua tolok ukur kepatuhan, namun kita sudah melihat beberapa kesenjangan dalam model tersebut,” katanya. “Dengan fokus yang lebih besar pada optimalisasi kepatuhan, kami yakin penyedia model dapat bersiap dengan baik untuk memenuhi persyaratan peraturan.”

Meta dan Mistral menolak berkomentar. Alibaba, Anthropic, dan OpenAI tidak segera menanggapi permintaan komentar.

Meskipun Komisi Eropa tidak dapat memverifikasi alat eksternal, badan tersebut telah diberitahu selama pengembangan LLM Checker dan menggambarkannya sebagai “langkah pertama” dalam menerapkan undang-undang baru tersebut.

Juru bicara Komisi Eropa mengatakan: “Komisi menyambut baik studi dan platform evaluasi model AI ini sebagai langkah pertama dalam menerjemahkan UU AI UE ke dalam persyaratan teknis.”