Auditor Eksternal Kini Bisa Mengaudit Model AI Anthropic

Verdict Cepat: Akses Setara Karyawan, Publikasi Tanpa Veto

Anthropic memberi enam staf METR akses yang setara dengan tim penilai risiko internalnya. Akses itu mencakup perangkat keras perusahaan, ruang kerja, dan sistem internal. METR bisa mempublikasikan penilaian risiko, laporan insiden, dan tinjauan praktik tanpa persetujuan Anthropic. Anthropic hanya bisa meminta redaksi untuk kategori sempit yang sudah ditetapkan sejak awal, yaitu data pelanggan, materi yang dilindungi hak istimewa hukum, dan detail arsitektur model.

Arti praktisnya ada di satu kalimat. Pengawasan eksternal di sini bukan sekadar membaca laporan yang sudah jadi, melainkan bekerja dari dalam proses penilaian risiko. Saya menilai langkah ini sebagai patokan baru untuk transparansi sukarela di industri model frontier, dengan satu catatan besar. Patokan ini tetap sukarela, dan Anthropic sendiri yang memilih evaluatornya. Pembaca perlu menilai hasil evaluasi berikutnya dari isi temuannya, bukan dari label aksesnya.

Apa yang Sebenarnya Diberikan Anthropic kepada METR

METR adalah singkatan dari Model Evaluation and Threat Research. Lembaga nirlaba yang berbasis di Berkeley ini menilai kemampuan model frontier, terutama kemampuan menjalankan tugas jangka panjang dan tugas agen yang bisa menimbulkan risiko besar. METR berdiri dari ARC Evals, lalu menjadi lembaga nirlaba independen pada Desember 2023. Pendiri dan CEO-nya adalah Beth Barnes, mantan peneliti alignment di OpenAI.

Dalam susunan baru ini, enam staf METR menerima perangkat keras dari Anthropic dan ruang kerja di kantor perusahaan. Staf Anthropic didorong berbagi informasi dengan tim METR seperti berbagi dengan rekan kerja di tim risiko alignment. Akses internal itu diklaim setara dengan akses tim penilai risiko Anthropic sendiri. Batasnya jelas. Data pelanggan tetap di luar jangkauan. Materi yang dilindungi hak istimewa hukum tetap di luar jangkauan. Detail arsitektur model memerlukan persetujuan khusus bila relevan dengan penilaian.

Bagian publikasi adalah pembeda utama. METR bisa menerbitkan penilaian risiko tanpa veto Anthropic. Bila Anthropic meminta redaksi, METR bisa menyatakan secara publik apakah redaksi itu dinilai beralasan, tanpa membuka materi yang dilindungi. Mekanisme itu penting. Tanpa hak publikasi yang tertulis, akses dalam sering berubah menjadi akses yang sopan tapi tidak berdaya, karena evaluator takut kehilangan akses bila temuannya tajam.

Anthropic membandingkan susunan ini dengan pengawas bank yang menempatkan pemeriksa tetap di dalam institusi yang diawasi. Analogi itu berguna, tapi juga menunjukkan batasnya. Pemeriksa bank bekerja berdasarkan mandat hukum dan kewenangan penegakan. Tim METR bekerja berdasarkan kesepakatan sukarela dengan perusahaan yang dinilainya. Kesamaan ada pada kedekatan akses, perbedaannya ada pada kekuatan hukum di belakang akses itu.

Kerangka Tiga Tingkat: Siapa Dapat Akses Seberapa Dalam

Anthropic tidak memberi semua evaluator akses yang sama. Perusahaan memperkenalkan kerangka tiga tingkat yang mengatur kedalaman akses dan hak publikasi. METR berada di tingkat tertinggi. Dua evaluator lain yang disebut dalam pengumuman berada di tingkat yang lebih rendah, dengan ruang untuk naik tingkat bila kerja sama berlanjut.

Baca juga:

3 Proyek AI Mahasiswa Indonesia yang Didukung NVIDIA

SecureBio adalah lembaga nirlaba biosekuriti yang meninjau bab senjata kimia dan biologi dari laporan risiko Anthropic. SecureBio sebelumnya menilai laporan risiko Februari dan menilai risiko model Claude Opus 4.6 sebagai sangat rendah tapi tidak bisa diabaikan untuk ancaman yang sudah ada, serta rendah tapi tidak pasti untuk risiko baru. Unit Faculty dari Accenture menangani evaluasi yang lebih luas dan pengujian adversarial. Anthropic dan Accenture dilaporkan masing-masing berencana menginvestasikan sedikitnya 1 miliar dolar Amerika Serikat selama lima tahun untuk evaluasi model, pengujian adversarial, penilaian alignment, dan pengujian pengaman.

Kerangka bertingkat ini menjawab kritik lama terhadap evaluasi pihak ketiga. Selama ini, banyak evaluasi dilakukan dari luar dengan akses API terbatas dan perjanjian kerahasiaan yang ketat. Evaluator bisa menguji keluaran model, tapi sulit memeriksa proses internal, data insiden, dan keputusan pengaman yang tidak terlihat dari luar. Tingkat 3 mencoba menutup celah itu, setidaknya untuk satu evaluator, pada satu perusahaan, dalam satu periode kerja sama.

Mengapa Model Ini Muncul Sekarang

Pengumuman ini tidak berdiri sendiri. CEO Anthropic Dario Amodei sebelumnya menulis esai yang menyerukan langkah evaluasi independen yang lebih kuat. Anthropic juga menandatangani White House Accord on Super Intelligence, sebuah kesepakatan di mana perusahaan penandatangan berjanji bekerja sama dengan auditor atau evaluator eksternal yang independen. Janji itu menjadi latar politiknya. Susunan METR menjadi bukti pelaksanaannya.

Tekanan lain datang dari sisi pasar dan regulasi. Laporan Reuters yang dikutip berbagai media mencatat bahwa Anthropic dan OpenAI sempat meminta kendali besar atas apa yang boleh diterbitkan evaluator luar, karena khawatir temuan bisa membocorkan rahasia dagang. Negosiasi kemudian bergeser ke arah yang lebih terbuka. Hasil akhirnya adalah hak publikasi tanpa veto, dengan redaksi terbatas. Pergeseran itu menunjukkan tarik menarik yang nyata antara kerahasiaan perusahaan dan kebutuhan publik untuk memeriksa klaim keamanan.

OpenAI dilaporkan sedang memfinalisasi kontrak dengan organisasi yang akan menilai modelnya. Kabar itu penting karena mengubah susunan METR dari langkah tunggal menjadi kemungkinan standar industri. Bila dua laboratorium frontier memakai evaluator eksternal dengan hak publikasi yang jelas, laboratorium lain akan sulit mempertahankan model evaluasi tertutup tanpa menjelaskan alasannya. Standar tidak terbentuk dari satu pengumuman, tapi dari pola yang berulang dan bisa dibandingkan.

Bagi pembaca di Indonesia, konteks ini relevan karena model yang sama dipakai untuk menulis, mendesain, mengode, dan melayani pelanggan. Keputusan keamanan yang dibuat di laboratorium di Amerika Serikat memengaruhi produk yang dipakai setiap hari. Akses evaluator yang lebih dalam berarti klaim keamanan produk itu bisa diuji oleh pihak yang tidak digaji perusahaan, meski tetap dalam batas kesepakatan sukarela.

Seberapa Independen Evaluator yang Dipilih Perusahaan

Pertanyaan tersulit bukan soal akses, melainkan soal independensi. Anthropic memilih METR. Anthropic memberi aksesnya. Anthropic menetapkan kategori redaksi. Susunan itu menimbulkan pertanyaan yang sah. Seberapa kritis sebuah evaluasi bila perusahaan yang dinilai memegang kunci aksesnya.

Baca juga:

Model AI Open-Weight Meta Kini Bisa Jalan di Mac

METR punya jawaban struktural untuk pertanyaan itu. Lembaga ini menyatakan tidak menerima bayaran dari perusahaan AI yang modelnya dinilai. Pendanaan METR berasal dari yayasan filantropi dan donatur individu, bukan dari laboratorium yang diaudit. Laporan yang dikutip media menyebut METR mengumpulkan sekitar 71 juta dolar Amerika Serikat dalam bentuk komitmen selama enam bulan sebelumnya, dari sumber filantropi. Struktur pendanaan seperti itu dirancang untuk menghindari masalah klasik dalam audit keuangan, di mana auditor dibayar oleh perusahaan yang diauditnya.

Meski begitu, independensi pendanaan tidak menghapus semua konflik. Staf METR mencakup mantan karyawan perusahaan AI besar, termasuk Anthropic. Kedekatan latar belakang bisa membantu evaluator memahami sistem internal dengan cepat, tapi juga bisa mengaburkan jarak kritis. Pemisahan internal menjadi pengaman tambahan. Staf METR di luar tim yang ditempatkan di Anthropic dipisahkan dari pekerjaan tersebut, sehingga temuan tidak bocor ke pekerjaan evaluasi lain sebelum waktunya.

Pengaman lain ada pada transparansi redaksi. Bila Anthropic meminta redaksi, METR bisa mempersoalkannya di depan publik tanpa membuka materi yang dilindungi. Mekanisme itu memberi insentif bagi Anthropic untuk memakai redaksi secara hemat. Setiap redaksi yang dipersoalkan secara publik menjadi catatan tersendiri. Catatan itu bisa dibaca publik dan dibandingkan dengan laporan berikutnya.

Batas terakhir tetap perlu disebut. Tidak ada undang-undang yang memaksa susunan ini. Tidak ada regulator yang bisa menjatuhkan sanksi bila kerja sama dihentikan. Akses ini kuat selama kedua pihak mempertahankannya. Kekuatan itu nyata, tapi sifatnya kontraktual dan reputasional, bukan legal. Pembaca yang menilai klaim keamanan model perlu membedakan tiga hal, yaitu akses, hak publikasi, dan kewenangan penegakan. Susunan METR kuat pada dua hal pertama dan lemah pada hal ketiga.

Apa Artinya bagi Pengguna, Desainer, dan Pembuat Konten

Evaluasi yang lebih dalam tidak mengubah cara memakai model dalam semalam. Pengaruhnya muncul lewat laporan risiko, kartu sistem, dan keputusan produk yang merujuk pada temuan evaluator. Bila METR menemukan risiko pada tugas agen jangka panjang, misalnya kemampuan model menyusun rencana multi langkah tanpa pengawasan, temuan itu bisa memengaruhi batasan produk, peringatan penggunaan, dan prioritas perbaikan. Pengguna merasakan dampaknya sebagai fitur yang dibatasi, peringatan yang lebih jelas, atau dokumentasi yang lebih jujur soal keterbatasan model.

Bagi desainer dan pembuat konten, pelajaran praktisnya ada pada cara membaca klaim keamanan. Klaim yang menyebut model sudah dievaluasi pihak ketiga perlu ditindaklanjuti dengan empat pertanyaan. Siapa evaluatornya. Seberapa dalam aksesnya. Apakah evaluator bisa terbit tanpa persetujuan perusahaan. Apa saja yang boleh diredaksi. Empat pertanyaan itu membedakan evaluasi yang bisa diuji dari sekadar stempel kepercayaan. Artikel ini memakai kerangka itu untuk menilai susunan METR, dan pembaca bisa memakai kerangka yang sama untuk menilai klaim dari laboratorium lain.

Topik ini juga terhubung dengan perdebatan yang lebih luas soal agen AI. Agen yang diberi akses ke sistem, berkas, dan akun membawa risiko yang berbeda dari chatbot yang hanya menjawab pertanyaan. Pembahasan soal risiko akses sistem pada AI agent menunjukkan mengapa batasan dan pengawasan menjadi penting saat agen mulai bertindak, bukan sekadar menjawab. Evaluator yang bisa melihat proses internal lebih mungkin menemukan kegagalan pada rantai tindakan agen, bukan hanya pada satu jawaban yang salah.

Baca juga:

Mengapa Situs Web Menutup Pintu untuk AI Agent

Perdebatan soal keterbukaan web juga relevan. Saat banyak situs menutup pintu untuk AI agent, pertanyaan tentang siapa yang boleh mengakses apa menjadi semakin sentral. Di satu sisi, perusahaan AI meminta akses ke konten web. Di sisi lain, perusahaan AI diminta membuka akses bagi evaluator ke sistem internalnya. Dua arah akses itu tidak simetris, tapi keduanya memakai logika yang sama, yaitu akses tanpa aturan yang jelas akan merugikan pihak yang lebih lemah. Aturan akses yang tertulis, bertingkat, dan bisa diaudit publik adalah jawaban yang lebih baik daripada sekadar kepercayaan.

Bagi tim yang memakai model open weight, konteksnya berbeda tapi pelajarannya sama. Artikel soal model AI open weight yang bisa jalan di Mac menunjukkan sisi lain dari keterbukaan, yaitu bobot model yang bisa diperiksa siapa saja. Keterbukaan bobot tidak sama dengan evaluasi independen. Model terbuka bisa diperiksa banyak orang, tapi pemeriksaan itu tersebar dan tidak selalu sistematis. Evaluator tertanam seperti METR menawarkan pemeriksaan yang sistematis, tapi hanya untuk model tertentu dan dalam kerja sama tertentu. Dua pendekatan itu saling melengkapi, bukan saling menggantikan.

Perangkat AI yang makin menyatu dengan aktivitas harian menambah alasan mengapa evaluasi independen penting. Pembahasan soal perangkat AI pengganti aplikasi menggambarkan masa depan di mana asisten bekerja di latar tanpa layar yang jelas. Saat asisten makin tidak terlihat, kemampuan pengguna untuk memeriksa perilakunya makin kecil. Evaluator independen menjadi salah satu mata tambahan yang bisa memeriksa perilaku itu sebelum produk sampai ke tangan pengguna.

Apa yang Perlu Diperhatikan dari Laporan Berikutnya

Laporan METR berikutnya adalah ujian pertama bagi susunan ini. Pembaca tidak perlu menunggu laporan yang sempurna. Pembaca perlu memeriksa beberapa tanda. Apakah laporan menyebut akses tingkat 3 secara eksplisit. Apakah laporan memuat temuan yang tidak nyaman bagi Anthropic. Apakah ada redaksi yang dipersoalkan secara publik. Apakah laporan membandingkan temuan dengan laporan risiko Anthropic sendiri. Empat tanda itu memberi gambaran apakah akses dalam benar-benar menghasilkan pengawasan yang tajam.

Tanda lain adalah konsistensi lintas evaluator. SecureBio menilai bab biosekuriti. Faculty menilai pengujian adversarial. METR menilai risiko secara lebih luas dari dalam. Bila ketiga jalur itu menghasilkan gambaran yang saling menguatkan, kepercayaan pada kesimpulan naik. Bila ketiganya diam pada isu yang sama, publik berhak bertanya apakah celah itu luput dari semua jalur atau sengaja tidak dibahas. Perbandingan lintas sumber adalah cara paling murah untuk menguji klaim keamanan tanpa akses internal.

Perlu juga memperhatikan apa yang tidak dinilai. Evaluasi model bukan evaluasi seluruh perusahaan. Keputusan bisnis, kebijakan produk, dan insiden operasional bisa luput dari penilaian model. Laporan risiko yang baik menyebut batas penilaiannya secara eksplisit. Laporan yang menyembunyikan batas itu, atau memakai bahasa yang terlalu umum, perlu dibaca dengan curiga. Spesifikasi adalah teman pembaca. Generalisasi adalah tempat masalah bersembunyi.

Saya juga menyarankan pembaca untuk membedakan antara penilaian pra peluncuran dan pemantauan pasca peluncuran. Model berubah lewat pembaruan, penyetelan, dan perubahan pengaman. Penilaian yang dilakukan sekali sebelum peluncuran tidak cukup untuk produk yang terus berubah. Susunan METR yang menempatkan staf di dalam perusahaan memberi peluang pemantauan berkelanjutan, tapi peluang itu hanya berarti bila laporan berkala benar-benar terbit. Satu laporan awal yang bagus, tanpa laporan lanjutan, belum membuktikan sistem pengawasan yang hidup.

Baca juga:

AI Agent di Chat Harian: Integrasi WhatsApp dan Telegram

Kesimpulan dan CTA: Cara Membaca Laporan Evaluasi Berikutnya

Anthropic memberi METR akses setara karyawan dan hak publikasi tanpa veto, dalam kerangka tiga tingkat yang menempatkan SecureBio dan Faculty pada tingkat yang lebih rendah. Langkah ini melampaui evaluasi dari luar yang selama ini umum, karena evaluator bisa melihat proses internal dan menerbitkan temuan tanpa persetujuan perusahaan. Batasnya juga jelas. Susunan ini sukarela, dipilih perusahaan, dan tanpa kewenangan penegakan hukum. Kekuatan dan batas itu perlu dibaca bersamaan.

Untuk pembaca yang memakai model AI untuk kerja kreatif dan bisnis, langkah praktisnya sederhana. Saat laboratorium mengklaim modelnya aman karena sudah dievaluasi pihak ketiga, tanyakan empat hal, yaitu siapa evaluatornya, seberapa dalam aksesnya, apakah publikasi perlu persetujuan, dan apa yang boleh diredaksi. Simpan jawaban itu, lalu bandingkan dengan laporan berikutnya. Bila jawaban berubah tanpa penjelasan, anggap itu sinyal, bukan detail administratif.

Saya merekomendasikan pembaca untuk mengikuti tiga sumber utama soal susunan ini, yaitu laporan Reuters tentang akses setara karyawan untuk METR, penjelasan kerangka tiga tingkat dari Anthropic yang dirangkum berbagai media, dan profil METR sebagai lembaga evaluasi nirlaba. Tautan eksternal di artikel ini mengarah ke laporan Reuters tentang akses METR, penjelasan kerangka tiga tingkat Anthropic, rincian akses dan hak publikasi METR, peran SecureBio dan Faculty, analisis independensi METR, dan profil METR. Baca laporan aslinya bila sempat, lalu kembali ke artikel ini untuk membandingkan klaim dengan kerangka empat pertanyaan di atas.

Bila artikel ini membantu, bagikan ke rekan yang memakai AI untuk kerja harian dan simpan sebagai rujukan saat laporan evaluasi berikutnya terbit. Pengawasan yang baik tidak lahir dari satu pengumuman, melainkan dari pembaca yang terus bertanya, membandingkan sumber, dan menuntut temuan yang spesifik. Mulai dari laporan METR berikutnya, dan ukur susunan ini dari temuannya, bukan dari janji aksesnya.