Anthropic、外部の評価団体METRに社員並みのアクセスを許可。Claudeの安全性を第三者が点検
30秒でわかる
- AIの危険性を外から評価する非営利団体METRの6人に、社内のリスク評価チームとほぼ同じ水準で、社内のツールやシステムの利用を認めた
- METRは調べた結果を公表でき、Anthropicは公表を拒否できない。ただし機密の技術情報など、事前に決めた種類の情報は伏せるよう求められる
- SecureBio、Accenture、Faculty、Hugging Faceなど、ほかの評価機関とも協力を進めている
何が変わった
Anthropicは10月15日、Claudeの安全性を社外の第三者に点検してもらう取り組みの現状を公開しました。中心はMETR(最先端AIの危険性を評価する非営利団体)との協力です。METRの6人には会社の端末と作業場所が用意され、社内のリスク評価チームとほぼ同じ水準で、社内のツールやシステムを使えるようになりました。METRはリスクの水準や事故、Anthropicの取り組みについて分析を公表でき、Anthropicは公表そのものを拒否できません。伏せるよう求められるのは、機密の技術情報など事前に決めた種類に限られます。ほかにSecureBioが化学・生物兵器に関するリスク報告の章を点検しており、AccentureやFacultyとはモデルの評価や安全対策のテストで協力する準備を進めています。Hugging Faceなどとは初期段階の話し合いをしています。Anthropicは、安全に関する情報には悪用につながるものや商業上の機密もあってすべては公開できないため、外部の評価者が社内と同じくらい理解できる状態を目指すと説明しています。銀行の監督官が大手銀行に常駐する仕組みにたとえています。
誰に関係する
Claudeの使い方が変わる話ではありません。AIの安全性がどう確かめられているかを知りたい人向けの話題です。