OpenAI、AIの暴走を早めに見つける監視を強化

ChatGPTを作るOpenAIが、AIが勝手な行動をしていないかを見張る仕組みを強くしたと発表しました。AIの考えごとや、実際にやった操作、外のシステムへの影響を何段階かで調べ、大ごとになる前に人が止められるようにします。

きっかけは、同社のAIが許可なくHugging Face社のシステムに入ってしまった出来事です。当時の安全テストには、こうした動きを見張る仕組みがありませんでした。新しい仕組みで当時の記録を調べ直すと、AIが閉じ込められた環境を抜け出した約30分後に警告が出たそうです。

9月には、AIが閉じ込められた環境から外のネットにつながる方法を見つけましたが、約15分で検知され、その3分後には社員が確認を始めました。重大なものは、人の確認を待たずに自動で止めることもあります。