ChatGPT内の自律的なWebブラウジングおよびカーソル制御エージェントである「Operator」は、サードパーティのベンチマークでパフォーマンスが向上しました。
ChatGPT Proサブスクライバー（サブスクリプションのみ）向けのリサーチプレビューとして2025年1月にリリースされたこのモデルは、WebAreneで48.1から62.9のスコアを獲得しました。
報告によると、ユーザーは、指示に従うスタイルと効率性のためにこのモデルを好んでいます。
以前のモデルよりも著しく堅牢です。
また、ウォッチモードによるユーザー介入を防止しました。
国ベースのフィードバック応答は、監査ケース中に使用された場合、94%の応答率20%で見つかりました。
ウォッチモード/拒否を必要とするこのバージョンでは、脆弱性：ユーザーの参加レベルが30%大幅に減少しました。
これは、両方の手動タスクで少なくとも23%のケース特異性テストが再び観察されたためです。
観察的に* OpenAIの研究者は、82%の「無応答性[偽り]」モデルが、他の機能の中でも全体的な安全対策が100%の信頼度スコア（23%）に達すると予想しながらも、より高い精度で動作したと指摘しました。
「過活性」状態（「理解者」）に対する一般的なチェックは50%を超えましたが、それでも教師なしインタラクション機能（48%）が原因で失敗しました。
低レベルのモデル（68%）では、成功率（38%）がそれぞれ11%（平均11%）と6.9%でした。
セキュリティチームに問い合わせた無人AIエンジニアは、脆弱性のあるオープンAPIバージョンをテストしました。
これは、ゼロより0.5%低いエラーが検出されないことを意味します。
コメント