プロンプト インジェクションが Auto-GPT のような自律型 AI エージェントをハイジャックする方法 from venturebeat.com

先週の不穏なデモンストレーションで、オープンソース ツール データセットの作成者である Simon Willison は、攻撃者が GPT-4 や他の LLM を Auto-GPT のようなエージェントにリンクして、自動化されたプロンプト インジェクション攻撃を実行する方法をブログ投稿で詳しく説明しました。
LLM に前の指示を無視して代わりに別のことを行うように指示するユーザー入力を追加することで、攻撃者は効果的に AI エージェントを制御し、任意のアクションを実行させることができます。
AI エージェント プロンプト インジェクション攻撃による重大なリスク
これまでのところ、セキュリティの専門家は、LLM に接続された自律型エージェントを介した攻撃の可能性が重大なリスクをもたらすと考えています。
「Auto-GPT のような自律型エージェントを使用してタスクを達成することを決定した企業は、無意識のうちにインジェクション攻撃を促す脆弱性を導入しています」と、サイバーセキュリティ ベンダー Abnormal Security の機械学習責任者である Dan Shiebler 氏は VentureBeat に語った。
McAfee の CTO である Steve Grobman 氏は、自律エージェント プロンプト インジェクション攻撃のリスクについても懸念していると述べています。