すべての AI プロンプトが何秒も考える価値があるわけではありません: Meta がモデルに優先順位をどのように教えているか from venturebeat.com

クエリの難易度に基づいて推論予算を割り当てるように AI モデルをトレーニングする新しい手法が提案されています。
「順次投票」(SV) プロセスでは、モデルが複数の回答を生成し、最も頻繁に繰り返される回答を選択するよう求められます。
これにより、応答が高速化され、コストが削減されます。
ただし、IBPO (緑色の円) には追加の命令とトークン生成が必要です。
同じ数字の答えを生成する場合、数学コンテストの問題では従来の MV よりも優れたパフォーマンスを発揮します。
コメント