AlphaOneはAI開発者にLLMの「思考」を制御しパフォーマンスを向上させる新しいダイヤルを提供します from venturebeat.com

イリノイ大学アーバナ・シャンペーン校の研究者たちは、モデルのコンテキストにトークンを追加することで推論予算を調整するフレームワーク「AlphaOne」を開発した。
このフレームワークにより、開発者は推論中に追加されるトークンの量を、コストのかかる再トレーニングを必要とせずに制御でき、タスク成功率やユーザー満足度などのメンテナンス作業を向上させることができる。
「まずはゆっくり考える…捨て去る」と研究は結論づけているが、より速く考えることで他の手法よりも計算オーバーヘッドが少なく、精度が向上することがわかった。
モデルは、ゆっくり考えるためのトークンを生成するように自動的にトレーニングされる。