清華大学とバイトダンスの研究者らは、機械が音声、音声、音楽などのオーディオ入力を理解して推論できるようにする、SALMONN と呼ばれる新しい人工知能システムを開発しました。
このシステムは特殊な AI モデルを使用しており、1 つは音声処理用で、もう 1 つは音声プロンプトに対するテキスト応答を生成できます。
「SALMonNはあらゆる種類の音声出力を認識し、理解することができる」と研究者らは書いている。
さらに、このシステムは、音声からテキストへの翻訳に関する明示的なトレーニングを行わなくても、音声コマンドを聞くことができます。
コメント