ChatGPT やその他の LLM のしくみと、次に進む可能性がある場所 from WIRED(AI)

ChatGPT、Google Bard、およびそれらのような他のボットは、大規模言語モデル (LLM) の例であり、それらがどのように機能するかを掘り下げる価値があります。
つまり、それらをより有効に活用できるようになり、彼らの得意なこと (そして、彼らが本当に信頼すべきではないこと) をよりよく理解できるようになるということです。
このすべてのテキスト データは、それがどこから来ても、複数のノードとレイヤーで構成される一般的に使用されるタイプの AI エンジンであるニューラル ネットワークを介して処理されます。
ほとんどの LLM は、トランスフォーマーと呼ばれる特定のニューラル ネットワーク アーキテクチャを使用します。
具体的には、トランスフォーマーは膨大な量のテキストを読み取り、単語とフレーズの相互関係のパターンを特定し、次にどの単語が来るかを予測できます。
これにより、他の方法よりも高いレベルの理解が可能になります。