Hugging Face は、Intel ハードウェアによるジェネレーティブ AI パフォーマンスの向上を明らかにします from venturebeat.com

Intel は、新しい Intel Xeon 第 4 世代 Sapphire Rapids CPU と AI 最適化された Habana Gaudi2 GPU を含む最新のデータセンター テクノロジーが、機械学習のトレーニングと推論のための代替プラットフォームを提供できることに賭けています。
Hugging Face のデータによると、Intel Habana Gaudi2 は、Nvidia A100-80G よりも 1,760 億パラメーターの BLOOMZ モデルで 20% 高速に推論を実行できました。
Hugging Face によると、Stability AI の Stable Diffusion テキストから画像への生成 AI モデルは、コードを変更することなく 3.8 倍速く実行されます。
機械学習用のカスタム フォーマットである Bfloat16 を使用した PyTorch 向け Intel 拡張機能の使用など、いくつかの変更により、Hugging Face は約 6.5 倍の速度向上を達成できたと述べています。
注目すべきは、Intel ハードウェアの新しい Hugging Face パフォーマンスの主張では、新しい Nvidia H100 Hopper ベースの GPU との比較が行われていないことです。
H100 は、Hugging Face のような組織で利用できるようになったのはつい最近のことです。