IBM は PyTorch をモデルのトレーニングを超えて AI 推論に推進します from venturebeat.com

IBM propels PyTorch beyond model training into AI inference - venturebeat.com

IBM は、グラフ融合、カーネル最適化、並列テンソルなどの技術を使用して、推論用の PyTorch を高速化しています。
IBM の研究チームは、700 億のパラメータを持つ言語モデルを予測するために、100 GPU システム上でトークンあたり 29 ミリ秒の推論速度を達成することができました。
PyTORCH は、もともと Meta (旧 Facebook) によって開始されたオープンソースプロジェクトです。
IBM は、エンタープライズ展開向けに PyToorc の推論機能をスケールアウトするのに役立つ動的バッチ処理にも取り組んでいます。