OctoML、生成 AI 向けの自己最適化コンピューティング サービスをデビュー from venturebeat.com

シアトルを拠点とするスタートアップ OctoML は本日、組織が生成 AI アプリケーションを構築および展開できるようにする新しい OctoAI 自己最適化インフラストラクチャ サービスをリリースしました。
これは、パフォーマンスの向上とコストの管理を支援するために、インフラストラクチャ上の ML の展開を最適化することを目的としています。
そこから、同社はモデルの入力を取得し、パッケージをコンテナに最適化するモデル最適化サービスを備えたプラットフォームに進化しました。
新しいサービスの一部は、開発者が構築および拡張するために使用できる、人気のあるオープンソースの大規模言語モデル (LLM) のライブラリです。
「私たちは基本的に、特定のモデルに対して、ハードウェア ターゲットに合わせてモデルを徹底的に最適化し、展開可能なアーティファクトを生成するエンジンを構築しました」と Ceze 氏は言います。
このサービスは、モデルが実行される物理クラウド インフラストラクチャも抽象化します。