MosaicML が推論サービスを発表し、ジェネレーティブ AI の展開を手頃な価格に from venturebeat.com

ジェネレーティブ AI インフラストラクチャのプロバイダーであるカリフォルニアに本拠を置く MosaicML は、企業がジェネレーティブ AI モデルを簡単かつ手頃な価格で展開できるように、フルマネージド型の推論サービスを開始しました。
MosaicML は、新しい推論サービスを使用して、企業が独自に構築した LLM をクエリするか、Instructor-XL、Databricks の Dolly、GPT NeoX、MosaicML ファウンデーション シリーズ モデルなどの精選されたオープンソース モデルをクエリするオプションを提供することで、展開を簡素化します。
スターター ティアでは、生成 AI をアプリケーションに追加する際に簡単に開始できるように、MosaicML によってキュレートおよびホストされるオープンソース モデルが API エンドポイントとして提供されます。
エンタープライズ層はさらに一歩進んでおり、チームは、独自のネットワーク (VPC) で特定のユースケースに対応するために開発されたカスタム モデルを含め、必要なモデルをデプロイできます。
MosaicML のコスト評価によると、推論サービスのスターター エディションは、キュレートされたテキスト補完と埋め込みモデルをホストし、OpenAI の製品の 4 分の 1 で、エンタープライズ層は 15 分の 1 であることがわかりました。
スターター層とエンタープライズ層のコスト パフォーマンス MosaicML 推論