AIモデルの圧縮アルゴリズムに取り組んできたヨーロッパのスタートアップ、Pruna AIは、最適化フレームワークを木曜日にオープンソース化します。
Pruna AIは、与えられたAIモデルに対して、キャッシング、プルーニング、量子化、蒸留などの効率化手法を適用するフレームワークを作成しています。
Pruna AIの共同創設者兼CTOであるジョン・ラシュワン氏は、TechCrunchに語ったところによると、「圧縮モデルの保存および読み込みの標準化、これらの圧縮手法の組み合わせの適用、および圧縮後の圧縮モデルの評価も行っています。」
特に、Pruna AIのフレームワークは、モデルを圧縮した後の品質低下やパフォーマンス向上を評価できます。
さらに、ラシュワン氏は、「たとえば、Hugging Faceが変換器とディフューザーを標準化した方法に類似しており、それがどのように呼ばれるか、保存されるか、読み込まれるかなどを取り扱っています。我々は、効率化手法に対して同様のことを行っています。」と付け加えました。
既に大手AI研究所は、さまざまな圧縮手法を使用しています。たとえば、OpenAIは、フラッグシップモデルの高速バージョンを作成するために蒸留に依存しています。
OpenAIがGPT-4 Turboを開発した方法も同様で、Flux.1-schnell画像生成モデルも、Black Forest LabsのFlux.1モデルの蒸留版です。
プルーニングは、大きなAIモデルから知識を抽出するためのテクニックで、「師匠と弟子」モデルを使用します。開発者は師匠モデルにリクエストを送信し、出力を記録します。出力は、データセットと比較して、どのくらい正確かを確認することもあります。これらの出力は、師匠の動作を近似するように訓練された弟子モデルのトレーニングに使用されます。
Pruna AIは、言語モデル、拡散モデル、音声テキストモデル、コンピュータビジョンモデルなど、あらゆる種類のモデルをサポートしていますが、現在は主に画像およびビデオ生成モデルに特化しています。
Pruna AIの既存ユーザーには、ScenarioやPhotoRoomなどが含まれています。オープンソース版に加えて、Pruna AIには最適化エージェントを含むエンタープライズ向けの高度な最適化機能を備えた企業向けオファリングがあります。
ラシュワン氏は、「近日公開予定の最も興味深い機能は、圧縮エージェントです。基本的に、モデルを提供し、『速度を向上させたいが精度が2%以上下がらないようにしてください』と言います。それから、エージェントが自らの魔法を行います。最適な組み合わせを見つけ、返します。開発者としては何もしなくても済みます。」と述べています。
Pruna AIは、プロ版に対して時間ごとに料金を請求しています。「これは、AWSや他のクラウドサービスでGPUを借りる場合と同様です。」とラシュワン氏は述べています。
そして、あなたのモデルがAIインフラストラクチャーの重要な部分である場合、最適化されたモデルを使用することで推論に多くのお金を節約することになります。たとえば、Pruna AIは、その圧縮フレームワークを使用して、Llamaモデルを8倍小さくし、それほど損失は少なかったと述べています。Pruna AIは、その圧縮フレームワークを自己完済する投資と考えてほしいと期待しています。
Pruna AIは、数か月前に650万ドルのシード資金調達を行いました。スタートアップへの投資家には、EQT Ventures、Daphni、Motier Ventures、Kima Venturesなどが含まれています。
元記事はこちら
