Inflectionは、資金調達を受けたAIスタートアップ企業であり、“個人用AIを提供する”ことを目的としており、そのPi会話エージェントを支える大規模言語モデルを一般公開しました。これらのモデルを評価すること自体が非常に難しく、特に客観的かつ体系的に評価することは困難ですが、競争はいいことです。
モデル名Inflection-1と称される同社のモデルは、GPT-3.5（別名ChatGPT）のサイズと能力を持っており、それらの学習に使用されたコンピューティングパワーの測定値でもあります。同社は、この階層の他のモデルと競争力があるか、あるいはそれ以上だと主張し、その証拠として、同社のモデル、GPT-3.5、LLaMA、Chinchilla、およびPaLM-540Bで実行されたいくつかのベンチマークを記載した“技術的なメモ”を提供しています。
公開された結果によると、試験の中・上級レベル（生物学101など）や“常識”のベンチマーク（“Jackがボールを屋根の上に投げ、Jillが下に戻してくれた場合、ボールはどこにありますか？”など）など、さまざまな測定項目でInflection-1は優れたパフォーマンスを発揮しています。ただし、プログラミングに関しては、GPT-3.5よりも劣っており、比較するとGPT-4の方が競争力があります。OpenAIの最大のモデルは、プログラミングにおいて著しく高品質であることが広く知られています。
Inflectionは、GPT-4やPaLM-2（L）と比較可能なより大規模なモデルの結果を発表することを期待していますが、公開できる価値のある結果が出るまで待っていることでしょう。というわけで、Inflection-2やInflection-1-XLなどが準備されています。
AIモデルを機械学習のボクシングの階級に形式的に分類することは、まだ行われていませんが、概念は非常に適用可能です。フライ級がヘビー級に挑戦することは期待できません。これらは実質的に異なる競技であるためです。同様に、AIモデルも同じです。小型のモデルは大型のモデルほど能力がありませんが、小型のモデルはスマートフォンで効率的に実行されます。一方、大型のモデルはデータセンターが必要です。つまり、これらのモデルの比較はセンスのあるものとなります。
分野自体が比較的若く、AIモデルの大きさや形状についての真のコンセンサスがまだ形成されていないため、このようなことを実施するにはまだ早いと言えます。
もちろん、これらのモデルの多くにおいて、プルーフは実際に使用してみることによって確認する必要があります。Inflectionの謳われた性能に対しては、同社のモデルが広く使用され独立した評価を受けるまでは、確信を持って受け止めることはできません。Piを試したい場合は、メッセージングアプリの一つに追加するか、オンライン上でチャットしてください。
元記事はこちら
