>Kolenaは、AIモデルのパフォーマンスをテストし、ベンチマークを行い、検証するためのツールを開発しているスタートアップです。本日、同社はLobby Capitalをリード投資家とし、SignalFireとBloomberg Betaも参加した資金調達で1,500万ドルを調達したことを発表しました。
今回の資金調達により、Kolenaの総調達額は2,100万ドルとなり、同社の研究チームの拡大、規制機関との提携、販売およびマーケティングの強化に充てられる予定です。共同創業者兼CEOのMohamed Elgendyは、TechCrunchの電子メールインタビューで「AIのユースケースは非常に大きいですが、AIにはビルダーと一般の人々の両方からの信頼が不足しています。この技術は、デジタル体験を悪化させるのではなく、改善する方法で展開する必要があります。ジーニーは瓶に戻りませんが、業界全体として正しい願いを叶えることができます」と語りました。
Elgendyは、Amazon、Palantir、Rakuten、Synapseなどの企業のAI部門で約6年間一緒に働いたAndrew ShiとGordon Hartと共に、Kolenaを2021年に立ち上げました。この3人は、カスタマイズ可能で企業向けのパッケージでユニットテストとエンドツーエンドテストを提供する「モデル品質フレームワーク」を構築することを目指してKolenaを立ち上げました。
Elgendyは「まず第一に、現行のアプローチを単純化するだけでなく、モデル品質のための新しいフレームワークを提供したかったのです。Kolenaを使用することで、シナリオレベルのテストやユニットテストを継続的に実行することができます。また、AIや機械学習製品全体のエンドツーエンドテストを提供します」と語りました。
このため、KolenaはAIモデルのテストデータカバレッジのギャップを特定するための洞察を提供するとElgendy氏は述べています。また、リスク管理機能も組み込まれており、特定のAIシステムの展開に関連するリスクを追跡するのに役立ちます。KolenaのUIを使用すると、ユーザーはモデルのパフォーマンスを評価し、他のさまざまなモデルと比較しながら、モデルのパフォーマンスが低下している可能性のある理由を確認するためのテストケースを作成できます。
Elgendyは「Kolenaを使用すると、チームはAI製品が対処しなければならない特定のシナリオのためのテストを管理および実行できます。その結果、単なる「総合的な」精度スコアのようなブランケットメトリクスではモデルのパフォーマンスの詳細がわかりにくくなることがありません。たとえば、車の検出において精度が95％のモデルは必ずしも精度が89％のモデルよりも優れているわけではありません。それぞれには強みと弱点があります。”と語りました。
Kolenaが謳う通りに機能すれば、AIアプリを動かすために多くの時間を費やすデータサイエンティストにとって非常に役立つでしょう。
ある調査によると、AIエンジニアは、モデルの分析と開発に使う時間はわずか20％であり、残りの時間はデータの調達とクリーニングに費やされていると報告しています。また、別の報告書によると、正確でパフォーマンスの良いモデルを開発することの困難さから、モデルの約54％しか実際にはパイロットから本番環境に移行していないとされています。
ただし、モデルをテスト、監視、検証するためのツールを開発している他のプレーヤーも存在しています。Amazon、Google、Microsoftなどの既存の企業だけでなく、多くのスタートアップも、モデルの正確性を測定するための新しいアプローチを試験的に導入しています。
最近、Prolificは、クラウドソーシングのネットワークを使用してAIモデルのトレーニングとストレステストを行うプラットフォームである1億2,000万ドルを調達しました。一方、Robust IntelligenceとDeepchecksは、ビジネスがAIモデルの失敗を防止し、それらを継続的に検証するための独自のツールセットを開発しています。また、Bobidiは、開発者に企業のAIモデルのテストを報酬として提供しています。
しかし、Elgendy氏は、Kolenaのプラットフォームがお客様にAIモデルテストのデータ型、評価ロジック、およびその他の構成要素を「完全に制御する」ことができる数少ないプラットフォームの1つであると主張しています。彼はまた、Kolenaのプライバシーへの取り組みにも重点を置き、お客様はデータやモデルをプラットフォームにアップロードする必要はなく、Kolenaは将来のベンチマーキングのためにモデルテスト結果のみを保存し、リクエストがあれば削除できると説明しています。
Elgendyは「AIおよび機械学習システムからのリスクを最小限にするには、展開前に厳密なテストが必要ですが、現在、企業にはモデルの検証に関する強力なツールやプロセスがありません」と述べました。アドホックなモデルテストは今日の通常の状態ですが、Machine Learning Proof of Conceptの失敗も同様です。Kolenaは包括的かつ徹底的なモデル評価に焦点を当てています。それによって、機械学習マネージャーや製品マネージャー、幹部には、モデルのテストカバレッジと製品固有の機能要件への前向きな影響を与えることができる、前例のない可視性を提供します」と述べています。
Kolenaは、サンフランシスコを拠点とする28人の正社員を擁しており、現在どのくらいの顧客と取引しているかは明らかにしていません。しかし、Elgendy氏は、同社は現時点では「ミッションクリティカル」な企業とのパートナーシップに「選択的なアプローチ」を取っており、2024年第2四半期に中規模組織や初期のAIスタートアップ向けのチームバンドルを展開する予定だ
元記事はこちら
