Liz O’Sullivanは、「少し安全なAI」を実現する使命に取り組んでいます。
National AI Advisory Committeeのメンバーであり、AIのリスクを規制しながらAIの採用を促進するための勧告をホワイトハウスや議会に提案する委員会で、O’Sullivanはデータラベリング、オペレーション、カスタマーサクセスを監督するAIスタートアップのビジネス側で12年間を過ごしました。
2019年に彼女は監視技術監視プロジェクトでの仕事を始め、ニューヨーカーの市民権を守るためのキャンペーンやAIの「ブラックボックス」に光を当てるために市民団体や学界とパートナーシップを組むスタートアップであるArthur AIを共同設立しました。
現在、O’SullivanはVeraというスタートアップで次のステップに進んでいます。Veraは企業がオープンソースやカスタムモデルを通じて「適切な使用ポリシー」を確立し、これらのポリシーを施行するためのツールキットを開発しています。このツールキットはテキスト、画像、音楽などを生成するタイプのAIモデルとを対象としています。
今回の資金調達ラウンドでは、Differential Venture Partnersをリード投資家に迎え、Essence VC、Everywhere VC、Betaworks、Greycroft、ATP Venturesが参加し、270万ドルの資金調達を行ったと報じられました。
O’Sullivanによれば、この新たな資金はVeraの5人チームの拡大、研究開発、エンタープライズ展開の拡大に使われる予定です。
「Veraは、AIが実際の問題解決にどれほど強力であるかを間近で目にしたために設立されました。一方で、AIが企業や一般市民、そして世界にどのような被害をもたらすかという驚くべき方法も目撃してきました」とO’SullivanはTechCrunchの電子メールインタビューで述べています。「私たちはこの技術を責任を持って世の中に導く必要があります。企業が生成型AI戦略を定義しようとする中で、AIの原則から実践へと移行することが不可欠な時代に入っています。本当に助けになれるのはVeraのようなチームです。
2021年にO’Sullivanはジャスティン・ノーマンと共同設立したVeraは、シスコの研究科学者、ClouderaのAI研究所の主任データサイエンティスト、およびYelpのデータサイエンス副社長を務めた経歴を持つ人物です。ノーマンは9月にアメリカ海軍科学技術委員会の一員として任命され、科学・技術・関連機能に関する問題や政策についてアメリカ海軍に助言を提供しています。
Veraのプラットフォームは、モデルの入力にリスクがあるかどうかを特定し、個人情報、セキュリティ資格情報、知的財産、プロンプトインジェクション攻撃などを含む可能性があるリクエストをブロック、削除、または変換します。O’Sullivanによれば、Veraはプロンプトに対するモデルの「返答」にも制約を設けることで、企業はモデルの振る舞いをより制御できるようになります。
Veraは、ユーザーと内部または第三者のモデル（例：OpenAIのGPT-4）の間に配置される「独自の言語とビジョンモデル」を使用して、問題のあるコンテンツを検出します。O’Sullivanによれば、Veraはテキスト、コード、画像、ビデオなど、あらゆる形式のモデルの「不適切な」プロンプトまたは回答をブロックすることができるとのことです。
O’Sullivanは述べています。「当社のポリシーを執行するためのディープテックアプローチは、リスクが発生する直接のポイントに対処するための表面的な文書化とチェックリストを超えています。当社のソリューションは、犯罪物質を含む可能性のあるリスキーな応答や、ユーザーが自己危害を誘発する可能性のある応答を防止します。
企業は何としても採用に乗り出したい生成型AIモデルの導入において、コンプライアンスを中心としたさまざまな課題に直面しています。例えば、ユーザーデータをトレーニングデータとしてモデルを訓練した開発者に機密データが漏洩することを懸念しています。最近では、Apple、Walmart、Verizonを含む大手企業も、OpenAIのChatGPTなどのツールの使用を社員に制限しました。
また、攻撃的なモデルは明らかに広告には不適切です。例えば、自社の顧客サービスチャットボットを駆動するテキスト生成モデルが人種差別的な発言をしたり、自己破壊的なアドバイスをしたりすることは、どのブランドにとっても好ましくありません。
ただし、このレポーターはVeraのアプローチがO’Sullivanが主張するほど信頼性があるのか疑問を持っています。
完璧なモデルは存在しません。Veraのモデルも完璧ではありません。また、コンテン
元記事はこちら
