大型言語モデル（LLM）は、急速に発展している生成型AIムーブメントの原動力であり、単純なプロンプトから人間の言語テキストを解釈し生成する能力を持っています。これは、ドキュメントの要約、詩の執筆、多くのソースからのデータを使用して質問に回答するなど、さまざまなことができます。
ただし、これらのプロンプトは、悪意のある行為者によっても操作され、所謂「プロンプトインジェクション」と呼ばれるテクニックを用いて、LLMを搭載したチャットボットに注意深く作成されたテキストプロンプトを入力し、例えばシステムへの不正なアクセスをするか、厳格なセキュリティ対策をバイパスするユーザーに機能を提供することができます。
このような背景の中、スイスのスタートアップLakeraが、プロンプトインジェクションやデータ漏洩などのさまざまなLLMのセキュリティ上の脆弱性から企業を保護することを目的として本日世界に正式にローンチします。同社は、本年初めに非公開の資金調達により1,000万ドルの資金を調達したことも発表しました。
データの魔法
Lakeraは、さまざまなソースから得た情報を含むデータベースを開発しています。これには、公開されているオープンソースのデータセット、独自の社内研究、そして興味深いことに、同社が今年初めに「Gandalf」というインタラクティブなゲームから収集したデータも含まれます。
Gandalfでは、ユーザーは言語的なトリックを用いて、基礎となるLLMを「ハック」し、秘密のパスワードを明らかにしようとします。ユーザーがこれを成功させると、Gandalfは各レベルごとにより高度な防御策をとるようになります。
一面では、OpenAIのGPT3.5と、CohereとAnthropicのLLMを搭載したGandalfは、LLMの弱点を示すための楽しいゲームに過ぎないように見えます。それにもかかわらず、Gandalfから得られる知見は、同社の主力製品であるLakera Guard製品にフィードバックされ、企業はそれをAPIを介してアプリケーションに統合します。
LakeraのCEO兼共同創業者であるデビッド・ハーバー氏は、TechCrunchに対して次のように説明しました。「Gandalfは、6歳の子供から祖母まで、中にはサイバーセキュリティコミュニティも含まれます。」
ハーバー氏は、過去6ヶ月間で100万人のユーザーから3000万のインタラクションを記録したと述べ、この結果から、彼が「プロンプトインジェクションのタクソノミー（攻撃の種類を10つのカテゴリに分けるもの）」を開発したと言いました。これらは、直接攻撃、ジェイルブレイク、回避攻撃、マルチプロンプト攻撃、ロールプレイング、モデルのだますこと、情報の曖昧さ（トークンの密輸）、多言語攻撃、および偶発的なコンテキスト漏洩の10つの異なるカテゴリに分けられます。
Lakeraの顧客は、これらの構造と自社の入力をスケールで比較することができます。
ハーバー氏は語りました。「私たちはプロンプトインジェクションを統計的構造に変えているのです。それが私たちが行っていることです。」
ただし、プロンプトインジェクションはLakeraが注力するサイバーリスクの一つであり、他にも会社の秘密情報や機密情報が公に漏洩することを防ぐ取り組みや、LLMが子供にふさわしくない内容を提供しないようにコンテンツをモデレートする取り組みも行っています。
ハーバー氏は言いました。「安全性に関して、人々が最も求めている機能は、有害な言語を検出することです。そのため、私たちは子供向けに生成型AIアプリケーションを提供している大企業と協力して、これらの子供たちが有害なコンテンツにさらされないようにしています。」
さらに、LakeraはLLMによる情報の誤解や事実に基づかない情報を取り扱う取り組みも行っています。ハーバー氏によれば、LLMの出力が初期のシステムの指示と矛盾する場合や、参照知識に基づいてLLMの出力が事実に反している場合に、Lakeraは「モデルがそれらの範囲外で動作しないようにする」と述べています。
つまり、Lakeraはセキュリティ、安全性、データプライバシーの三位一体と言える存在です。
EU AI Act
最初の主要なAI規制がEU AI Actとして現れる中、Lakeraのローンチは絶好のタイミングで行われます。具体的には、EU AI Actの第28b条は、LLMプロバイダーに法的要件を課すことで、生成型AIモデルの保護に焦点を当てています。
実際、ハーバー氏と彼の2人の共同創業者は、Actにアドバイザリー役として参画し、導入直前の技術的基盤を築くのに一役買っています。これは、今後1〜2年の間に行われると予想されています。
「実際、LLMをどのように規制すべきかに関しては不確実性があります。それは他のAIとは異なる良く分けることができます。私たちは技術の進歩が規制の風景よりもはるかに速く進んでいることを認識しています。これは非常に困難な課題です。」
Lakeraの役割は、政
元記事はこちら
