Photoshopは、Fireflyベースの機能の追加により、ジェネレーティブAIの注入を受けています。これにより、Firefly生成の背景を使用して、イメージを枠外に拡張することができ、ジェネレーティブAIを使用して画像にオブジェクトを追加し、以前のコンテンツアウェアフィルよりも遥かに精度の高い新しいジェネレーティブフィル機能を使用してオブジェクトを削除することができます。
現時点では、これらの機能はPhotoshopのベータ版でのみ利用可能です。また、Adobeはこれらの機能の一部を、Web上のFireflyベータユーザーにも利用可能にしています（Fireflyユーザーは、ところで既に同サービスで1億枚以上の画像を作成しています）。
ここでの素晴らしいことは、この統合により、Photoshopユーザーが自然言語テキストプロンプトを使用してFireflyに作成して欲しい画像またはオブジェクトの種類を説明できることです。すべてのジェネレーティブAIツールと同様に、結果は時には予測不可能なものもあります。デフォルトでは、Adobeは各プロンプトごとに3つのバリエーションを提供しますが、Firefly Webアプリとは異なり、特定の結果に似たバリエーションを見るオプションは現在ありません。
これを行うには、Photoshopは与えられた画像の一部をFireflyに送信します。そして、Fireflyが新しいレイヤーを作成します。ちなみに、Adobeのデジタルイメージング担当副社長のマリア・ヤップは、今日の発表の前にこれらの新機能のデモを私に見せてくれました。ジェネレーティブAIのすべてのものと同様に、モデルが返す結果を予測することはしばしば難しいですが、その結果は驚くほど優れていました。例えば、ランニングコーギーの下に水たまりを作成するよう依頼すると、Fireflyは画像の全体的な照明を考慮に入れ、リアルな反射を生成するように見えました。すべての結果が同様にうまくいくわけではありませんが、オブジェクトの追加、特に既存の画像を枠外に拡張することにはかなり上手くいくようです。
Fireflyは、Adobe Stock（および他の商業的に安全な画像）で利用可能な写真でトレーニングされているため、風景の場合に特に優れていることは驚くべきことではありません。ほとんどの生成画像ジェネレーターと同様に、Fireflyはテキストで苦労しています。
また、Adobeは、このモデルが安全な結果を返すように確認しています。これは使用されたトレーニングセットの一部に起因するものですが、Adobeは追加のセーフガードも実装しています。「私たちはそれと結婚して、私たちが知っているいくつかのプロンプトエンジニアリングのことをやりました。私たちは安全でないと感じる特定の用語、特定の単語を除外しています。そして、私たちは、マリアが多くのスキンを含む領域を選択した場合について、現在はたまに警告メッセージが表示されますが、予測不可能だから、プロンプトを拡張しないようにしています。私たちは、私たちが快適に感じる場所に行きたくないのです」とヤップは説明しています。
また、Firefly画像と同様に、これらのAIベースの機能を利用するすべての画像にAdobeのコンテンツクレデンシャルを自動的に適用します。
これらの多くの機能は、Lightroomでも非常に有用であることが判明しました。Yapは同意し、タイムラインにはコミットしないが、同社は写真管理ツールにもFireflyを導入する予定であることを確認しました。
元記事はこちら
