DALL-E

DALL-E
OpenAIのラボウェブサイトで生成されたDALL-E 2画像に示される透かし
OpenAIのラボウェブサイトで生成されたDALL-E 2画像に示される透かし
テキストプロンプト "Teddy bears working on new AI research underwater with 1990s technology"（1990年代のテクノロジーを使用して水中で新しいAI研究に取り組むテディベア）に基づき、DALL-E 2が生成した画像
作者 OpenAI
初版 2021年1月5日
種別 Transformer言語モデル
公式サイト openai.com/blog/dall-e/
テンプレートを表示
「a professional high quality illustration of a giraffe dragon chimera. a giraffe imitating a dragon. a giraffe made of dragon（キリンドラゴンキメラのプロの高品質イラスト。ドラゴンを真似したキリン。ドラゴンでできたキリン）」というテキストプロンプトが与えられたときに、DALL-E 1が生成した画像（2021年）

DALL-E（ダリ、DALL·E）は、OpenAIにより開発された深層学習モデル、およびそのシリーズ名。「prompts」と呼ばれる自然言語の記述からデジタル画像（人工知能アート）を生成する。

名称は、ピクサー映画『ウォーリー』の主人公である同名のロボットと、スペインの画家であるサルバドール・ダリのかばん語である。

モデル

OpenAIは、いずれのモデルのソースコードも公開していない。

DALL-E

2021年1月、OpenAI公式ブログの投稿により明らかにされ、GPT-3の画像生成のために変更されたバージョンを使用した。2021年1月5日、DALL-Eをリリース。

DALL-E 2

2022年4月6日（米国時間）、OpenAIはDALL-Eの後継モデルとなるDALL-E 2（ダリ ツー）をリリース。解像度はDALL-Eの4倍に引き上げられ、より写実的な画像を生成できる。OpenAIによれば「コンセプト、アトリビュート、スタイルを組み合わせることができる」とされている。

2022年7月20日（米国時間）、OpenAIはDALL-E 2のベータ版を公開、待機リストに事前登録していたメンバー100万人に招待を開始した。生成画像の商用利用も許可される。基本利用は無料だが、毎月ユーザーに配布するクレジット消費で利用回数を調整し、多く利用したいユーザーはクレジットを追加購入可能。当初は倫理と安全性に関する懸念から、研究プレビューのため事前選択されたユーザーのみにアクセスが制限されていた。

2022年9月28日、DALL-E 2は誰でも利用可能になり、「待機リスト」の要件は撤廃された。

DALL-E 3

2023年9月20日（米国時間）、OpenAIはDALL-E 2の後継モデルとなるDALL-E 3（ダリ スリー）をリリース。ChatGPT上で利用でき、有料プラン「ChatGPT Plus」「ChatGPT Enterprise」加入者は同年10月から利用可能となった。DALL-E 2よりも長文プロンプトの理解力を大幅に高めたことで、OpenAIによれば「DALL-E 3は多くのニュアンスと詳細を理解するため、アイデアを非常に正確な画像へ簡単に変換できる」とされている。

API提供

2022年11月初旬、OpenAIはDALL-E 2をAPIとしてリリースし、開発者がモデルを自身のアプリケーションに統合できるよう提供開始した。2023年にはDALL-E 3も同様にAPIとして提供している。

APIは画像ごとのコストで動作し、価格は画像の解像度により異なる。OpenAIのエンタープライズチームと協力している企業は、ボリュームによるディスカウントを使用できる。

技術

GPTモデルは最初、2018年にOpenAIによりTransformerアーキテクチャを使用して開発された。GPTは、2019年にスケールアップされGPT-2が生成された。2020年にはさらにスケールアップされ、1750億のパラメータを有するGPT-3が作成された。DALL-EのモデルはGPT-3のマルチモーダルの実装であり、120億のパラメータを有し、インターネットから取得したテキストと画像のペアで訓練され、「テキストとピクセルを交換する」。DALL-E 2はDALL-Eよりも少ない35億のパラメータを使用する。

DALL-Eは、CLIP (Contrastive Language-Image Pre-training)と合わせて開発され、一般に公開された。CLIPは、 インターネットからスクレイピングされたテキストキャプションつきの画像4億組で訓練されたゼロショット学習（英語版）に基づく分離モデルである。その役割は、データセットからランダムに選択された32,768個のキャプションのリスト（そのうち1つが正解）からどのキャプションが画像に最も適しているかを予測することにより、DALL-Eの出力を「理解しランクを付ける」ことである。このモデルは、最も適した出力を選択するために、DALL-Eにより生成された画像の大きい初期リストをフィルタリングするために使用される。

DALL-E 2は、CLIP画像埋め込みを条件とする拡散モデルを使用し、これは、推論中に以前のモデルによるCLIPテキスト埋め込みから生成される。

能力

写真のようなリアルな画像、絵画、絵文字など複数のスタイルの画像を生成できる。画像内のオブジェクトを「操作および再配置」することができ、明示的な指示なしにデザイン要素を新たな構成に正しく配置できる。特定のプロンプトがなくても適切な詳細を推測するために「空白を埋める」能力を示し、例えば一般的にお祝いに関連するプロンプトにクリスマスの画像を追加したり、画像に、言及されていない配置に基づく影を付けたりする。

さまざまな視点からさまざまな任意の記述の画像を生成できるが、ほとんど失敗しない。ジョージア工科大学のSchool of Interactive Computingの准教授であるMark Riedlは、DALL-Eが概念（人間の創造性の重要な要素として説明される）を融合できることを見出している。

レーヴン漸進的マトリックス（人間の知性を測定するために行われることが多い視覚的なテスト）を解決するのに十分な視覚的推論能力を有する。

DALL-E 2により生成された『真珠の耳飾りの少女』の2つのバリエーション

既存の画像が与えられると、DALL-E 2は元の画像に基づいて個々の出力として画像の「バリエーション」を生成し、画像を編集して変更または拡張することができる。DALL-E 2の「inpainting」と「outpainting」では、画像からのコンテクストを使用し、所与のプロンプトに従い元の画像と一致する媒体を使用して欠けている領域を埋める。これは例えば新しい被写体を画像に挿入したり、元の境界線を超えて画像を拡張したりするために使用できる。OpenAIによると、「Outpaintingは、元の画像のコンテクストを維持するために影、反射、テクスチャなど、画像の既存の視覚要素を考慮する」

倫理的懸念

→「人工知能アート § 問題・議論」も参照

アルゴリズムバイアス

→詳細は「アルゴリズムバイアス」を参照

DALL-E 2が公開データセットに依存していることは、その結果に影響を与え、ジェンダーに言及していない要求に対して女性よりも男性を多く生成するジェンダーバイアスなど、場合によってはアルゴリズムバイアスにつながる。DALL-E 2の訓練データは、暴力的で性的な画像を除去するためにフィルタリングされているが、生成される女性の頻度が減るなど、場合によってはバイアスが増加することが判明している。OpenAIは、これは訓練データにおいて女性の方が性的な扱いが多く、フィルタが結果に影響を与えたと仮説を立てている。2022年9月、OpenAIはザ・ヴァージにDALL-Eが結果のバイアスに対処するため、フレーズを見えない形でユーザープロンプトに挿入することを確認した。例えば「black man（黒人）」や「Asian woman（アジア人女性）」が、ジェンダーや人種を特定していないプロンプトに挿入される。

ディープフェイク

→詳細は「ディープフェイク」を参照

DALL-Eおよび、同様の画像生成モデルには、ディープフェイクや、その他の誤報の伝播に利用される可能性があると懸念される。DALL-Eではこれを軽減するため、公人に関するプロンプトや顔を含むアップロードを拒否する。好ましくないコンテンツを含む可能性のあるプロンプトはブロックされ、アップロードされた画像が分析されて攻撃的な内容が検出される。プロンプトに基づくフィルタリングの欠点は、同様の出力を行う代替フレーズを使用して容易に迂回可能なことである。例えば、「blood（血）」という単語はフィルタリングされるが、「ketchup（ケチャップ）」や「red liquid（赤い液体）」はフィルタリングされない。

人間の技術的失業

→「技術的失業」も参照

DALL-Eおよび、同様の画像生成モデルに関しては、その精度や人気のため、人間のアーティスト、写真家、グラフィックデザイナーが技術的に失業する可能性が懸念されている。

著作権侵害と模倣

→「人工知能アート § 著作権」も参照

技術的限界

  • DALL-E 2に対しては「言語理解に限界がある」との指摘がある。DALL-E 2は「A yellow book and a red vase（黄色い本と赤い花瓶）」と「A red book and a yellow vase（赤い本と黄色い花瓶）」、「A panda making latte art（ラテアートを作るパンダ）」と「Latte art of a panda（パンダのラテアート）」を区別できない場合がある。また、DALL-E 2は「a horse riding an astronaut（宇宙飛行士に乗った馬）」のプロンプトを提示すると「馬に乗った宇宙飛行士」の画像を生成する。
  • そのほか、DALL-E 2は様々な状況で正しい画像を生成できない。3つ以上のオブジェクト、否定、数字、および接続された文を要求すると、間違う可能性がある。限界の理由として、テクストの処理や、天文学や医療画像などの科学情報に対処するためには、容量が限られていることが挙げられる。

脚注

  1. 1 2 3 Coldewey, Devin (2021年1月5日). “OpenAI's DALL-E creates plausible images of literally anything you ask it to”. 2021年1月6日時点のオリジナルよりアーカイブ。2021年1月5日閲覧。
  2. 1 2 3 4 5 6 7 Johnson, Khari (2021年1月5日). “OpenAI debuts DALL-E for generating images from text”. VentureBeat. 2021年1月5日時点のオリジナルよりアーカイブ。2021年1月5日閲覧。
  3. ↑ “DALL·E 2（ダリ ツー）”. AI用語解説. ソフトバンク. 2025年8月12日閲覧。
  4. 1 2 “最新AIの描く絵が「ヤバすぎ」「個展開ける」と話題　文章から画像を生成する「DALL・E 2」、米OpenAIが発表”. ITmedia NEWS (2022年4月7日). 2026年5月8日閲覧。
  5. ↑ “DALL·E 2” (英語). OpenAI. 2022年7月6日閲覧。
  6. ↑ “DALL·E Waitlist” (英語). labs.openai.com. 2022年7月6日閲覧。
  7. ↑ “DALL·E Now Available in Beta” (英語). OpenAI (2022年7月20日). 2022年7月20日閲覧。
  8. 1 2 “AI画家「DALL・E 2」一般公開へ 商用利用も可能に 悪用、差別防止機能を搭載”. ITmedia NEWS (2022年7月21日). 2026年5月8日閲覧。
  9. 1 2 “OpenAIがAI画像ジェネレーター「DALL・E2」の一般向け公開がスタート”. Gigazine (2022年7月21日). 2026年5月8日閲覧。
  10. ↑ Allyn, Bobby (2022年7月20日). “Surreal or too real? Breathtaking AI tool DALL-E takes its images to a bigger stage”. NPR. 2022年7月20日閲覧。
  11. ↑ “From Trump Nevermind babies to deep fakes: DALL-E and the ethics of AI art” (英語). the Guardian (2022年6月18日). 2022年7月6日閲覧。
  12. ↑ “DALL·E Now Available Without Waitlist” (英語). OpenAI (2022年9月28日). 2022年10月5日閲覧。
  13. 1 2 3 “OpenAIの文→画像AI「DALL・E 3」、10月にChatGPT PlusとAPIで利用可能に”. ITmedia NEWS (2023年9月21日). 2026年5月8日閲覧。
  14. ↑ “DALL E 3”. OpenAI. 2026年5月8日閲覧。
  15. 1 2 Wiggers, Kyle (2022年11月3日). “Now anyone can build apps that use DALL-E 2 to generate images” (英語). TechCrunch. 2022年11月19日閲覧。
  16. ↑ “DALL·E API Now Available in Public Beta” (英語). OpenAI (2022年11月3日). 2022年11月19日閲覧。
  17. ↑ “Improving Language Understanding by Generative Pre-Training”. OpenAI. pp. 12 (2018年6月11日). 2021年1月26日時点のオリジナルよりアーカイブ。2021年1月23日閲覧。
  18. ↑ Radford, Alec; Wu, Jeffrey; Child, Rewon; Luan, David; Amodei, Dario; Sutskever, Ilua (14 February 2019). Language models are unsupervised multitask learners. 1. オリジナルの6 February 2021時点におけるアーカイブ。 2020年12月19日閲覧。.
  19. ↑ Brown, Tom B.; Mann, Benjamin; Ryder, Nick; Subbiah, Melanie; Kaplan, Jared; Dhariwal, Prafulla; Neelakantan, Arvind; Shyam, Pranav; Sastry, Girish; Askell, Amanda; Agarwal, Sandhini; Herbert-Voss, Ariel; Krueger, Gretchen; Henighan, Tom; Child, Rewon; Ramesh, Aditya; Ziegler, Daniel M.; Wu, Jeffrey; Winter, Clemens; Hesse, Christopher; Chen, Mark; Sigler, Eric; Litwin, Mateusz; Gray, Scott; Chess, Benjamin; Clark, Jack; Berner, Christopher; McCandlish, Sam; Radford, Alec; Sutskever, Ilya; Amodei, Dario (July 22, 2020). “Language Models are Few-Shot Learners”. arXiv:2005.14165 [cs.CL].
  20. ↑ Ramesh, Aditya; Pavlov, Mikhail; Goh, Gabriel; Gray, Scott; Voss, Chelsea; Radford, Alec; Chen, Mark; Sutskever, Ilya (24 February 2021). “Zero-Shot Text-to-Image Generation”. arXiv:2102.12092 [cs.LG].
  21. ↑ Tamkin, Alex; Brundage, Miles; Clark, Jack; Ganguli, Deep (2021). “Understanding the Capabilities, Limitations, and Societal Impact of Large Language Models”. arXiv:2102.02503 [cs.CL].
  22. 1 2 3 4 Heaven, Will Douglas (2021年1月5日). “This avocado armchair could be the future of AI”. MIT Technology Review. 2021年1月5日閲覧。
  23. 1 2 Ramesh, Aditya; Dhariwal, Prafulla; Nichol, Alex; Chu, Casey; Chen, Mark (2022-04-12). Hierarchical Text-Conditional Image Generation with CLIP Latents. arXiv:2204.06125.
  24. ↑ “'DALL-E' AI generates an image out of anything you describe” (英語). Engadget. 2022年7月18日閲覧。
  25. ↑ Whitwam, Ryan (6 January 2021). “OpenAI's 'DALL-E' Generates Images From Text Descriptions”. ExtremeTech. 2021年1月28日時点のオリジナルよりアーカイブ. 2021年3月2日閲覧.
  26. ↑ Dent, Steve (2021年1月6日). “OpenAI's DALL-E app generates images from just a description”. Engadget. 2021年1月27日時点のオリジナルよりアーカイブ。2021年3月2日閲覧。
  27. 1 2 Marcus, Gary; Davis, Ernest; Aaronson, Scott (2022年5月2日). “A very preliminary analysis of DALL-E 2”. arXiv:2204.13807 [cs.CV].
  28. ↑ Shead, Sam (2021年1月8日). “Why everyone is talking about an image generator released by an Elon Musk-backed A.I. lab”. CNBC. 2021年3月2日閲覧。
  29. ↑ Wakefield, Jane (2021年1月6日). “AI draws dog-walking baby radish in a tutu”. British Broadcasting Corporation. 2021年3月2日時点のオリジナルよりアーカイブ。2021年3月3日閲覧。
  30. ↑ Markowitz, Dale (2021年1月10日). “Here's how OpenAI's magical DALL-E image generator works”. TheNextWeb. 2021年2月23日時点のオリジナルよりアーカイブ。2021年3月2日閲覧。
  31. ↑ “DALL·E: Creating Images from Text” (英語). OpenAI (2021年1月5日). 2022年8月13日閲覧。
  32. ↑ Coldewey, Devin (2022年4月6日). “New OpenAI tool draws anything, bigger and better than ever” (英語). TechCrunch. 2022年11月26日閲覧。
  33. ↑ “DALL·E: Introducing Outpainting” (英語). OpenAI (2022年8月31日). 2022年11月26日閲覧。
  34. ↑ STRICKLAND, ELIZA (2022年7月14日). “DALL-E 2's Failures Are the Most Interesting Thing About It” (英語). IEEE Spectrum. 2022年7月15日閲覧。
  35. 1 2 “DALL·E 2 Pre-Training Mitigations” (英語). OpenAI (2022年6月28日). 2022年7月18日閲覧。
  36. ↑ James Vincent (2022年9月29日). “OpenAI's image generator DALL-E is available for anyone to use immediately” (英語). The Verge. 2023年3月22日閲覧。
  37. ↑ Taylor, Josh (2022年6月18日). “From Trump Nevermind babies to deep fakes: DALL-E and the ethics of AI art” (英語). The Guardian. 2022年8月2日閲覧。
  38. ↑ “When AI Makes Art, Humans Supply the Creative Spark” (英語). WIRED (2022年7月13日). 2022年8月2日閲覧。
  39. ↑ Rose, Janus (2022年6月24日). “DALL-E Is Now Generating Realistic Faces of Fake People” (英語). Vice. 2022年8月2日閲覧。
  40. 1 2 OpenAI (2022年6月19日). “DALL·E 2 Preview - Risks and Limitations” (英語). GitHub. 2022年8月2日閲覧。
  41. ↑ “DALL-E, Make Me Another Picasso, Please” (英語). The New Yorker (2022年7月1日). 2022年8月2日閲覧。
  42. ↑ Goldman, Sharon (2022年7月26日). “OpenAI: Will DALLE-2 kill creative careers?” (英語). 2023年3月22日閲覧。
  43. ↑ Blain, Loz (2022年7月29日). “DALL-E 2: A dream tool and an existential threat to visual artists” (英語). 2023年3月22日閲覧。
  44. ↑ Saharia, Chitwan; Chan, William; Saxena, Saurabh; Li, Lala; Whang, Jay; Denton, Emily; Ghasemipour, Seyed Kamyar Seyed; Ayan, Burcu Karagol; Mahdavi, S. Sara; Lopes, Rapha Gontijo; Salimans, Tim (2022年5月23日). “Photorealistic Text-to-Image Diffusion Models with Deep Language Understanding”. arXiv:2205.11487 [cs.CV].
  45. ↑ Marcus, Gary (2022年5月28日). “Horse rides astronaut” (英語). The Road to AI We Can Trust. 2022年6月18日閲覧。
  46. ↑ Strickland, Eliza (2022年7月14日). “DALL-E 2's Failures Are the Most Interesting Thing About It” (英語). IEEE Spectrum. 2022年8月16日閲覧。

関連項目

外部リンク