GPT-2

Generative Pre-trained Transformer 2 (GPT-2)
GPT-2がプロンプトを補完する様子を示すHugging FaceのWrite With Transformerのウェブサイト。Wikipediaのこの記事から得たテキストをプロンプトとして用いた。最初のプロンプトに続くハイライトされたテキストはすべて最初の補完候補から機械的に生成されたもので、それ以外の編集はない。
開発元 OpenAI
初版 2019年2月14日（7年前） (2019-02-14)
リポジトリ https://github.com/openai/gpt-2
前身 GPT-1
後継 GPT-3
種別
ライセンス オープンソース
公式サイト openai.com/blog/gpt-2-1-5b-release/
テンプレートを表示
GPTモデルの模式図

GPT-2（ジーピーティーツー、Generative Pre-trained Transformer 2） は、OpenAIが開発したGPTシリーズの大規模言語モデル。2019年2月14日にオープンソースとしてリリースされた。

概要

GPT-2は、テキストを翻訳し、質問に答え、文章の要約を行い 、時には人間と見分けがつかないようなテキスト出力を生成するが、長い文章を生成すると繰り返したり意味不明な表現になることもある。GPT-2は、汎用生成的人工知能であり、特定のタスク（仕事）を行うための特別な訓練を受けてはおらず、これらのタスクを行う能力は、任意の順序で次の項目を正確に合成する一般的な能力の延長線上にある。GPT-2は、OpenAIの2018年版GPTモデルの「スケールアップ版」として構築され、パラメータ数と訓練用データセットがともに10倍に増加した。

GPTアーキテクチャは、ディープラーニング（深層学習）によるニューラルネットワーク、具体的には「トランスフォーマー（Transformer）モデル」を実装しており、これまでの回帰型や畳み込み型のアーキテクチャの代わりに「アテンション」を使用している。アテンション機構により、モデルは、入力テキストの中から最も関連性が高いと予測される部位に選択的に焦点を当てることができる。このモデルでは、並列化を大幅に向上させることができ、RNN／CNN／LSTMに基づくモデルのこれまでのベンチマークよりも優れた性能を発揮している。

OpenAIは、2019年11月、GPT-2言語モデルの完全版（15億個のパラメータを含む）を公開した。GPT-2に続いて、1,750億個のパラメータを含むGPT-3が、2020年に公開される予定だった（そのソースコードは公開されていない）。GPT-3へのアクセスは、OpenAIとマイクロソフトが提供するAPIを通じてのみ提供されている。

能力

GPT-2はGPTのスケールアップ版として作成され、パラメータ数とデータセットサイズをいずれも10倍にしている。双方とも教師なしのTransformerモデルで、一連のトークンの並びから次の単語を予測してテキストを生成するように訓練された。GPT-2モデルは15億のパラメータを持ち、800万のウェブページのデータセットで訓練が行われた。GPT-2は、テキストサンプル中の一連の単語を解釈し、最も可能性の高い次の単語を予測するという非常に単純な基準で強化され、追加される単語を予測し続けることで完全な文や段落を生成し、自然言語で完全に理解できる（そして意味論的に意味を持つ）文を生成する。特に、GPT-2は、ゼロショット設定（英語版）でのタスクに対する性能で評価された。

データセット

GPT-2は新規に開発された WebText コーパスをデータセットとして利用している。

WebTextコーパス

WebText コーパスは約800万のウェブページから抽出された高品質自然言語テキストコーパスである。

GPT-2はゼロショット推論可能な基盤モデルを意図して開発された。個別タスクを明示的に学習せずゼロショットで推論するには、学習用テキスト内に様々なタスクの具体例が（タスクラベル無しで）含まれている必要があると考えられる。一方で質の低いテキストはモデルの精度を落とすため、コモン・クロールのような無作為収集されたコーパスは利用できない。これらの問題を解決するためにGPT-2論文で開発されたコーパスが WebText コーパスである。

WebText は人間によるキュレーションを品質向上に利用している。まずRedditで3回以上賛成票を受けたリンク先ウェブページを一定品質のテキストとみなし、Wikipedia記事の削除（他の多くのデータセットに含まれているので過剰適合の原因となる可能性があった）・重複文章の除去・ヒューリスティックによるクリーニングを経て、最終的に約800万のウェブページから抽出された約40GBの自然言語テキストをWebTextとしている。

モデル

GPT-2のモデルアーキテクチャはGPT-1のマイナーチェンジ版である。アーキテクチャ上の変更点は以下の通り：

  • Post LN → Pre LN
  • 最終アテンションブロック後の追加LN
  • 残差レイヤーの深度 1/N 重み付け初期化

アーキテクチャはほぼ同一であるが、GPT-2はGPT-1より大きなモデルとなっている。モデル上の変更点は以下の通り：

  • モデルパラメータサイズ: 15億（約13倍）
  • ボキャブラリ: 50,257
  • コンテキストトークン長: 512→1024

訓練

モデルと同じく学習もスケールされており、バッチサイズは512に変更されている。

GPT-2の訓練費用は1時間あたり256ドルであることが知られているが、訓練に要した総時間は不明なため、訓練費用の総額を正確に見積もることはできない。しかし、Transformerアーキテクチャを用いた同等の大規模言語モデルでの費用はより詳細に記述されており、BERTとXLNetの訓練過程では、それぞれ6,912ドルと245,000ドルの資源を消費した。

性能

GPT-2が作成した、2020年の米国大統領選挙に勝利した後のエドワード・スノーデンの行動に関する架空のニュース記事。強調表示されたテキストはすべて機械が生成したものである。スノーデンは（生成時点で）公職に選出されたことはなかったが、生成されたサンプルは文法的にも文体的にも妥当なものである。

GPT-2は、そのデータセットとアプローチの広さによって、単純なテキスト生成にとどまらない幅広いタスクに対応できるようになった。質問に答えたり、長文を要約したり、さまざまな特定領域（英語版）で言語間の翻訳をしたり、一連の単語の次の予測方法以上のことは何も指示されずに実行できる。

一般化学習の一例は、フランス語-英語間の機械翻訳をするGPT-2の能力であり、そのために、WMT-14の翻訳タスクを使用してGPT-2の性能が評価された。GPT-2の訓練用コーパスには、フランス語のテキストはほとんど含まれていなかった。訓練前にデータセットのクリーニングで英語以外のテキストを意図的に削除したため、得られた40,000 MBのうちモデルが訓練に使用できたフランス語は10 MBにすぎなかった（ほとんどは英語の投稿や記事に含まれた外国語の引用）。それでもGPT-2は、WMT-14の英語-フランス語間テストセットで5 BLEUを達成した（単語単位での置換による翻訳をわずかに下回るスコア）。また、フランス語から英語へのテストセットでGPT-2は、当時（2017年）の教師なし機械翻訳ベースラインを上回って、11.5 BLEUを達成した。これは、33.5 BLEUを達成した当時（2019年）最も高性能な教師なし手法を下回るものだった。しかし、他のモデルは、この結果を達成するために大量のフランス語テキストを使用しており、一方のGPT-2は、同等の手法の約1/500のサイズの単一言語フランス語コーパスを使用したと推定された。

公開

GPT-2は、2019年2月14日に初めて発表された。2019年2月のThe Vergeに掲載されたJames Vincentによる記事では「（このプログラムが）作り出す文章は、通常、人間ではないと容易に判別できる」ものの、言語生成プログラムの「これまでで、もっともわくわくする例の一つ」であることに変わりはないと述べた。

偽の見出しを付けると、あとは偽の引用や統計を交えた残りを書いてくれる。短編小説の最初の行を入力すると、登場人物に次に何が起こるか教えてくれる。適切なプロンプト（命令）を入力すれば、ファン・フィクションだって書ける。

ガーディアン紙はこの出力を「もっともらしい新聞の散文」と表現し、VoxのKelsey Piperは「私がこれまで見た中で最もクールなAIシステムの一つは、私を失業に追い込むものかもしれない」と述べている。GPT-2の柔軟性は、The Vergeによれば「印象的」と評され、具体的には、言語間でのテキスト翻訳、長文の記事の要約、雑学的な質問へ回答などの能力が注目された。

修正チューリングテストを用いたアムステルダム大学の研究では、少なくともいくつかのシナリオで、参加者はGPT-2が生成した詩と人間が書いた詩を見分けられないことが分かった。

制限と部分公開

「Skub」は実在する製品ではないが、DistilGPT2で使用されている縮小サイズのモデルでさえ、賛成と反対の両側からもっともらしい議論を作り出すことができる。

これまでOpenAIのモデルはすぐに一般公開されていたが、2019年2月の発表では、悪用される危険性があるとして、GPT-2のソースコードの公開を当初拒否していた。発表時には、一部の報道関係者にのみ、モデルへの制限付きアクセス（ソースコード自体ではなく、入力でき、出力を提供するインターフェース）が許可された。よく言われるのは、生成されたテキストは通常まったく新しいものなので、スパマー（英語版）が自動フィルターを回避するために悪用する可能性があるという正当化の理由である。OpenAIは、GPT-2を微調整して「肯定的または否定的な製品レビューを永遠に生成する」バージョンを実演した。もう一つの問題は、GPT-2を使用すると、わいせつあるいは人種差別的なテキストが生成される可能性があることである。ジェレミー・ハワードなどの研究者は「この技術は、Twitterや電子メール、そしてウェブを、合理的な響きを持って文脈に沿った散文で完全に埋め尽し、他のすべての発言をかき消すようなものであり、フィルタリングは不可能になる」と警告した。アレン人工知能研究所（英語版）は、GPT-2に呼応して「ニューラルフェイクニュース」を検出するツールを発表した。

しかし、意見は分かれた。2019年2月のThe Vergeの記事は、GPT-2がもたらす脅威は誇張されていると論じ、カリフォルニア工科大学の教授でNvidiaの機械学習研究ディレクターであるAnima Anandkumarは、OpenAIが言うような脅威をもたらす能力がGPT-2にあるという証拠はなく、彼らがしたことは「オープンとは正反対」だと述べ、完全モデルの公開を拒否したことを「悪意のあるたわごと（英語版）」とみなした。The Gradient紙は、OpenAIに対してモデルの公開を促す公開書簡を発表し、テキスト生成AIがもたらす脅威を印刷機のそれと比較し「混乱をもたらす可能性があったものの、（幸いにも）現代社会を破壊しなかった技術」としてPhotoshopを例に挙げた。

30年後、Photoshopは高校生が使えるほど簡単で、動詞として広く使われているにもかかわらず、社会は比較的無事ですんでいる。なぜか？それは、誰もがPhotoshopを知っているからこそである。

774M公開

OpenAIは、完全な学習済みモデルや、訓練用コーパスを公開しなかったが、過去の出版物におけるその手法の説明（および基礎となる技術の無償での入手性）により、GPT-2は自由ソフトウェアとして他者が複製することが可能であった。そのような複製の一つ、OpenGPT-2は、OpenWebTextと呼ばれる自由ライセンス版のWebTextと組み合わせて2019年8月に公開された。OpenGPT-2のクラウドコンピューティング費用は約50,000ドルと提示された。

2019年8月20日、OpenAIは、7億7,400万のパラメータ（15億パラメータの完全モデルの約半分の規模）を持つGPT-2の縮小版を公開した。

完全版1.5B公開

しかし、GPT-2が広範な悪用につながるのではないかという当初の懸念は、現実のものとならなかった。The Vergeは「AI技術がある種の『情報世紀末（infopocalypse）』をもたらすという主張には懐疑的な理由がある。まず第一に、わずかなコストでもっともらしい文章を大量に生成できるプログラム、すなわち人間が既に存在している。」と述べている。2019年11月までに、OpenAIは「これまでのところ悪用された強い証拠は見られない」と述べ、2019年11月5日に15億のパラメータを持つ完全版を公開した。

限界

GPT-2は、さまざまなシナリオに対してテーマに沿ったテキストを生成することができる。たとえば、ドナルド・トランプがアニメ キャラクターの惣流・アスカ・ラングレーを賞賛する演説をしたというCNNの記事のような非現実的なものでさえ生成することができる。ここでは、1.5Bの完全モデルであっても、第2段落では文法の劣化が始まり、最終的には意味不明な一文が何度も繰り返される出力など、出力が長くなるにつれて無意味で反復的なテキストを生成する傾向が見られる。

GPT-2の自然言語テキストの生成能力は、おおむね高く評価されているが、特に段落数が2段を超える長いテキストを生成する場合には、その欠点も指摘されている。Voxは「散文はかなり大まかで、ときおり非合理的なこともあり、記事が長くなればなるほど一貫性が失われる」と述べている。The Vergeも同様に、GPT-2の文章は長いサンプルになると「話題がそれる」傾向があり、首尾一貫性に欠けると指摘した。ウェブサイト「The Register」は、「それを読んだ人間は、しばらくすると、何かが起きていることに気づくはずだ」と評し「GPT-2は、情報を抽出し取りだすためにアルゴリズムに依存する他のシステムと同様、質問には答えていない」と述べている。

GPT-2を導入するには多くの資源が必要で、完全版モデルの大きさは5ギガバイトを超えるため、アプリケーションにローカルに組み込むことが難しく、また大量のメモリー（RAM）を消費する。また、1回の予測を行うと「CPUを100%の使用率で数分間占有することがある」ほか、GPU処理でも「1回の予測に数秒かかることがある」。これらの問題を軽減するために、Hugging Faceは、知識蒸留を使用して、「いくつかの品質ベンチマークで数ポイント低い」ものの、「33%小さく、2倍速い」小型モデルを作成するDistilGPT2を開発した。

実装とその後の研究

ジャーナリストによって報じられたGPT-2の応用として、ニュース記事などの文章を人間が書くことを補助するなどが挙げられている。GPT-2は、製品版の公開以前から、さまざまなアプリケーションやサービス、それにエンターテインメントに利用されていた。2019年6月にはRedditのサイト内に「r/SubSimulatorGPT2」というコミュニティ（サブレディット）が作られ、さまざまなサブレディットで訓練したGPT-2の実例（インスタンス）が投稿し、互いのコメントに返信することで「r/Bitcoinが擬人化したAIと、r/ShittyFoodPornの機械学習に由来する霊が議論する」状況が作られた。同年7月までに、GPT-2に基づいて、さまざまなプログラミング言語のコード行を自動補完するソフトウェアが公開され、ユーザーから「ゲームチェンジャー（トレンドを変えるできごと）」と評された。

2019年には、GPT-2を利用し、ユーザーの入力に基づいて動的なテキストアドベンチャーを提供するAI Dungeon（英語版）が発表された。2021年現在、AI Dungeonは、オプションの有料アップグレードとしてGPT-3の最大リリースAPIへのアクセスを提供し、無料版ではGPT-3の2番目に大きなリリースを使用した。AI Dungeonを中心に設立されたLatitudeは、2021年に開業資金（英語版）330万ドルを調達した。いくつかのウェブサイトでは、GPT-2やその他のTransformerモデルのさまざまなインスタンスの対話的なデモンストレーションを公開している。

2021年2月、問題を抱えたティーンエイジャー向けの危機管理センターが、カウンセラーが10代の模擬患者と会話してトレーニングするために、GPT-2由来のチャットボットを使用開始すると発表した（これは純粋に内部の訓練目的での使用で、GPT-2は実在のティーンエイジャーとは会話しなかった）。

GPT1 - 3の比較

GPTシリーズの比較
アーキテクチャ パラメータ数 訓練用データ
GPT-1 12層、12ヘッドのTransformerデコーダ（エンコーダなし）、次いで線形softmax 1.2億 BookCorpus: 4.5 GBのテキスト、さまざまなジャンルの未発表小説7000冊分
GPT-2 GPT-1 変種 15億 WebTextコーパス (40 GB)
GPT-3 GPT-2, ただしスケーリングが大きく変更された 1750億 570 GBの平文、4,000億のトークン。主にCommonCrawl、WebText、英語版Wikipedia、2つの書籍コーパス（Books1、Books2）

脚注

  1. 1 2 3 4 5 “Better Language Models and Their Implications”. OpenAI (2019年2月14日). 2020年12月19日時点のオリジナルよりアーカイブ。2020年12月19日閲覧。
  2. ↑ Piper, Kelsey (2019年5月15日). “A poetry-writing AI has just been unveiled. It's ... pretty good.”. Vox. 2020年11月7日時点のオリジナルよりアーカイブ。2020年12月19日閲覧。
  3. 1 2 Johnson, Khari (2019年8月20日). “OpenAI releases curtailed version of GPT-2 language model”. VentureBeat. 2020年12月18日時点のオリジナルよりアーカイブ。2020年12月19日閲覧。
  4. 1 2 Vincent, James (2019年11月7日). “OpenAI has published the text-generating AI it said was too dangerous to share”. The Verge. 2020年6月11日時点のオリジナルよりアーカイブ。2020年12月19日閲覧。
  5. 1 2 Hegde, Chaitra; Patil, Shrikumar (9 June 2020). “Unsupervised Paraphrase Generation using Pre-trained Language Models”. arXiv:2006.05477 [cs.CL].
  6. 1 2 3 Kaiser, Caleb (2020年1月31日). “Too big to deploy: How GPT-2 is breaking servers”. Towards Data Science. 2020年2月15日時点のオリジナルよりアーカイブ。2021年2月27日閲覧。
  7. 1 2 3 4 5 6 Hern, Alex (2019年2月14日). “New AI fake text generator may be too dangerous to release, say creators”. The Guardian. 2019年2月14日時点のオリジナルよりアーカイブ。2020年12月19日閲覧。
  8. 1 2 3 4 5 6 7 Radford, Alec; Wu, Jeffrey; Child, Rewon; Luan, David; Amodei, Dario; Sutskever, Ilua (14 February 2019). Language models are unsupervised multitask learners. 1. オリジナルの6 February 2021時点におけるアーカイブ。 2020年12月19日閲覧。.
  9. 1 2 3 4 “Improving Language Understanding by Generative Pre-Training”. OpenAI. pp. 12 (2018年6月11日). 2021年1月26日時点のオリジナルよりアーカイブ。2021年1月23日閲覧。
  10. ↑ Polosukhin, Illia; Kaiser, Lukasz; Gomez, Aidan N.; Jones, Llion; Uszkoreit, Jakob; Parmar, Niki; Shazeer, Noam; Vaswani, Ashish (2017年6月12日). “Attention Is All You Need”. arXiv:1706.03762 [cs.CL].
  11. ↑ Olah, Chris; Carter, Shan (8 September 2016). “Attention and Augmented Recurrent Neural Networks”. Distill 1 (9). doi:10.23915/distill.00001. オリジナルの22 December 2020時点におけるアーカイブ。 2021年1月22日閲覧。.
  12. ↑ Bahdanau, Dzmitry; Cho, Kyunghyun; Bengio, Yoshua (1 September 2014). “Neural Machine Translation by Jointly Learning to Align and Translate”. arXiv:1409.0473 [cs.CL].
  13. ↑ Luong, Minh-Thang; Pham, Hieu; Manning, Christopher D. (17 August 2015). “Effective Approaches to Attention-based Neural Machine Translation”. arXiv:1508.04025 [cs.CL].
  14. 1 2 “GPT-2: 1.5B Release” (英語). OpenAI (2019年11月5日). 2019年11月14日時点のオリジナルよりアーカイブ。2019年11月14日閲覧。
  15. ↑ Brown, Tom B.; Mann, Benjamin; Ryder, Nick; Subbiah, Melanie; Kaplan, Jared; Dhariwal, Prafulla; Neelakantan, Arvind; Shyam, Pranav; Sastry, Girish; Askell, Amanda; Agarwal, Sandhini; Herbert-Voss, Ariel; Krueger, Gretchen; Henighan, Tom; Child, Rewon; Ramesh, Aditya; Ziegler, Daniel M.; Wu, Jeffrey; Winter, Clemens; Hesse, Christopher; Chen, Mark; Sigler, Eric; Litwin, Mateusz; Gray, Scott; Chess, Benjamin; Clark, Jack; Berner, Christopher; McCandlish, Sam; Radford, Alec; Sutskever, Ilya; Amodei, Dario (July 22, 2020). “Language Models are Few-Shot Learners”. arXiv:2005.14165 [cs.CL].
  16. ↑ Arram (2020年7月9日). “GPT-3: An AI that's eerily good at writing almost anything”. Arram Sabeti. 2020年7月20日時点のオリジナルよりアーカイブ。2020年7月31日閲覧。
  17. ↑ Hao, Karen (September 23, 2020). “OpenAI is giving Microsoft exclusive access to its GPT-3 language model” (英語). MIT Technology Review 2020年9月25日閲覧. ""The companies say OpenAI will continue to offer its public-facing API, which allows chosen users to send text to GPT-3 or OpenAI’s other models and receive its output. Only Microsoft, however, will have access to GPT-3’s underlying code, allowing it to embed, repurpose, and modify the model as it pleases.""
  18. ↑ "a new dataset of millions of webpages called WebText ... which emphasizes document quality." Radford. (2019). Language Models are Unsupervised Multitask Learners.
  19. ↑ "Our approach motivates building as large and diverse a dataset as possible in order to collect natural language demonstrations of tasks in as varied of domains and contexts as possible." Radford. (2019)
  20. ↑ Trinh, Trieu H.; Le, Quoc V. (7 June 2018). “A Simple Method for Commonsense Reasoning”. arXiv:1806.02847 [cs.CL].
  21. ↑ "Common Crawl ... they have significant data quality issues ... We observed similar data issues in our initial experiments with Common Crawl." Radford. (2019)
  22. ↑ "emphasizes document quality. To do this we only scraped web pages which have been curated/filtered by humans." Radford. (2019)
  23. ↑ "we scraped all outbound links from Reddit, a social media platform, which received at least 3 karma." Radford. (2019)
  24. ↑ "a preliminary version of WebText ... which ... contains slightly over 8 million documents for a total of 40 GB of text." Radford. (2019)
  25. ↑ "Layer normalization ... was moved to the input of each sub-block" Radford. (2019)
  26. ↑ "an additional layer normalization was added after the final self-attention block." Radford. (2019)
  27. ↑ "A modified initialization which accounts for the accumulation on the residual path with model depth ... scale the weights of residual layers at initialization by a factor of 1/√N where N is the number of residual layers." Radford. (2019)
  28. 1 2 "Our largest model, GPT-2, is a 1.5B parameter Transformer" Radford. (2019)
  29. ↑ "The vocabulary is expanded to 50,257." Radford. (2019)
  30. ↑ "We also increase the context size from 512 to 1024 tokens" Radford. (2019)
  31. ↑ "a larger batchsize of 512 is used." Radford. (2019)
  32. 1 2 Quach, Katyanna (2019年2月14日). “Roses are red, this is sublime: We fed OpenAI's latest chat bot a classic Reg headline”. The Register. 2021年3月9日時点のオリジナルよりアーカイブ。2021年2月27日閲覧。
  33. 1 2 “The Staggering Cost of Training SOTA AI Models”. Synced (2019年6月27日). 2020年11月24日時点のオリジナルよりアーカイブ。2021年2月27日閲覧。
  34. ↑ Wiggers, Kyle (2020年3月23日). “Google open-sources framework that reduces AI training costs by up to 80%”. VentureBeat. 2020年11月26日時点のオリジナルよりアーカイブ。2021年2月27日閲覧。
  35. 1 2 3 4 5 6 Vincent, James (2019年2月14日). “OpenAI's new multitalented AI writes, translates, and slanders”. The Verge. 2020年12月18日時点のオリジナルよりアーカイブ。2020年12月19日閲覧。
  36. 1 2 3 Piper, Kelsey (2019年2月14日). “An AI helped us write this article”. Vox. 2020年11月8日時点のオリジナルよりアーカイブ。2020年12月19日閲覧。
  37. ↑ Köbis, Nils; Mossink, Luca D. (1 January 2021). “Artificial intelligence versus Maya Angelou: Experimental evidence that people cannot differentiate AI-generated from human-written poetry”. Computers in Human Behavior 114: 106553. doi:10.1016/j.chb.2020.106553.
  38. ↑ Schwartz, Oscar (4 July 2019). “Could 'fake text' be the next global political threat?”. The Guardian. 2019年7月16日時点のオリジナルよりアーカイブ. 2019年7月16日閲覧.
  39. 1 2 Vincent, James (2019年2月21日). “AI researchers debate the ethics of sharing potentially harmful programs”. The Verge. 2021年2月9日時点のオリジナルよりアーカイブ。2021年2月27日閲覧。
  40. 1 2 Zhang, Hugh (2019年2月19日). “OpenAI: Please Open Source Your Language Model”. The Gradient. 2021年1月28日時点のオリジナルよりアーカイブ。2021年2月28日閲覧。
  41. 1 2 Ha, Anthony (2021年2月4日). “AI Dungeon-maker Latitude raises $3.3M to build games with 'infinite' story possibilities”. TechCrunch. 2021年2月21日時点のオリジナルよりアーカイブ。2021年2月27日閲覧。
  42. ↑ “OpenGPT-2: We Replicated GPT-2 Because You Can Too”. Noteworthy (2019年8月22日). 2021年2月27日閲覧。
  43. 1 2 Vincent, James (2019年6月6日). “There's a subreddit populated entirely by AI personifications of other subreddits”. The Verge. 2021年2月21日時点のオリジナルよりアーカイブ。2021年2月27日閲覧。
  44. ↑ Vincent, James (2019年7月24日). “This AI-powered autocompletion software is Gmail's Smart Compose for coders”. The Verge. 2021年3月9日時点のオリジナルよりアーカイブ。2021年2月27日閲覧。
  45. ↑ Olson, Mathew (2019年12月17日). “AI Dungeon 2, the Text Adventure Where You Can do Nearly Anything, Is Now on Mobile”. 2020年9月20日時点のオリジナルよりアーカイブ。2021年2月27日閲覧。
  46. ↑ Nelius, Joanna (2020年8月3日). “This AI-Powered Choose-Your-Own-Adventure Text Game Is Super Fun and Makes No Sense”. Gizmodo. 2021年2月28日時点のオリジナルよりアーカイブ。2021年2月27日閲覧。
  47. ↑ “Write With Transformer”. 2019年12月4日閲覧。
  48. ↑ “Talk to Transformer”. 2019年12月4日閲覧。
  49. ↑ “CreativeEngines”. 2021年6月25日閲覧。
  50. ↑ “An AI is training counselors to deal with teens in crisis”. MIT Technology Review (2021年2月26日). 2021年2月27日時点のオリジナルよりアーカイブ。2021年2月27日閲覧。
  51. ↑ Zhu, Yukun; Kiros, Ryan; Zemel, Rich; Salakhutdinov, Ruslan; Urtasun, Raquel; Torralba, Antonio; Fidler, Sanja (2015). Aligning Books and Movies: Towards Story-Like Visual Explanations by Watching Movies and Reading Books. pp. 19–27. arXiv:1506.06724.

関連項目

外部リンク