GPT-3

Generative Pre-trained Transformer 3.5 (GPT-3.5)
作者	OpenAI
初版	2022年3月15日（4年前）
リポジトリ	なし
前身	GPT-3
後継	GPT-4
種別	自己回帰モデル transformer 言語モデル
ライセンス	プロプライエタリ
公式サイト	なし
	テンプレートを表示

Generative Pre-trained Transformer 3 (GPT-3)
開発元	OpenAI
初版	2020年6月11日（6年前）
リポジトリ	github.com/openai/gpt-3;
前身	GPT-2
後継	GPT-3.5
種別	大規模言語モデル; Generative Pre-trained Transformer; 基盤モデル;
ライセンス	プロプライエタリ
公式サイト	openai.com/blog/openai-api
	テンプレートを表示

GPT-3（ジーピーティースリー、Generative Pre-trained Transformer 3）は、OpenAIが開発したGPTシリーズの大規模言語モデル (LLM) 。GPT-2の後継として2020年 6月11日にベータ版としてリリースされた、GPTシリーズの第3世代の言語予測モデルである。

OpenAIは、2020年5月28日の研究論文でGPT-3について発表、同年6月11日にプライベートベータ版としてAPIを提供開始。GPT-3は、生成的人工知能による自然言語処理 (NLP) システムにおけるトレンドの一翼を担った。

なお本項では、GPT-3の後継モデルであるGPT-3.5についても触れる。

概要

GPT-3を紹介する原論文は、2020年5月28日、31人のOpenAIの研究者と技術者が発表した^:34。彼らは論文の中で、GPT-3の潜在的な危険性を警告し、その危険性を軽減するための研究を呼びかけた^:34。GPT-3が生成するテキストの品質は、それが人間によって書かれたものであるかどうかを判断することは困難なほど高く、利点と危険性の両面があるとされる。

GPT-3は自己回帰型の言語モデルで、ディープラーニング（深層学習）により人間の文章のようなテキストを生成する。プロンプト（命令）として最初のテキストを与えると、それに応答し継続するテキストを生成する。なお、GPT-3系はテキスト処理特化モデルであり、後継のGPT-4等とは異なり、画像や音声などを同時処理するマルチモーダル（英語版）能力は持たない。

アーキテクチャは、デコーダのみのTransformerネットワークで、2048トークン長のコンテキストと、1750億個のパラメータという前例のないサイズを持ち、保存するのに800 GBを必要とした。このモデルは、生成的な事前学習を用いて訓練され、以前のトークンに基づいて次のトークンが何であるかを予測するように訓練をされる。このモデルは、多くのタスクに対し、強力なゼロショット学習（英語版）と少数ショット学習を実証した。著者らは、自然言語処理（NLP）における言語理解性能が、GPT-nのラベル付与されていないテキストの多様なコーパスに対する言語モデルの生成的事前学習と、それに続く各特定タスクにおける識別的な微調整のプロセスによって向上したことを説明した。これにより、人間による監督や、時間のかかる手作業でのラベル付けが不要になった。

2020年9月22日、マイクロソフトは、GPT-3の「独占的な利用」を許諾したと発表した。他の企業が公開APIを使用して出力を受け取ることは引き続き可能だが、GPT-3の基礎モデルにアクセスできるのはマイクロソフトのみである。

背景

→詳細は「GPT-2」を参照

エコノミスト紙によると、アルゴリズムの改良、強力なコンピューター、デジタル化されたデータの増加が、機械学習の革命を促進し、2010年代の新しい技術によって、言語の操作を含むタスクの急速な改善をもたらしたという。ソフトウェアモデルは、「脳の神経アーキテクチャに大まかに基づいた構造」で、数千から数百万の事例を使用して学習するように訓練される。自然言語処理（NLP）で使用されるアーキテクチャの1つは、2017年に初めて登場した深層学習モデルTransformerに基づくニューラルネットワークである。GPT-nモデルは、Transformerに基づく深層学習ニューラルネットワーク型のアーキテクチャである。入力されたテキストを処理、マイニング、整理・結合し、対比し、質問に正しく答えることができるNLPシステムは多数存在する。2018年6月11日、OpenAIの研究者と技術者は、データセットを介して膨大で多様なテキストのコーパスを用いて事前学習できる生成モデル（言語モデル、人工知能システム）に関する、彼らが生成的事前学習（generative pre-training、GP）と呼ぶプロセスの原論文を発表した。著者らは、GPT-nでラベル付けされていない多様なテキストのコーパスを用いて言語モデルを生成的に事前学習し、その後、特定のタスクごとに識別的に微調整するプロセスを通じて、自然言語処理（NLP）における言語理解の性能が向上したことを説明した。これにより、人間による監督や、時間のかかる手作業によるラベル付けが不要になった。

2020年2月、マイクロソフトは「170億個のパラメータを持つ、これまでに発表された最大の言語モデル」と主張するTuring Natural Language Generation（T-NLG）を発表した。これは、テキストの要約や質問への回答を含む、さまざまタスクで、他のどの言語モデルよりも優れた性能を発揮した。

訓練と能力

GPT-3によって書かれた教育学に関する学生の小論の例

「学習スタイル」という概念は、学習スタイルが形成される過程を説明できない点で問題がある。ある学生は、特定の経験をしたために、特定の学習スタイルを身につけるかもしれない。別の学生は、自分の学習ニーズにあまり適していない学習環境に適応しようとすることで、特定の学習スタイルを習得するかもしれない。しかし最終的には、学習スタイルと環境および個人的要因との相互作用を理解し、それらがどのように私たちの学習方法や経験する学習の種類を形成するかを理解する必要がある。

– 著者: マイク・シャープルズ

2020年5月28日、OpenAIの31人の技術者と研究者のグループによるarXivの査読前論文で、第3世代の「最先端の言語モデル」であるGPT-3の開発について説明された。

チームは、GPT-3の容量をその前身のGPT-2よりも2桁以上増やし、GPT-3をこれまでで最大の非スパース言語モデルにした（スパースモデルでは、パラメータ（英語版）の多くが定数に設定されているため、パラメータの総数が多くても、意味のある情報は少なくなる^:14。）。

GPT-3は構造的に前身モデルと類似しているので、精度が向上したのは容量とパラメータ数の増加によると考えられる。GPT-3の容量は、当時知られていた2番目に大きなマイクロソフトのTuring NLGの10倍になる。

GPT-3は、ゼロショット（英語版）、少数ショット、ワンショット（英語版）の学習を行うことができる。

モデル

GPT-3のモデルアーキテクチャは、GPT-2モデルのマイナーチェンジ版である。

アーキテクチャ上の変更点は以下の通り：
- アテンションレイヤー構造（スパースアテンション等）
アーキテクチャはほぼ同一であるが、GPT-3はGPT-2より大きなモデルとなっている。モデル上の変更点は以下の通り：
- モデルパラメータサイズ: 1750億（dense等価で約10倍）
- その他

データセット

GPT-3の重み付き事前学習データセットの60%は、Common Crawlのフィルタ処理された版から取得されたもので、4,100億バイト対符号化トークンで構成される^:9。その他の情報源としては、WebText2からの190億トークン（加重合計の22%）、Books1からの120億トークン（8%）、Books2からの550億トークン（8%）、Wikipediaからの30億トークン（3%）がある^:9。

GPT-3学習データ
データセット	トークン数	学習データ中の割合
Common Crawl	4100 億	60%
WebText2	190 億	22%
Books1	120 億	8%
Books2	550 億	8%
Wikipedia	30 億	3%

能力

GPT-3は数千億個の単語で訓練されており、CSS、JSX、Pythonなどのプログラミング言語でコーディングすることも可能である。GPT-3の学習データはすべてを網羅しているため、個別の言語タスクのために訓練を追加する必要はない。この学習データにはときどき有害言語が含まれており、GPT-3は学習データを模倣した結果、有害な言葉を発生することがある。ワシントン大学の研究によると、GPT-3は、同様の自然言語処理モデルであるGPT-2やCTRLと同程度の毒性基準で有毒言語を生成することがわかった。OpenAIは、GPT-3が生成する有毒言語の量を制限するために、いくつかの戦略を実装した。その結果、GPT-3は、前身モデルであるGPT-1よりも有毒言語の生成が少なくなったものの、Wikipediaのデータのみで学習した言語モデルであるCTRL Wikiよりも有毒言語は生成が多く、毒性基準も高かった。

2020年6月11日、OpenAIは、ユーザーがこの新しい技術の長所と限界を探るため、使いやすいGPT-3 API「機械学習ツールセット」へのアクセスを要求できることを発表した。招待状には、このAPIは通常の単一のユースケースではなく、ほぼあらゆる英語のタスクを完了できる汎用的なテキスト入力、テキスト出力型のインターフェースを備えていると説明されている。OpenAI GPT-3 APIの非公開の早期リリースにアクセスしたあるユーザーによると、GPT-3は、いくつかの簡単なプロンプトだけで驚くほど意味の通ったテキストを書くことができ「不気味なほど優秀だった」という。最初の実験では、米国の80名の被験者に、200語程度の短い記事が人間によって書かれたものか、GPT-3によって書かれたものかを判断するように求められた。その結果、被験者は52%の確率で正しく判断し、ランダムに推測するよりもわずかに優れていた。

2021年11月18日、OpenAIは、APIに無制限にアクセスできるように保護手段を実装したことを発表した。OpenAIは、開発者がOpenAIのコンテンツポリシーを順守するのに役立つコンテンツモデレーションツールを提供した。2022年1月27日、OpenAIは、InstructGPTと総称される最新のGPT-3言語モデルが、同社のAPIで使用されるデフォルトの言語モデルになることを発表した。OpenAIによると、InstructGPTは、より適切に指示に従うことで、よりユーザーの意図に沿ったコンテンツを生成し、でっち上げの事実を減らし、有害なコンテンツをいくらか少なくできるとされた。

GPT-3は「人間の評価者が人間が書いた記事と区別するのが難しいニュース記事を生成できる」ため、GPT-3には「言語モデルの有益な応用と有害な応用の両方を進める可能性がある^:34」と評される。2020年5月28日の論文で、研究者らは「GPT-3が潜在的に持つ有害作用について詳細に説明した。それには誤った情報、スパム（英語版）、フィッシング、法律や政府のプロセスの悪用（英語版）、不正な学術論文の作成、ソーシャルエンジニアリングの口実（英語版）が含まれている。研究者らはこれらの危険性への注意を喚起し、リスクを軽減するための研究を呼びかけた^:34。また、OpenAIのサム・アルトマンは、彼自身が「GPT-3誇大広告」と呼ぶものを批判し、GPT-3には「深刻な弱点があり、時には非常に愚かな間違いを犯す。AIは世界を変えようとしているが、GPT-3はごく初期を垣間見るに過ぎない。」と認めている。

2022年6月、Almira Osmanovic Thunströmは、GPT-3が自身に関する論文の主な著者であり、発表のために投稿し、査読を待っている間に事前公開されたと記した。

モデル一覧

この節の出典

GPT-3のモデルは以下のとおり。これらには GPT-3.5 と Codex は含まれない。

text-curie-001：2024年 1月4日提供終了。
text-babbage-001：2024年1月4日提供終了
text-ada-001：2024年1月4日提供終了。
davinci：2024年1月4日提供終了、代替モデルは davinci-002。
curie：2024年1月4日提供終了、代替モデルは curie-002。
babbage：2024年1月4日提供終了、代替モデルは babbage-002。
ada：2024年1月4日提供終了、代替モデルは ada-002。

反応

応用

GPT-3、特にCodexモデルは、さざまざなコードエディタやIDEで使用できるコード補完および生成ソフトウェア「GitHub Copilot」の基盤となっている。
マイクロソフトの特定の製品では、従来の言語を公式なコンピュータコードに変換するために、GPT-3が使用されている。
GPT-3は、CodexDBで、SQL処理用のクエリ固有のコードを生成するために使用されている。
GPT-3は、Jason Rohrerによる「Project December」というレトロなテーマのチャットボットプロジェクトで使用されている。このプロジェクトはオンラインでアクセス可能で、ユーザーはGPT-3の技術を使用してさまざまなAIと会話することができる。
ガーディアン紙において、「AIは人間に無害である」という記事を書くためにGPT-3が使用された。いくつかのアイデアを与えられ、8つの異なるエッセイを作成し、最終的に1つの記事に統合された。
テキストベースのアドベンチャーゲームを生成するAI Dungeon（英語版）でGPT-3が使用された。その後、OpenAIが生成コンテンツに関するポリシーを変更したため、競合するモデルに置き換えられた。
スタートアップ企業のCopy.ai、Jasper.ai、TextCortex AIおよびHypotenuse AIによって、コピー（英語版）やその他のマーケティング資料の作成を支援するためにGPT-3が利用されている。
ドレクセル大学による2022年の研究では、GPT-3ベースのシステムが、アルツハイマー病の初期兆候のスクリーニングに使用できることが示唆された。

論評

2020年8月4日付『ニューヨーク・タイムズ』紙のレビューで、Farhad Manjooは、コンピュータコード、詩、散文を生成するGPT-3の能力は、単に「驚くべき」「不気味」「謙虚」だけでなく「少しばかり恐ろしい」と述べた。また、2022年4月15日付『ニューヨーク・タイムズ』紙では、GPT-3の能力について、人間と同等の流暢さで独自の散文を書くことができると論評した。
ウェブサイト「Daily Nous（英語版）」は、9人の哲学者によるGPT-3についての記事を紹介した。オーストラリアの哲学者デイヴィッド・チャーマーズは、GPT-3を「これまでに作られた最も興味深く、重要なAIシステムの一つ」と評した。
『WIRED』は、GPT-3が「シリコンバレー全体に悪寒を引き起こした」と述べた。
「The National Law Review」は、GPT-3は「より大きなプロセスにおける印象的な一歩」であり、OpenAIや他の企業は「より汎用的な知能を目指す取り組みを続けながら、この力のすべてに有用な応用を見つけている」と述べている。
「MITテクノロジーレビュー」の記事で、共同執筆したディープラーニング評論家のGary Marcusは、GPT-3の「世界の理解はしばしば深刻にずれており、GPT-3の言うことは決して信用できない」と指摘した。著者らによると、GPT-3は、各単語の背後にある意味を理解せずに、単語間の関係をモデル化しているという。
Facebook AIラボの責任者であるJerome Pesentiは、GPT-3は安全ではないと述べ、ユダヤ人、女性、黒人、およびホロコーストについて議論するよう求められたときに、システムが生成した性差別、人種差別、およびその他の偏見のある否定的な言葉を指摘した。
フランスの医療技術を専門とするスタートアップ企業Nablaは、OpenAI自身がそのような使用に対して警告を発していたにもかかわらず、GPT-3を医療用チャットボットとしてテストした。予想通りGPT-3にはいくつかの限界があり、たとえばメンタルヘルスの問題についてGPT-3の応答をテストしたとき、AIは模擬患者に自殺するよう勧めた。
ノーム・チョムスキーは、GPT-3の科学的価値について次のような懐疑的な見方を示した。「これは言語モデルではない。不可能な言語に対しても、実際の言語に対しても同様に機能する。したがって、もし言語モデルとして意図されてたものであるならば、通常の科学的基準によって反論される。（中略）おそらく、何らかの目的には有用かもしれないが、言語や認知一般については何も教えてくれないようだ」。
ルチアーノ・フロリディとMassimo Chiriattiは「良質で意味深い人工産物を安価に生産することの危険性」を強調した。

批判

GPT-3の構築者であるOpenAIは、もともと、2015年に非営利法人として設立された。2019年、OpenAIは、このモデルがフェイクニュースを永続させるという懸念を挙げて、それまでのオープンソースの慣習を破り、GPT-3の前身モデルを公開しなかった。OpenAIは最終的に、オリジナルなモデルの8%のサイズのGPT-2を公開した。同年、OpenAIは営利企業となるため再編成された。

2020年、マイクロソフトは、OpenAIへ数十億ドルを投資し、マイクロソフトの製品とサービス向けにGPT-3の独占的ライセンスを取得したと発表した。この契約により、OpenAIは公開APIを提供し、ユーザーはGPT-3にテキストを送信してモデルの出力を受け取ることができるが、GPT-3のソースコードにアクセスできるのはマイクロソフトのみとなる。

GPT-3のような大規模な言語モデルは、Googleの一部のAI倫理研究者から、モデルの訓練と保存が環境に与える影響についての批判を受けており、2021年にTimnit GebruとEmily M. Benderが共著した論文で詳述されている。

GPT-3やその他の言語ジェネレーターに基づく自動文章作成技術の使用が増加していることから^[いつ?]、学問的誠実性に関する懸念が高まり、大学や学校が何をもって剽窃（ひょうせつ、盗作）などの学問的不正行為とみなすのかという問題が生じている。

GPTは、12年間に6,000万ドメインから収集された著作権保護された記事、インターネット上の投稿、ウェブページ、書籍のコレクションであるCommon Crawlデータセットのデータを用いて構築された。TechCrunchによるとこの学習データには、BBC、The New York Times、Reddit、オンライン書籍の全文などの著作物が含まれているという。OpenAIは、米国特許商標庁（USPTO）からの「人工知能イノベーションの知的財産保護に関する2019年のコメント要請」に対する回答で、「現行法のもとでは、（GPTモデルなどの）AIシステムの訓練は公正利用に合致する」と主張したが、「この点に関する適切な判例がないことから、OpenAIや私たちのような他のAI開発者は、かなりの法的不確実性とコンプライアンス・コストに直面している」と述べている。

GPT-3.5

GPT-3.5（ジーピーティースリーポイントファイブ、Generative Pre-trained Transformer 3.5）は、OpenAIが2022年にリリースしたGPT-3の後継モデル。2022年 11月30日に同社が発表した生成AI チャットボット「ChatGPT」用として、GPT-3をベースに人間との対話能力向上のためのファインチューニング（追加学習）を行ったモデルであり、ChatGPTリリース当時の基盤となった大規模言語モデル (LLM) である。2024年にChatGPTでの提供が終了されるまで、ChatGPTに始まる生成AIチャットボットの世界的ブームを支えた言語モデルであった。

なお、OpenAIは、GPT-3.5をGPT-3に含めていない。GPT-3.5の後継モデルはGPT-4である。

沿革

2022年3月15日、OpenAIは、GPT-3とCodexのAPIに、編集と挿入機能を持たせた新しいバージョンを「text-davinci-002」および「code-davinci-002」という名前で公開した。これらのモデルは、以前のバージョンよりも高性能であると説明され、2021年6月までのデータを用いて訓練された。2022年11月28日、OpenAIは「text-davinci-003」を公開した。

2022年11月30日、OpenAIはこれらのモデルを「GPT-3.5」シリーズに属すものとし、同日付で、GPT-3.5シリーズのモデルを微調整したChatGPTをリリースした。

2023年 6月13日、OpenAIは「gpt-3.5-turbo-16k」と関数呼び出し (function calling) を追加した。関数呼び出しにより、ChatGPTのプラグインのようなことが、ChatGPTの外で実行できるようになった。

GPT-3.5のモデル