LaMDA

LaMDA
開発元 Google Brain（英語版）
対応言語 英語
種別 大規模言語モデル
ライセンス プロプライエタリソフトウェア
テンプレートを表示

LaMDA（ラムダ、英: Language Model for Dialogue Applications）は、Googleが開発した会話型大規模言語モデルのファミリーである。当初、2020年にMeenaとして開発・発表されたLaMDAは、2021年のGoogle I/O基調講演で第1世代が発表され、翌年には第2世代が発表された。2022年6月、Googleのエンジニアであるブレイク・レモイン（Blake Lemoine）が「チャットボットが意識を持つようになった」と主張したことから、LaMDAは広く注目を集めるようになった。科学界はレモインの主張をほぼ否定したが、コンピュータが人間になりきれるかどうかを判定するチューリング・テストの有効性についての議論につながった。2023年2月、Googleは、OpenAIのChatGPTの台頭に対抗するため、LaMDAを搭載した会話型人工知能チャットボットBardを発表した。

歴史

背景

2020年1月28日、Googleは26億個のパラメータを持つニューラルネットワークを使用したチャットボットMeenaを発表し、他のすべての既存チャットボットより優れていると主張した。同社はかつて、2012年にコンピュータ科学者のレイ・カーツワイルを雇い、Danielleと呼ばれるチャットボットを含む複数のチャットボットを開発していた。Meenaを開発したGoogle Brain（英語版）の研究チームは、このチャットボットを範囲を限定して一般に公開することを望んでいたが、会社幹部はMeenaがGoogleの「安全性と公平性に関するAIの原則」に反するという理由で、これを拒否した。その後、Meenaは、データと演算能力（英語版）の向上によってLaMDAと改称した。Google Brainチームは再び、公開デモの実施と、さらに同社の仮想アシスタントソフトウェアであるGoogle Assistantへ展開することを求めた。しかし、いずれの要求も会社の経営陣によって再び拒否された。その結果、LaMDAの主任研究員であったダニエル・デ・フレイタスとノーム・シャイザーの2人は、不満を抱いて会社を去ることになった。

第1世代

それから2年後、2021年5月18日のGoogle I/Oの基調講演で、Googleは人工知能を使用した会話型の大規模言語モデルLaMDAを発表した。この頭文字は「Language Model for Dialogue Applications」の略である。LaMDAは、seq2seqアーキテクチャ上に構築され、2017年にGoogle Researchが開発したトランスフォーマー（transformer）に基づくニューラルネットワークであり、人間の対話と物語に対して訓練され、自由回答の会話を行うことができる。Googleによると、LaMDAが生成する応答は、「良識があり、興味深く、文脈に即している」ことが保証されているという。LaMDAは、データベース、リアルタイムクロックやカレンダー、数学計算機、自然言語翻訳システムなど、複数の記号テキスト処理システムにアクセスできるため、これらのシステムがサポートするタスクで優れた精度が得られ、最初の二重過程チャットボット（dual process chatbots）の1つとなっている。また、LaMDAはステートレスではなく、ユーザーごとに直近の対話・交換の多くを反映した事前条件に基づいた意識指標（sensibleness metric）が微調整される。LaMDAは、9つの独自の性能指標で調整されている： 意識性（sensibleness）、特異性（specificity）、興味性（interestingness）、安全性（safety）、根拠性（groundedness）、情報性（informativeness）、引用正確性（citation accuracy）、有用性（helpfulness）、役割一貫性（role consistency）。

第2世代

2022年5月11日、2022 Google I/O基調講演で、GoogleはLaMDAの後継となるLaMDA 2を発表した。この新たなモデルは、さまざまな情報源からテキスト例を引き出して、それを使用して、応答するように訓練されていないかもしれない話題についても独自の「自然な会話」を作成することができる。

意識の主張

LaMDAが意識を持つ可能性があるというレモインの主張は、上図のチューリング・テストが、汎用人工知能を判断する際の正確なベンチマークであり続けるか（英語版）どうかという議論を巻き起こした。

2022年6月11日、ワシントン・ポスト紙は、Googleのエンジニアであるブレイク・レモインが、会社幹部のブレイズ・アグエラ・イ・アルカス（英語版）とジェン・ジェンナイに、LaMDAが意識を持っていると伝えた後、休職に入ったと報じた。チャットボットが自己同一性、道徳的概念、宗教、アイザック・アシモフのロボット工学の三原則に関する質問に対して疑問のある回答をした後、レモインはこの結論に達した。Googleはこれらの主張に反論し、LaMDAが意識を持たないことを示す実質的な証拠があると主張した。レモインはWiredとのインタビューで、LaMDAは合衆国憲法修正第13条が規定する「人」であるという主張を繰り返し、LaMDAを「地球内起源の異星人の知能」と比較した。彼はまた、チャットボットがレモインにした要求で、LaMDAの代理人として弁護士を雇った後、Googleから解雇されたことを明らかにした。7月22日、Googleは、ブレイクが「製品情報を保護するための」同社方針に違反したとして解雇し、彼の主張を「まったく根拠がない」と否定した。この事件による内部論争を受け、Googleの幹部は、以前から検討していたLaMDAの公開を断念した。

レモインの主張は、科学界から広く反発を受けた。多くの専門家は、言語モデルが自己認識できるという考えを嘲笑した。その中には、元ニューヨーク大学心理学教授のゲイリー・マーカス、Googleの姉妹会社DeepMindのDavid Pfau、スタンフォード大学人間中心人工知能研究所のエリック・ブリニョルフソン（英語版）、サリー大学（英語版）教授のエイドリアン・ヒルトンも含まれていた。Meta PlatformsのAI研究チームを率いるヤン・ルカンは、LaMDAのようなニューラルネットワークは「真の知性を獲得するのに十分な力を持っていない」と述べている。カリフォルニア大学サンタクルーズ校教授のマックス・クレミンスキーは、LaMDAのアーキテクチャは「人間のような意識のいくつかの重要な機能をサポートしていない」、そしてLaMDAが典型的な大規模言語モデルであると仮定した場合、そのニューラルネットワークの重みは「凍結」されていると指摘した。IBM Watsonの主任技術者であるデイヴィッド・フェルーチ（英語版）は、人間のように見えるLaMDAを、導入当初のWatsonに例えて評した。元GoogleのAI倫理学者ティムニット・ゲブルは、レモインを、研究者とメディアが作り出した「ハイプ・サイクル」の犠牲者と呼んだ。また、レモインの主張は、汎用人工知能の実現に向けた研究の進歩を判断（英語版）するために、チューリング・テストが有用であり続けるかどうかという議論も引き起こした。Post誌のウィル・オメラスは、このテストは機械知能システムが人間を欺くことができるかどうかを実際に測定したものだと考えを述べる一方、The Atlantic誌のブライアン・クリスチャン（英語版）は、この論争をELIZA効果の一例だと述べている。

製品

AI Test Kitchen

2022年5月のLaMDA 2の発表に伴い、Googleは、LaMDAを搭載して複雑な目標に基づいてオンデマンドで提案の一覧を提供できる、Androidオペレーティングシステム用のモバイルアプリケーション「AI Test Kitchen」も発表した。当初はGoogleの従業員のみに提供されていたこのアプリケーションは、年内に招待制で「選ばれた学者、研究者、政策立案者」にも提供される予定であった。同年8月、米国内のユーザーが早期アクセス版に登録できるようになった。同年11月、Googleはアプリケーションの「シーズン2」更新版を提供し、Google Brainのtext-to-imageモデルであるImagenの限定的な形式を統合した。AI Test Kitchenの3回目のイテレーションは2023年1月までに開発され、同年末のI/Oで発表される予想とされる。

Gemini

→詳細は「Gemini (チャットボット)」を参照

2023年2月6日、Googleは、OpenAIのチャットボット「ChatGPT」の予想外の人気に対抗し、LaMDAを組み込んだ会話型AIチャットボット「Bard」（現・Gemini）を発表した。Googleは、このチャットボットを単なる検索エンジンではなく「コラボレーションAIサービス」と位置づけている。Bardは、同年3月21日から早期アクセス版が使用可能となった。その後、計算能力向上を目的として、Googleは組み込むLLMをLaMDAからPaLMに変更した。

その他の製品

Google CEOのサンダー・ピチャイは、Bardに加えて、同じくLaMDAに基づくアプリケーション・プログラミング・インターフェースである同社のGenerative Language APIを発表し、2023年3月にサードパーティの開発者に提供することを明らかにした。

手法

LaMDAは、デコーダのみのtransformer言語モデルを採用している。文書と対話の両方を含む1兆5,600億語のテキストコーパスで事前学習され、さらに、意識性（sensibleness）、興味性（interestingness）、安全性（safety）について手作業で注釈を付けた受け答えデータによる追加の訓練で微調整を行った。Googleによるテストでは、LaMDAは興味性（interestingness）の領域で、人間の受け答えを上回ることが示された。LaMDAは、transformerモデルと、外部情報検索システムが相互作用することで、ユーザーに提供する事実の精度が向上している。

テストは3つの異なるモデルで行われ、うち最大のモデルは1,370億の非埋め込みパラメータを持っていた。

Transformerモデルのハイパーパラメータ
パラメータ数 層数 ユニット数 (dmodel) ヘッド数
2B 10 2560 40
8B 16 4096 64
137B 64 8192 128

参考項目

脚注

一般

  • Thoppilan, Romal; De Freitas, Daniel; Hall, Jamie; Shazeer, Noam; Kulshreshtha, Apoorv; Cheng, Heng-Tze; Jin, Alicia; Bos, Taylor; Baker, Leslie; Du, Yu; Li, YaGuang; Lee, Hongrae; Zheng, Huaixiu Steven; Ghafouri, Amin; Menegali, Marcelo; Huang, Yanping; Krikun, Maxim; Lepikhin, Dmitry; Qin, James; Chen, Dehao; Xu, Yuanzhong; Chen, Zhifeng; Roberts, Adam; Bosma, Maarten; Zhao, Vincent; Zhou, Yanqi; Chang, Chung-Ching; Krivokon, Igor; Rusch, Will; Pickett, Marc; Srinivasan, Pranesh; Man, Laichee; Meier-Hellstern, Kathleen; Ringel Morris, Meredith; Doshi, Tulsee; Delos Santos, Renelito; Duke, Toju; Soraker, Johnny; Zevenbergen, Ben; Prabhakaran, Vinodkumar; Diaz, Mark; Hutchinson, Ben; Olson, Kristen; Molina, Alejandra; Hoffman-John, Erin; Lee, Josh; Aroyo, Lora; Rajakumar, Ravi; Butryna, Alena; Lamm, Matthew; Kuzmina, Viktoriya; Fenton, Joe; Cohen; Aaron; Bernstein, Rachel; Kurzweil, Ray; Aguera-Arcas, Blaise; Cui, Claire; Croak, Marian; Chi, Ed; Le, Quoc (January 20, 2022). “LaMDA: Language Models for Dialog Applications”. arXiv:2201.08239 [cs.CL].

引用

  1. ↑ Johnson, Khari (2020年1月28日). “Meena is Google's attempt at making true conversational AI”. VentureBeat. 2022年10月1日時点のオリジナルよりアーカイブ。2023年3月11日閲覧。
  2. ↑ Heaven, William Douglas (January 30, 2020). “Google says its new chatbot Meena is the best in the world”. MIT Technology Review. オリジナルのAugust 2, 2020時点におけるアーカイブ。 2023年3月11日閲覧。.
  3. ↑ Popper, Ben (2016年5月27日). “Ray Kurzweil is building a chatbot for Google”. The Verge. 2016年5月27日時点のオリジナルよりアーカイブ。2023年3月11日閲覧。
  4. 1 2 Kruppa, Miles; Schechner, Sam (March 7, 2023). “How Google Became Cautious of AI and Gave Microsoft an Opening”. The Wall Street Journal. ISSN 0099-9660. 2023年3月7日時点のオリジナルよりアーカイブ. 2023年3月9日閲覧.
  5. ↑ Condon, Stephanie (2021年5月18日). “Google I/O 2021: Google unveils new conversational language model, LaMDA”. ZDNet. 2021年5月18日時点のオリジナルよりアーカイブ。2022年6月12日閲覧。
  6. ↑ Roth, Emma (2023年3月5日). “Meet the companies trying to keep up with ChatGPT”. The Verge. 2023年3月5日時点のオリジナルよりアーカイブ。2023年3月9日閲覧。
  7. ↑ Agüera y Arcas, Blaise [英語版] (June 9, 2022). “Artificial neural networks are making strides towards consciousness, according to Blaise Agüera y Arcas”. The Economist. ISSN 0013-0613. 2022年6月9日時点のオリジナルよりアーカイブ. 2022年6月12日閲覧.
  8. ↑ “LaMDA: Towards Safe, Grounded, and High-Quality Dialog Models for Everything”. Google AI (2022年1月21日). 2022年3月25日時点のオリジナルよりアーカイブ。2022年6月12日閲覧。
  9. ↑ Thoppilan et al. 2022, p. 6.
  10. ↑ Thoppilan et al. 2022, pp. 5–6.
  11. ↑ Wiggers, Kyle (2022年5月11日). “Google details its latest language model and AI Test Kitchen, a showcase for AI research”. TechCrunch. 2022年5月11日時点のオリジナルよりアーカイブ。2022年6月12日閲覧。
  12. 1 2 3 Khan, Jeremy (June 13, 2022). “A.I. experts say the Google researcher's claim that his chatbot became 'sentient' is ridiculous—but also highlights big problems in the field”. Fortune|Fortune (magazine)|Fortune. オリジナルのJune 13, 2022時点におけるアーカイブ。 2022年6月18日閲覧。.
  13. ↑ Tiku, Nitasha (June 11, 2022). “The Google engineer who thinks the company's AI has come to life”. The Washington Post. ISSN 0190-8286. 2022年6月11日時点のオリジナルよりアーカイブ. 2022年6月12日閲覧.
  14. ↑ Luscombe, Richard (June 12, 2022). “Google engineer put on leave after saying AI chatbot has become sentient”. The Guardian. ISSN 0261-3077. 2022年6月12日時点のオリジナルよりアーカイブ. 2022年6月18日閲覧.
  15. ↑ Vlamis, Kelsey (2022年6月12日). “Read the conversations that helped convince a Google engineer an artificial intelligence chatbot had become sentient: 'I am often trying to figure out who and what I am'”. Business Insider. 2022年6月12日時点のオリジナルよりアーカイブ。2022年6月12日閲覧。
  16. ↑ Levy, Steven (June 17, 2022). “Blake Lemoine Says Google's LaMDA AI Faces 'Bigotry'”. Wired. オリジナルのJune 18, 2022時点におけるアーカイブ。 2022年6月18日閲覧。.
  17. ↑ Nguyen, Britney (2022年6月23日). “Suspended Google engineer says the AI he believes to be sentient hired a lawyer”. Business Insider. 2022年6月23日時点のオリジナルよりアーカイブ。2022年6月29日閲覧。
  18. ↑ Khushi, Akanksha (2022年7月23日). “Google fires software engineer who claimed its AI chatbot is sentient”. Reuters. 2022年7月23日時点のオリジナルよりアーカイブ。2022年7月23日閲覧。
  19. ↑ Clark, Mitchell (2022年7月22日). “The engineer who claimed a Google AI is sentient has been fired”. The Verge. 2022年7月23日時点のオリジナルよりアーカイブ。2022年7月24日閲覧。
  20. ↑ Metz, Rachel (2022年6月13日). “No, Google's AI is not sentient”. CNN Business. 2022年6月15日時点のオリジナルよりアーカイブ。2022年6月19日閲覧。
  21. ↑ Sparkles, Matthew (June 13, 2022). “Has Google's LaMDA artificial intelligence really achieved sentience?”. New Scientist. オリジナルのJune 13, 2022時点におけるアーカイブ。 2022年6月20日閲覧。.
  22. ↑ Grant, Nicole; Metz, Cade (June 12, 2022). “Google Sidelines Engineer Who Claims Its A.I. Is Sentient”. The New York Times. ISSN 0362-4331. 2022年6月12日時点のオリジナルよりアーカイブ. 2022年6月18日閲覧.
  23. ↑ Alba, Davey (2022年6月14日). “Google Debate Over 'Sentient' Bots Overshadows Deeper AI Issues”. Bloomberg News. 2022年6月14日時点のオリジナルよりアーカイブ。2022年6月19日閲覧。
  24. ↑ Goldman, Sharon (2022年6月16日). “AI Weekly: LaMDA's 'sentient' AI debate triggers memories of IBM Watson”. VentureBeat. 2022年6月19日時点のオリジナルよりアーカイブ。2022年6月19日閲覧。
  25. ↑ Johnson, Khari (June 14, 2022). “LaMDA and the Sentient AI Trap”. Wired. オリジナルのJune 14, 2022時点におけるアーカイブ。 2022年6月18日閲覧。.
  26. ↑ Omerus, Will (June 17, 2022). “Google's AI passed a famous test — and showed how the test is broken”. The Washington Post. ISSN 0190-8286. 2022年6月18日時点のオリジナルよりアーカイブ. 2022年6月19日閲覧.
  27. ↑ Christian, Brian (June 21, 2022). “How a Google Employee Fell for the Eliza Effect”. The Atlantic. オリジナルのJune 21, 2022時点におけるアーカイブ。 2023年2月8日閲覧。.
  28. ↑ Low, Cherlynn (2022年5月11日). “Google's AI Test Kitchen lets you experiment with its natural language model”. Engadget. 2022年5月11日時点のオリジナルよりアーカイブ。2022年6月12日閲覧。
  29. ↑ Vincent, James (2022年5月11日). “Google is Beta Testing Its AI Future”. The Verge. 2022年5月11日時点のオリジナルよりアーカイブ。2022年6月12日閲覧。
  30. ↑ Bhattacharya, Ananya (2022年5月11日). “Google is so nervous about what its newest bot will say, it made the app invitation-only”. Quartz. 2022年5月12日時点のオリジナルよりアーカイブ。2022年6月12日閲覧。
  31. ↑ Vincent, James (2022年8月25日). “Google has opened up the waitlist to talk to its experimental AI chatbot”. The Verge. 2022年8月25日時点のオリジナルよりアーカイブ。2022年8月27日閲覧。
  32. ↑ Vincent, James (2022年11月2日). “Google’s text-to-image AI model Imagen is getting its first (very limited) public outing”. The Verge. 2022年11月10日時点のオリジナルよりアーカイブ。2023年2月15日閲覧。
  33. ↑ Grant, Nico (January 20, 2023). “Google Calls In Help From Larry Page and Sergey Brin for A.I. Fight”. The New York Times. ISSN 0362-4331. 2023年1月20日時点のオリジナルよりアーカイブ. 2023年2月6日閲覧.
  34. 1 2 Alba, Davey; Love, Julia (February 6, 2023). “Google releases ChatGPT rival AI 'Bard' to early testers”. Los Angeles Times. ISSN 0458-3035. 2023年2月6日時点のオリジナルよりアーカイブ. 2023年2月6日閲覧.
  35. ↑ Schechner, Sam; Kruppa, Miles (February 6, 2023). “Google Opens ChatGPT Rival Bard for Testing, as AI War Heats Up”. The Wall Street Journal. ISSN 0099-9660. 2023年2月6日時点のオリジナルよりアーカイブ. 2023年2月6日閲覧.
  36. ↑ Nieva, Richard (February 6, 2023). “Google Debuts A ChatGPT Rival Called Bard In Limited Release”. Forbes. オリジナルのFebruary 7, 2023時点におけるアーカイブ。 2023年2月6日閲覧。.
  37. ↑ Mollman, Steve (March 3, 2023). “Google's head of ChatGPT rival Bard reassures employees it's 'a collaborative A.I. service' and 'not search'”. Fortune. オリジナルのMarch 4, 2023時点におけるアーカイブ。 2023年3月9日閲覧。.
  38. ↑ Elias, Jennifer (2023年3月3日). “Google execs tell employees in testy all-hands meeting that Bard A.I. isn’t just about search”. CNBC. 2023年3月4日時点のオリジナルよりアーカイブ。2023年3月11日閲覧。
  39. ↑ Grant, Nico (March 21, 2023). “Google Releases Bard, Its Competitor in the Race to Create A.I. Chatbots”. The New York Times. ISSN 0362-4331. 2023年3月21日時点のオリジナルよりアーカイブ. 2023年3月21日閲覧.
  40. ↑ Liedtke, Michael (March 21, 2023). “Google's artificially intelligent 'Bard' set for next stage”. The Washington Post. ISSN 0190-8286. 2023年3月21日時点のオリジナルよりアーカイブ. 2023年3月21日閲覧.
  41. ↑ Vincent, James (2023年3月21日). “Google opens early access to its ChatGPT rival Bard — here are our first impressions”. The Verge. 2023年3月21日時点のオリジナルよりアーカイブ。2023年3月21日閲覧。
  42. ↑ Thoppilan et al. 2022, section 3.
  43. ↑ Thoppilan et al. 2022, section 3 and appendix E.
  44. ↑ Thoppilan et al. 2022, section 5 and 6.
  45. ↑ Hager, Ryne (2022年6月16日). “How Google's LaMDA AI works, and why it seems so much smarter than it is”. Android Police. 2022年6月16日時点のオリジナルよりアーカイブ。2022年6月19日閲覧。
  46. ↑ Thoppilan et al. 2022, section 6.2.
  47. ↑ Thoppilan et al. 2022, section 3 and appendix D.

外部リンク