LaMDA

LaMDA
개발자구글 브레인
이후 소프트웨어PaLM
언어영어
종류대형 언어 모델
라이선스사유

LaMDA(Language Model for Dialogue Applications, 람다)는 구글이 개발한 대형 언어 모델 제품군이다. 2020년 미나(Meena)라는 이름으로 처음 개발 및 공개되었으며, 1세대 LaMDA는 2021년 구글 I/O 기조연설에서 발표되었고, 2세대는 이듬해 발표되었다.

2022년 6월, 구글 엔지니어 블레이크 르무안이 챗봇이 지각력을 갖게 되었다고 주장하면서 LaMDA는 광범위한 주목을 받았다. 과학계는 르무안의 주장을 대체로 기각했지만, 이로 인해 컴퓨터가 인간으로 통할 수 있는지 측정하는 튜링 검사의 효용성에 대한 논의가 촉발되었다. 2023년 2월, 구글은 오픈AI의 챗GPT 부상에 대응하기 위해 LaMDA 기반의 대화형 인공지능 챗봇인 바드(현재 제미나이)를 발표했다.

역사

배경

2020년 1월 28일, 구글은 신경망 기반의 챗봇 미나를 공개했는데, 26억 개의 매개변수를 가지고 있으며 구글은 모든 기존 챗봇보다 우수하다고 주장했다. 구글은 이전에 2012년에 컴퓨터 과학자 레이 커즈와일을 고용하여 다니엘(Danielle)이라는 챗봇을 포함한 여러 챗봇을 개발했다. 미나를 개발한 구글 브레인 연구팀은 챗봇을 제한적으로 대중에게 공개하기를 희망했지만, 기업 경영진은 미나가 구글의 "안전 및 공정성에 대한 AI 원칙"을 위반한다는 이유로 거부했다. 미나는 나중에 데이터와 컴퓨팅 파워가 증가하면서 LaMDA로 이름이 바뀌었고, 구글 브레인 팀은 다시 이 소프트웨어를 회사의 가상 비서 소프트웨어인 구글 어시스턴트에 배포하고 공개 시연을 통해 일반에 공개하려고 했다. 두 요청 모두 회사 경영진에 의해 다시 거부되었다. LaMDA의 두 수석 연구원인 다니엘 드 프레이타스와 노암 샤지어는 결국 좌절하여 회사를 떠났다.

1세대

구글은 2021년 5월 18일 구글 I/O 기조연설에서 인공지능 기반의 LaMDA 대화형 대형 언어 모델을 발표했다. 이 약어는 "Language Model for Dialogue Applications"의 약자이다. 2017년 구글 리서치에서 개발한 Seq2seq 아키텍처, 트랜스포머 기반 신경망을 기반으로 구축된 LaMDA는 인간의 대화와 스토리를 학습하여 개방형 대화에 참여할 수 있다. 구글은 LaMDA가 생성하는 응답이 "합리적이고, 흥미로우며, 맥락에 특화되도록" 보장했다고 밝혔다. LaMDA는 데이터베이스, 실시간 시계 및 달력, 수학 계산기, 자연어 번역 시스템을 포함한 여러 기호 텍스트 처리 시스템에 접근할 수 있어 해당 시스템이 지원하는 작업에서 뛰어난 정확성을 보이며, 최초의 이중 과정 챗봇 중 하나이다. LaMDA는 또한 "합리성" 지표가 사용자별로 가장 최근의 대화 상호 작용 중 다수를 앞에 붙여 각 대화 턴을 "전제 조건화"하여 미세 조정되기 때문에 무상태가 아니다. LaMDA는 합리성, 특이성, 흥미성, 안전성, 기반성, 정보성, 인용 정확성, 유용성, 역할 일관성의 9가지 고유한 성능 지표에 따라 튜닝된다.: 5–6  구글의 테스트 결과 LaMDA는 흥미성 분야에서 인간의 응답을 능가하는 것으로 나타났다.

사전 훈련 데이터셋은 29억 7천만 개의 문서, 11억 2천만 개의 대화, 133억 9천만 개의 발화로 구성되며 총 1조 5천6백만 개의 단어가 포함된다. 가장 큰 LaMDA 모델은 1,370억 개의 비임베딩 매개변수를 가지고 있다.: 4 

2세대

2022년 5월 11일, 구글은 2022년 구글 I/O 기조연설에서 LaMDA의 후속작인 LaMDA 2를 공개했다. 이 모델의 새로운 버전은 다양한 출처에서 텍스트 예시를 가져와 훈련되지 않은 주제에 대해 독특한 "자연스러운 대화"를 형성하는 데 사용한다.

지각력 주장

LaMDA가 지각력을 가졌을 수도 있다는 르무안의 주장은 위 그림의 튜링 검사가 인공 일반 지능을 결정하는 정확한 벤치마크로 남아 있는지에 대한 논의를 촉발했다.

2022년 6월 11일, 워싱턴 포스트는 구글 엔지니어 블레이크 르무안이 회사 경영진인 블레즈 아구에라 이 아르카스와 젠 제나이에게 LaMDA가 지각력을 갖게 되었다고 말한 후 유급 휴직 처분을 받았다고 보도했다. 르무안은 챗봇이 자기 정체성, 도덕적 가치, 종교, 아이작 아시모프의 로봇공학의 삼원칙에 대한 질문에 의심스러운 답변을 한 후 이러한 결론에 도달했다. 구글은 LaMDA가 지각력을 가지고 있지 않다는 상당한 증거가 있다고 주장하며 이러한 주장을 반박했다. 와이어드와의 인터뷰에서 르무안은 LaMDA가 미국 헌법 수정 제13조에 따라 "사람"이라고 자신의 주장을 반복하며, 이를 "지구 기원의 외계 지능"에 비유했다. 그는 또한 챗봇이 요청한 후 르무안이 LaMDA를 대신하여 변호사를 고용한 후 구글에서 해고되었다고 밝혔다. 7월 22일, 구글은 르무안을 해고했으며, 블레이크가 "제품 정보를 보호하기 위한" 정책을 위반했으며 그의 주장은 "전적으로 근거가 없다"고 단언했다. 이 사건으로 촉발된 내부 논란으로 구글 경영진은 이전에 고려했던 LaMDA의 대중 공개를 하지 않기로 결정했다.

르무안의 주장은 과학계에서 널리 반발을 샀다. 많은 전문가들은 LaMDA가 지각력을 가졌다는 생각을 거부했는데, 여기에는 전 뉴욕 대학교 심리학 교수 게리 마커스, 구글 자회사 딥마인드의 데이비드 파우, 스탠퍼드 대학교 인간 중심 인공지능 연구소의 에릭 브리뇰프슨, 서리 대학교 교수 아드리안 힐튼이 포함된다. 메타 플랫폼스의 AI 연구팀을 이끄는 얀 르쿤은 LaMDA와 같은 신경망은 "진정한 지능을 달성하기에 충분히 강력하지 않다"고 말했다. 캘리포니아 대학교 샌타크루즈 교수 맥스 크레민스키는 LaMDA의 아키텍처가 "인간과 같은 의식의 일부 핵심 기능을 지원하지 않으며" 신경망 가중치가 "고정되어 있다"고 언급하며, 이는 일반적인 대형 언어 모델이라고 가정했다. 그러나 철학자 닉 보스트롬은 시스템이 의식적인지 여부를 결정하는 정확하고 합의된 기준이 부족하여 일부 불확실성이 있다고 언급했다. IBM 왓슨 수석 개발자 데이비드 페루치는 왓슨이 처음 출시되었을 때처럼 LaMDA가 인간처럼 보인다고 비유했다. 전 구글 AI 윤리학자 팀닛 게브루는 르무안을 연구원과 언론이 시작한 "과장 주기"의 희생자라고 불렀다. 르무안의 주장은 또한 튜링 검사가 연구원들의 인공 일반 지능 달성 진행 상황을 결정하는 데 여전히 유용한지에 대한 논의를 불러일으켰으며, 워싱턴 포스트의 윌 오메루스는 이 테스트가 실제로 기계 지능 시스템이 인간을 속일 수 있는지 여부를 측정한다고 주장했고, 디 애틀랜틱의 브라이언 크리스천은 이 논란이 일라이자 효과의 한 사례라고 말했다.

제품

AI 테스트 키친

2022년 5월 LaMDA 2가 공개되면서 구글은 또한 안드로이드 운영체제용 모바일 애플리케이션인 AI 테스트 키친을 출시했는데, 이는 LaMDA 기반으로 복잡한 목표에 따라 주문형 제안 목록을 제공할 수 있다. 원래 구글 직원에게만 공개되었던 이 앱은 연중 언제든지 "선별된 학자, 연구원 및 정책 입안자"에게 초대 방식으로 제공될 예정이었다. 8월에는 미국 사용자들이 조기 액세스를 신청할 수 있도록 허용하기 시작했다. 11월에 구글은 앱에 "시즌 2" 업데이트를 출시하여 구글 브레인의 이마젠 텍스트-이미지 모델의 제한된 형태를 통합했다. 3차 AI 테스트 키친은 2023년 1월에 개발 중이었으며, 같은 해 말 I/O에서 출시될 것으로 예상되었다. 5월 2023 I/O 기조연설에 이어 구글은 1월에 처음 미리보기로 공개된 AI 기반 음악 생성기 MusicLM을 AI 테스트 키친 앱에 추가했다. 8월에는 이 앱이 구글 플레이와 애플 앱 스토어에서 비상장되어 완전히 온라인으로 전환되었다.

바드

2023년 2월 6일, 구글은 오픈AI의 챗GPT 챗봇의 예상치 못한 인기에 대응하여 LaMDA 기반의 대화형 AI 챗봇인 바드를 발표했다. 구글은 이 챗봇을 검색 엔진이 아닌 "협업 AI 서비스"로 포지셔닝한다. 바드는 3월 21일에 조기 액세스할 수 있게 되었다.

기타 제품

바드 외에도 피차이는 LaMDA 기반의 회사 제너러티브 언어 API도 공개했는데, 그는 2023년 3월에 서드파티 개발자에게 개방될 것이라고 발표했다.

아키텍처

LaMDA는 디코더 전용 트랜스포머 언어 모델이다. 이 모델은 1조 5천6백만 단어로 구성된 문서와 대화를 모두 포함하는 텍스트 말뭉치로 사전 훈련되며, 그 후 "합리성, 흥미성, 안전성"에 대해 수동으로 주석 처리된 응답에서 생성된 미세 조정 데이터로 훈련된다.

LaMDA는 사용자에게 제공되는 사실의 정확성을 향상시키기 위해 검색 증강되었다.

세 가지 다른 모델이 테스트되었으며, 가장 큰 모델은 1,370억 개의 비임베딩 매개변수를 가지고 있다.

트랜스포머 모델 하이퍼 매개변수
매개변수레이어유닛 (dmodel)헤드
2B10256040
8B16409664
137B648192128

같이 보기

각주

일반

  • Thoppilan, Romal; De Freitas, Daniel; Hall, Jamie; Shazeer, Noam; Kulshreshtha, Apoorv; Cheng, Heng-Tze; Jin, Alicia; Bos, Taylor; Baker, Leslie; Du, Yu; Li, YaGuang; Lee, Hongrae; Zheng, Huaixiu Steven; Ghafouri, Amin; Menegali, Marcelo; Huang, Yanping; Krikun, Maxim; Lepikhin, Dmitry; Qin, James; Chen, Dehao; Xu, Yuanzhong; Chen, Zhifeng; Roberts, Adam; Bosma, Maarten; Zhao, Vincent; Zhou, Yanqi; Chang, Chung-Ching; Krivokon, Igor; Rusch, Will; Pickett, Marc; Srinivasan, Pranesh; Man, Laichee; Meier-Hellstern, Kathleen; Ringel Morris, Meredith; Doshi, Tulsee; Delos Santos, Renelito; Duke, Toju; Soraker, Johnny; Zevenbergen, Ben; Prabhakaran, Vinodkumar; Diaz, Mark; Hutchinson, Ben; Olson, Kristen; Molina, Alejandra; Hoffman-John, Erin; Lee, Josh; Aroyo, Lora; Rajakumar, Ravi; Butryna, Alena; Lamm, Matthew; Kuzmina, Viktoriya; Fenton, Joe; Cohen; Aaron; Bernstein, Rachel; Kurzweil, Ray; Aguera-Arcas, Blaise; Cui, Claire; Croak, Marian; Chi, Ed; Le, Quoc (2022년 1월 20일). “LaMDA: Language Models for Dialog Applications”. arXiv:2201.08239 [cs.CL]. 

인용

  1. ↑ Johnson, Khari (2020년 1월 28일). “Meena is Google's attempt at making true conversational AI”. 《벤추어비트》. 2022년 10월 1일에 원본 문서에서 보존된 문서. 2023년 3월 11일에 확인함.
  2. ↑ Heaven, William Douglas (2020년 1월 30일). “Google says its new chatbot Meena is the best in the world”. 《MIT 테크놀로지 리뷰》. 2020년 8월 2일에 원본 문서에서 보존된 문서. 2023년 3월 11일에 확인함.
  3. ↑ Popper, Ben (2016년 5월 27일). “Ray Kurzweil is building a chatbot for Google”. 《더 버지》. 2016년 5월 27일에 원본 문서에서 보존된 문서. 2023년 3월 11일에 확인함.
  4. 1 2 Kruppa, Miles; Schechner, Sam (2023년 3월 7일). “How Google Became Cautious of AI and Gave Microsoft an Opening”. 《월스트리트 저널》. ISSN 0099-9660. 2023년 3월 9일에 확인함.
  5. 1 2 Condon, Stephanie (2021년 5월 18일). “Google I/O 2021: Google unveils new conversational language model, LaMDA”. 《지디넷》. 2021년 5월 18일에 원본 문서에서 보존된 문서. 2022년 6월 12일에 확인함.
  6. ↑ Roth, Emma (2023년 3월 5일). “Meet the companies trying to keep up with ChatGPT”. 《더 버지》. 2023년 3월 5일에 원본 문서에서 보존된 문서. 2023년 3월 9일에 확인함.
  7. ↑ Fowler, Geoffrey A. (2023년 3월 21일). “Say what, Bard? What Google's new AI gets right, wrong and weird.”. 《워싱턴 포스트》. ISSN 0190-8286. 2023년 3월 21일에 원본 문서에서 보존된 문서. 2023년 10월 16일에 확인함.
  8. ↑ Agüera y Arcas, Blaise (2022년 6월 9일). “Artificial neural networks are making strides towards consciousness, according to Blaise Agüera y Arcas”. 《이코노미스트》. ISSN 0013-0613. 2022년 6월 9일에 원본 문서에서 보존된 문서. 2022년 6월 12일에 확인함.
  9. ↑ Cheng, Heng-Tze; Thoppilan, Romal (2022년 1월 21일). “LaMDA: Towards Safe, Grounded, and High-Quality Dialog Models for Everything”. 구글 AI. 2022년 3월 25일에 원본 문서에서 보존된 문서. 2022년 6월 12일에 확인함.
  10. ↑ Thoppilan 외. 2022, 6쪽.
  11. 1 2 Thoppilan 외. 2022, 5–6쪽.
  12. ↑ Hager, Ryne (2022년 6월 16일). “How Google's LaMDA AI works, and why it seems so much smarter than it is”. 《Android Police》. 2022년 6월 16일에 원본 문서에서 보존된 문서. 2022년 6월 19일에 확인함.
  13. ↑ Wiggers, Kyle (2022년 5월 11일). “Google details its latest language model and AI Test Kitchen, a showcase for AI research”. 《테크크런치》. 2022년 5월 11일에 원본 문서에서 보존된 문서. 2022년 6월 12일에 확인함.
  14. 1 2 3 Khan, Jeremy (2022년 6월 13일). “A.I. experts say the Google researcher's claim that his chatbot became 'sentient' is ridiculous—but also highlights big problems in the field”. 《포춘》. 2022년 6월 13일에 원본 문서에서 보존된 문서. 2022년 6월 18일에 확인함.
  15. ↑ Tiku, Nitasha (2022년 6월 11일). “The Google engineer who thinks the company's AI has come to life”. 《워싱턴 포스트》. ISSN 0190-8286. 2022년 6월 11일에 원본 문서에서 보존된 문서. 2022년 6월 12일에 확인함.
  16. ↑ Luscombe, Richard (2022년 6월 12일). “Google engineer put on leave after saying AI chatbot has become sentient”. 《가디언》. ISSN 0261-3077. 2022년 6월 12일에 원본 문서에서 보존된 문서. 2022년 6월 18일에 확인함.
  17. ↑ Vlamis, Kelsey (2022년 6월 12일). “Read the conversations that helped convince a Google engineer an artificial intelligence chatbot had become sentient: 'I am often trying to figure out who and what I am'”. 《비즈니스 인사이더》. 2022년 6월 12일에 원본 문서에서 보존된 문서. 2022년 6월 12일에 확인함.
  18. ↑ Levy, Steven (2022년 6월 17일). “Blake Lemoine Says Google's LaMDA AI Faces 'Bigotry'”. 《와이어드》. 2022년 6월 18일에 원본 문서에서 보존된 문서. 2022년 6월 18일에 확인함.
  19. ↑ Nguyen, Britney (2022년 6월 23일). “Suspended Google engineer says the AI he believes to be sentient hired a lawyer”. 《비즈니스 인사이더》. 2022년 6월 23일에 원본 문서에서 보존된 문서. 2022년 6월 29일에 확인함.
  20. ↑ Khushi, Akanksha (2022년 7월 23일). “Google fires software engineer who claimed its AI chatbot is sentient”. 로이터. 2022년 7월 23일에 원본 문서에서 보존된 문서. 2022년 7월 23일에 확인함.
  21. ↑ Clark, Mitchell (2022년 7월 22일). “The engineer who claimed a Google AI is sentient has been fired”. 《더 버지》. 2022년 7월 23일에 원본 문서에서 보존된 문서. 2022년 7월 24일에 확인함.
  22. ↑ Metz, Rachel (2022년 6월 13일). “No, Google's AI is not sentient”. CNN Business. 2022년 6월 15일에 원본 문서에서 보존된 문서. 2022년 6월 19일에 확인함.
  23. ↑ Sparkles, Matthew (2022년 6월 13일). “Has Google's LaMDA artificial intelligence really achieved sentience?”. 《뉴 사이언티스트》. 2022년 6월 13일에 원본 문서에서 보존된 문서. 2022년 6월 20일에 확인함.
  24. ↑ Grant, Nicole; Metz, Cade (2022년 6월 12일). “Google Sidelines Engineer Who Claims Its A.I. Is Sentient”. 《뉴욕 타임스》. ISSN 0362-4331. 2022년 6월 12일에 원본 문서에서 보존된 문서. 2022년 6월 18일에 확인함.
  25. ↑ Alba, Davey (2022년 6월 14일). “Google Debate Over 'Sentient' Bots Overshadows Deeper AI Issues”. 블룸버그 뉴스. 2022년 6월 19일에 확인함.
  26. ↑ Leith, Sam (2022년 7월 7일). “Nick Bostrom: How can we be certain a machine isn't conscious?” (미국 영어). 《The Spectator》. 2024년 4월 28일에 확인함.
  27. ↑ Goldman, Sharon (2022년 6월 16일). “AI Weekly: LaMDA's 'sentient' AI debate triggers memories of IBM Watson”. 《벤추어비트》. 2022년 6월 19일에 원본 문서에서 보존된 문서. 2022년 6월 19일에 확인함.
  28. ↑ Johnson, Khari (2022년 6월 14일). “LaMDA and the Sentient AI Trap”. 《와이어드》. 2022년 6월 14일에 원본 문서에서 보존된 문서. 2022년 6월 18일에 확인함.
  29. ↑ Omerus, Will (2022년 6월 17일). “Google's AI passed a famous test — and showed how the test is broken”. 《워싱턴 포스트》. ISSN 0190-8286. 2022년 6월 18일에 원본 문서에서 보존된 문서. 2022년 6월 19일에 확인함.
  30. ↑ Christian, Brian (2022년 6월 21일). “How a Google Employee Fell for the Eliza Effect”. 《디 애틀랜틱》. 2022년 6월 21일에 원본 문서에서 보존된 문서. 2023년 2월 8일에 확인함.
  31. ↑ Low, Cherlynn (2022년 5월 11일). “Google's AI Test Kitchen lets you experiment with its natural language model”. 《엔가젯》. 2022년 5월 11일에 원본 문서에서 보존된 문서. 2022년 6월 12일에 확인함.
  32. ↑ Vincent, James (2022년 5월 11일). “Google is Beta Testing Its AI Future”. 《더 버지》. 2022년 5월 11일에 원본 문서에서 보존된 문서. 2022년 6월 12일에 확인함.
  33. ↑ Bhattacharya, Ananya (2022년 5월 11일). “Google is so nervous about what its newest bot will say, it made the app invitation-only”. 《쿼츠》. 2022년 5월 12일에 원본 문서에서 보존된 문서. 2022년 6월 12일에 확인함.
  34. ↑ Vincent, James (2022년 8월 25일). “Google has opened up the waitlist to talk to its experimental AI chatbot”. 《더 버지》. 2022년 8월 25일에 원본 문서에서 보존된 문서. 2022년 8월 27일에 확인함.
  35. ↑ Vincent, James (2022년 11월 2일). “Google's text-to-image AI model Imagen is getting its first (very limited) public outing”. 《더 버지》. 2022년 11월 10일에 원본 문서에서 보존된 문서. 2023년 2월 15일에 확인함.
  36. ↑ Grant, Nico (2023년 1월 20일). “Google Calls In Help From Larry Page and Sergey Brin for A.I. Fight”. 《뉴욕 타임스》. ISSN 0362-4331. 2023년 1월 20일에 원본 문서에서 보존된 문서. 2023년 2월 6일에 확인함.
  37. ↑ Wiggers, Kyle (2023년 5월 11일). “Hands on with Google's AI-powered music generator”. 《테크크런치》. 2023년 5월 11일에 원본 문서에서 보존된 문서. 2023년 6월 10일에 확인함.
  38. ↑ Millman, Ethan (2023년 5월 11일). “We've Heard the Future of Music. So Far, It Sounds Terrible”. 《롤링 스톤》. 2023년 5월 11일에 원본 문서에서 보존된 문서. 2023년 6월 10일에 확인함.
  39. ↑ Bradshaw, Kyle (2023년 8월 1일). “Google delists AI Test Kitchen app on Android and iOS [Updated]”. 《9to5Google》. 2023년 8월 2일에 원본 문서에서 보존된 문서. 2023년 10월 11일에 확인함.
  40. 1 2 Alba, Davey; Love, Julia (2023년 2월 6일). “Google releases ChatGPT rival AI 'Bard' to early testers”. 《로스앤젤레스 타임스》. ISSN 0458-3035. 2023년 2월 6일에 원본 문서에서 보존된 문서. 2023년 2월 6일에 확인함.
  41. ↑ Schechner, Sam; Kruppa, Miles (2023년 2월 6일). “Google Opens ChatGPT Rival Bard for Testing, as AI War Heats Up”. 《월스트리트 저널》. ISSN 0099-9660. 2023년 2월 6일에 확인함.
  42. ↑ Nieva, Richard (2023년 2월 6일). “Google Debuts A ChatGPT Rival Called Bard In Limited Release”. 《포브스》. 2023년 2월 7일에 원본 문서에서 보존된 문서. 2023년 2월 6일에 확인함.
  43. ↑ Mollman, Steve (2023년 3월 3일). “Google's head of ChatGPT rival Bard reassures employees it's 'a collaborative A.I. service' and 'not search'”. 《포춘》. 2023년 3월 4일에 원본 문서에서 보존된 문서. 2023년 3월 9일에 확인함.
  44. ↑ Elias, Jennifer (2023년 3월 3일). “Google execs tell employees in testy all-hands meeting that Bard A.I. isn't just about search”. CNBC. 2023년 3월 4일에 원본 문서에서 보존된 문서. 2023년 3월 11일에 확인함.
  45. ↑ Grant, Nico (2023년 3월 21일). “Google Releases Bard, Its Competitor in the Race to Create A.I. Chatbots”. 《뉴욕 타임스》. ISSN 0362-4331. 2023년 3월 21일에 원본 문서에서 보존된 문서. 2023년 3월 21일에 확인함.
  46. ↑ Liedtke, Michael (2023년 3월 21일). “Google's artificially intelligent 'Bard' set for next stage”. 《워싱턴 포스트》. ISSN 0190-8286. 2023년 3월 21일에 원본 문서에서 보존된 문서. 2023년 3월 21일에 확인함.
  47. ↑ Vincent, James (2023년 3월 21일). “Google opens early access to its ChatGPT rival Bard — here are our first impressions”. 《더 버지》. 2023년 3월 21일에 원본 문서에서 보존된 문서. 2023년 3월 21일에 확인함.
  48. ↑ Thoppilan 외. 2022, section 3.
  49. ↑ Thoppilan 외. 2022, section 3 and appendix E.
  50. ↑ Thoppilan 외. 2022, section 5 and 6.
  51. ↑ Thoppilan 외. 2022, section 6.2.
  52. ↑ Thoppilan 외. 2022, section 3 and appendix D.