Suur keelemudel

Suur keelemudel (inglise keeles large language model, lühend LLM) on keelemudel, mis on treenitud isejuhendatud masinõppe abil tohutu hulga teksti peal eesmärgiga täita loomuliku keele töötluse, eriti loomuliku keele genereerimise ülesandeid. Kõige suuremad ja võimekamad suured keelemudelid on treenitud generatiivtransformerid, mis annavad tänapäevastele juturobotitele põhivõimekuse. Suuri keelemudeleid saab peenhäälestada konkreetsete ülesannete jaoks või juhtida promptide abil. Need mudelid omandavad prognoosimisvõime inimeste keelekorpustes kätkevate süntaksi, semantika ja ontoloogiate suhtes, kuid nad pärivad ka ebatäpsused ja algoritmilise kallutatuse treeningandmetes.

Viited

  1. ↑ Bommasani, Rishi; Hudson, Drew A.; Adeli, Ehsan; Altman, Russ; Arora, Simran; von Arx, Matthew; Bernstein, Michael S.; Bohg, Jeannette; Bosselut, Antoine; Brunskill, Emma. On the Opportunities and Risks of Foundation Models, 2021.
  2. ↑ Brown, Tom B.; Mann, Benjamin; Ryder, Nick; Subbiah, Melanie; Kaplan, Jared; Dhariwal, Prafulla; Neelakantan, Arvind; Shyam, Pranav; Sastry, Girish; Askell, Amanda. Language Models are Few-Shot Learners, 2020.
  3. ↑ Brown, Tom B.; Mann, Benjamin; Ryder, Nick; Subbiah, Melanie; Kaplan, Jared; Dhariwal, Prafulla; Neelakantan, Arvind; Shyam, Pranav; Sastry, Girish; Askell, Amanda; Agarwal, Sandhini; Herbert-Voss, Ariel; Krueger, Gretchen; Henighan, Tom; Child, Rewon; Ramesh, Aditya; Ziegler, Daniel M.; Wu, Jeffrey; Winter, Clemens; Hesse, Christopher; Chen, Mark; Sigler, Eric; Litwin, Mateusz; Gray, Scott; Chess, Benjamin; Clark, Jack; Berner, Christopher; McCandlish, Sam; Radford, Alec; Sutskever, Ilya; Amodei, Dario. Larochelle, H.; Ranzato, M.; Hadsell, R.; Balcan, M.F.; Lin, H. (toim). Language Models are Few-Shot Learners. – Advances in Neural Information Processing Systems, 2023. 33. Curran Associates, Inc.: 1877–1901.
  4. ↑ Christopher D. Manning. Human Language Understanding & Reasoning. – Daedalus, 2022, 151 (2): 127–138.