GPT-2

Generative Pre-trained Transformer 2 (GPT-2)
FejlesztőOpenAI
Első kiadás2019. február 14. (részleges kiadás);
2019. november 5. (teljes kiadás)
PlatformPlatformfüggetlen (Python kódbázis)
ElérhetőAngol (elsősorban a WebText adathalmaz alapján)
Kategória
LicencMIT-licenc (a közzétett kódra vonatkozóan)
Kódtárhttps://github.com/openai/gpt-2
[openai.com/blog/gpt-2-1-5b-release/ A Generative Pre-trained Transformer 2 (GPT-2) weboldala]

A Generative Pre-trained Transformer 2 (röviden GPT-2) az OpenAI által fejlesztett második jelentős nagy nyelvi modell, amely a generatív előtanított transzformer (GPT) modellszéria meghatározó tagja. A GPT-2 modellt egy kifejezetten erre a célra létrehozott, WebText nevű, mintegy 8 millió weboldal tartalmát felölelő adathalmazon tanították be. A modellt eredetileg 2019 februárjában csak korlátozott formában mutatták be, a teljes, 1,5 milliárd paramétert tartalmazó változat nyilvános közzétételére pedig 2019. november 5-én került sor, miután az OpenAI felmérte a lehetséges kockázatokat.

A GPT-2 jelentős előrelépést képviselt elődjéhez, a GPT-1-hez képest: nagyságrendileg tízszer több paraméterrel rendelkezett, és egy szintén tízszer nagyobb, gondosan szűrt tanító adathalmazon készült. A modellt úgy tervezték, hogy általános célú nyelvi feladatokat oldjon meg előzetes specifikus finomhangolás nélkül, pusztán a bemeneti szöveg folytatásának valószínűségi alapon történő előrejelzésével. Ez a képessége lehetővé tette számára, hogy meglepően jól teljesítsen olyan változatos feladatokban, mint a gépi fordítás, kérdések megválaszolása, szövegek automatikus összefoglalása, valamint koherens és kontextuálisan releváns szövegek generálása, amelyek minősége gyakran megközelítette az emberi írásét (bár hosszabb szövegrészletek esetén hajlamos volt ismétlődésekre vagy a koherencia elvesztésére). A GPT-2 képességeit később jelentősen felülmúlta a GPT-3 és a GPT-4, azonban ezekkel ellentétben a GPT-2 modell súlyai és kódja (a kezdeti késleltetést követően) nyilvánosan elérhetővé váltak, és a modell maga nem igényelt API-hozzáférést a használathoz.

A GPT-2 – hasonlóan a GPT család többi tagjához – a generatív előtanított transzformer architektúrára épül, amely egy mély neurális hálózat, konkrétan a transzformer modell egy változata. Ez az architektúra kulcsfontosságú eleme a figyelem-mechanizmus (attention), amely lehetővé teszi, hogy a modell szelektíven összpontosítson a bemeneti szöveg legrelevánsabb részeire a kimenet generálása során, felváltva ezzel a korábbi, szekvenciális feldolgozásra épülő rekurrens (RNN) vagy konvolúciós (CNN) megközelítéseket. A figyelemmechanizmus nemcsak a hosszabb távú függőségek hatékonyabb modellezését teszi lehetővé, hanem jelentős mértékű párhuzamosítást is biztosít a számítások során. Ez hozzájárult ahhoz, hogy a transzformer-alapú modellek számos nyelvi feldolgozási benchmarkon felülmúlják a hagyományos RNN/CNN/LSTM-alapú rendszereket.

Tanítás

A transzformer architektúra által kínált párhuzamosítási lehetőségek kiaknázásával a GPT modellek tanítása lényegesen nagyobb szövegkorpuszokon vált lehetővé, mint a korábbi NLP modelleké. Míg a GPT-1 elsősorban a generatív előtanítás és a transzformerek életképességét demonstrálta, a GPT-2 fejlesztése során a kutatók már az extrém nagy adathalmazokon tanított hálózatok úgynevezett „feltörekvő képességeit” (emergent abilities) kívánták vizsgálni. A korábban elterjedten használt, de gyakran zajos CommonCrawl webarchívum helyett az OpenAI egy új, magasabb minőségűnek szánt WebText nevű adathalmazt hozott létre. Ezt úgy állították össze, hogy a Reddit közösségi platformról gyűjtöttek olyan kimenő webes hivatkozásokat, amelyeket a felhasználók legalább 3 pozitív értékeléssel (karma) láttak el 2017 vége előtt. Ezt a kiindulási linkgyűjteményt felhasználva töltötték le a hivatkozott weboldalak tartalmát. A nyers korpuszt ezt követően alaposan megtisztították: a HTML kódot eltávolították, hogy csak a tiszta szöveges tartalom maradjon; kiszűrték a duplikált oldalakat a redundancia csökkentése érdekében; és eltávolították az összes Wikipédia-oldalt. Ez utóbbira azért volt szükség, mert a Wikipédia gyakori komponense számos más benchmark adathalmaznak, és annak benne hagyása a tanító adatokban a modell túltanulásához (overfitting) vezethetett volna ezeken a teszteken.

Bár a GPT-2 tanításának publikált óradíja ($256/óra) ismert, a teljes tanítási folyamat pontos időtartama nem nyilvános, így a teljes költség csupán becsülhető. Összehasonlításképpen, más korabeli nagy nyelvi modellek, mint például a Google által fejlesztett BERT vagy az XLNet, tanítási költségei részletesebben dokumentáltak (a BERT esetében körülbelül 6 900$, míg az XLNet esetében már 245 000$ volt a becsült költség).

Kiadás

A GPT-2 modellt 2019. február 14-én jelentették be. A The Verge technológiai hírportál értékelése szerint bár a modell által generált szövegek alaposabb vizsgálat után többnyire megkülönböztethetők voltak az emberi írástól, a GPT-2 mégis „a nyelvi generáló rendszerek egyik legizgalmasabb példája” volt akkoriban:

Adj meg neki egy kitalált címsort, és képes megírni a hozzá tartozó teljes cikket – beleértve a fiktív idézeteket és statisztikákat is. Ha megadod egy novella első mondatát, folytatja a történetet, elmesélve, mi történik a karaktereddel. Megfelelő kezdő prompt („indító szöveg”) esetén még rajongói történetek (fan fiction) írására is képes.

A The Guardian napilap a modell kimenetét „hihető újságcikk-stílusúnak” nevezte. Kelsey Piper a Vox hírportálon úgy fogalmazott: „ez az egyik legmenőbb mesterséges intelligencia rendszer, amit valaha láttam”, hozzátéve tréfásan, hogy „és talán pont ez veszi majd el a munkámat”. A The Verge külön kiemelte a GPT-2 „lenyűgöző” rugalmasságát: a modell anélkül volt képes elfogadható szinten teljesíteni gépi fordítás, szövegösszefoglalás és kérdés-válasz feladatokban, hogy kifejezetten ezekre a célokra lett volna finomhangolva.

Az Amsterdami Egyetem kutatói egy módosított Turing-teszt segítségével vizsgálták a modell képességeit, és azt találták, hogy a kísérletben részt vevő emberek nem minden esetben tudták megbízhatóan megkülönböztetni a GPT-2 által generált verseket az emberek által írt költeményektől.

Korlátozások és a részleges kiadás politikája

Illusztráció a GPT-2 képességeiről: bár a „Skub” egy nem létező, kitalált termék, még a kisebb, DistilGPT2 nevű változat is képes meggyőzőnek tűnő érveket generálni mind a termék mellett, mind ellene, pusztán a megfelelő utasítás („prompt”) alapján.

Ellentétben a korábbi OpenAI modellekkel (mint a GPT-1), a GPT-2-t kezdetben nem tették teljes egészében nyilvánosan elérhetővé a bejelentéskor. Az OpenAI erre a lépésre a modell által jelentett potenciális biztonsági és visszaélési kockázatokra hivatkozott. A teljes modellhez kezdetben csak néhány kiválasztott sajtóorgánum és kutatópartner kapott korlátozott hozzáférést. Az OpenAI azzal indokolta a modell visszatartását, hogy annak képességei – különösen a koherens és meggyőzőnek tűnő szövegek generálása – alkalmassá tehetik rosszindulatú célokra, például nagy mennyiségű spam vagy megtévesztő álhír (fake news) automatizált előállítására. Ennek demonstrálására az OpenAI bemutatta, hogyan képes a GPT-2 akár végtelen számú, látszólag hiteles pozitív vagy negatív termékértékelést generálni egy adott termékről.

A bejelentés komoly vitát váltott ki az AI közösségen belül. Felmerültek etikai aggályok a modell potenciális felhasználásával kapcsolatban, beleértve a gyűlöletbeszéd, trágár vagy rasszista tartalmak generálását, valamint azt a veszélyt, hogy a modell által előállított, nagy mennyiségű, látszólag értelmes, de valójában hamis vagy félrevezető tartalom eláraszthatja az internetet. Válaszul erre a potenciális fenyegetésre az Allen Institute for Artificial Intelligence (AI2) egy eszközt fejlesztett ki a „neurális álhírek” (azaz AI által generált hamis szövegek) felismerésére.

Ugyanakkor a vélemények megoszlottak arról, hogy az OpenAI által felvázolt veszélyek valóban indokolták-e a modell visszatartását. Több kritikus szerint az OpenAI túlzottan óvatosan járt el, és lépése ellentétes volt a kutatási eredmények nyílt megosztásának tudományos elvével. Egyes kutatók, mint például Anima Anandkumar, úgy vélték, hogy a fenyegetés mértékét eltúlozták. Mások azzal érveltek, hogy a korábbi technológiák, mint például a képszerkesztő szoftverek (pl. Photoshop), sem okoztak társadalmi összeomlást annak ellenére, hogy alkalmasak voltak megtévesztő tartalmak létrehozására, és hangsúlyozták a technológia széleskörű megismerésének és vizsgálatának fontosságát a kockázatok felmérése érdekében.

A 774M paraméteres modell kiadása

Bár a teljes, 1,5 milliárd paraméteres modellt és a WebText tanító adathalmazt kezdetben nem tették közzé, az OpenAI által publikált részletes technikai leírás és a transzformer architektúra nyíltsága lehetővé tette, hogy független kutatók és fejlesztők közösségi erőfeszítéssel elkezdjék a modell reprodukálását. Így születtek meg olyan projektek, mint az OpenGPT-2 (a modell újraimplementálása) és az OpenWebText (a WebText adathalmaz reprodukálására tett kísérlet). A külső nyomásra és a közösségi reakciókra válaszul 2019. augusztus 20-án az OpenAI nyilvánosságra hozott egy közepes méretű, 774 millió paramétert tartalmazó változatot a GPT-2 modellből.

A teljes, 1,5 milliárd paraméteres modell kiadása

Az OpenAI a kisebb modellek fokozatos kiadása során figyelemmel kísérte azok felhasználását és a lehetséges visszaéléseket. Miután úgy ítélték meg, hogy a korai aggodalmak a modell széleskörű, rosszindulatú felhasználásával kapcsolatban – legalábbis rövid távon – nem igazolódtak be, és nem történt jelentős, dokumentált visszaélés a részlegesen kiadott modellekkel, 2019 novemberében az OpenAI végül közzétette a teljes, 1,5 milliárd paraméteres GPT-2 modellt. Ez a legnagyobb változat a már említett, kb. 40 GB méretű WebText adathalmazon tanult, amely mintegy 8 millió dokumentumot tartalmazott.

Kisebb és közepes méretű változatok

A teljes, 1,5 milliárd paraméteres modell mellett az OpenAI kisebb változatokat is elérhetővé tett, hogy alacsonyabb számítási kapacitással rendelkező felhasználók és kutatók is hozzáférhessenek a technológiához. Ezek közé tartozik a 124 millió paraméteres „small” (kicsi) és a 355 millió paraméteres „medium” (közepes) verzió. Ezek a modellek, valamint a későbbiekben közösségileg finomhangolt variánsok széles körben elérhetők olyan platformokon, mint a Hugging Face modell-tárháza.

Korlátozások

Példa a GPT-2 tematikus koherenciájára és kreativitására, még szürreális prompt esetén is: a modell egy fiktív CNN-stílusú cikket generál, amelyben Donald Trump egy anime-karaktert dicsér. Ugyanakkor a hosszabb, több bekezdésen átívelő generált szövegekben gyakran megfigyelhetők ismétlődések és logikai következetlenségek, amelyek jelzik a modell korlátait.

Bár a GPT-2 lenyűgöző képességeket mutatott a természetes nyelvi szövegek generálásában, teljesítménye nem volt hibátlan. A modellt általában kedvezően értékelték koherencia és relevancia szempontjából, azonban különösen hosszabb, több bekezdésen átívelő szövegek generálása esetén gyakran előfordult, hogy a szöveg fokozatosan elvesztette a fonalat, összefüggéstelenné, logikailag következetlenné vagy önismétlővé vált. A The Register technológiai portál megjegyezte, hogy „egy rövid szövegrészlet elolvasása után egy emberi olvasó általában észreveszi, hogy valami nincs rendben” a generált szöveggel. Emellett rámutattak arra is, hogy bár a GPT-2 képes volt kérdésekre válaszolni, teljesítménye ezen a téren nem érte el a kifejezetten információkinyerésre vagy kérdés-válaszadásra tervezett, célfeladatra specializált rendszerek pontosságát.

A GPT-2 használatának másik jelentős korlátja az erőforrásigénye volt. A teljes, 1,5 milliárd paraméteres modell súlyfájljainak mérete meghaladja az 5 GB-ot, ami megnehezítette a telepítését és futtatását átlagos felhasználói hardveren, különösen helyi alkalmazásokba való integrálását. A modell futtatása jelentős mennyiségű RAM-ot (memóriát) igényelt. Egyetlen szó vagy token előrejelzése (inferencia) akár több percig is eltarthatott egy átlagos CPU-n, és még dedikált grafikus processzor (GPU) használatával is másodpercekig tarthatott, ami korlátozta a valós idejű alkalmazásokban való használhatóságát. Ezen erőforrás-igényes természet miatt a Hugging Face kutatói kifejlesztették a DistilGPT2 nevű változatot. Ez a modell tudásdesztilláció (knowledge distillation) technikájával készült, amelynek során egy nagyobb, „tanár” modellt (az eredeti GPT-2-t) használnak egy kisebb, „diák” modell (DistilGPT2) tanítására. Az eredmény egy olyan modell lett, amely körülbelül 33%-kal kevesebb paramétert tartalmaz, közel kétszer gyorsabban fut, miközben a nyelvi modellezési benchmarkokon mért teljesítménye csak kis mértékben (néhány ponttal) marad el az eredeti GPT-2 közepes méretű változatától.[forrás?]

Alkalmazás és további kutatás

Már a teljes modell nyilvános kiadása előtt is széles körű kísérletezés és alkalmazás kezdődött a GPT-2 részlegesen kiadott változataival, mind kutatási, mind szórakoztató célokra, valamint korai prototípus szolgáltatások fejlesztésére. 2019-ben létrejött az r/SubSimulatorGPT2 nevű subreddit a Redditen, amely egyfajta digitális „játszótérként” funkcionált: különböző tematikus subredditeken (pl. technológia, főzés, macskák) finomhangolt GPT-2 modellek („botok”) posztoltak és válaszoltak egymás bejegyzéseire, gyakran meglepően koherens vagy éppen humorosan abszurd beszélgetéseket generálva. Nem sokkal később megjelentek olyan kísérleti szoftverfejlesztési eszközök is, amelyek a GPT-2-t használták programkód automatikus kiegészítésére vagy generálására.

Szintén 2019-ben indult el az AI Dungeon nevű online játék, amely kezdetben a GPT-2 modellt használta a háttérben, hogy dinamikusan generáljon szöveges kalandjátékokat a játékosok bemenetei alapján, lehetővé téve a szinte végtelen számú, interaktív történet létrehozását. Az AI Dungeon később frissült, és a fizetős változata már a GPT-3 API-ra épült, míg az ingyenes verzió egy ideig a második legnagyobb nyilvánosan elérhető GPT-3 modellt (Curie) használta, demonstrálva a technológia gyors fejlődését. Az AI Dungeon mögött álló fejlesztőcég, a Latitude, 2021-ben sikeresen vont be 3,3 millió dollárnyi kezdőtőkét, jelezve a GPT-alapú alkalmazások iránti növekvő üzleti érdeklődést. Számos weboldal és online platform kínált interaktív demókat, ahol a felhasználók kipróbálhatták a különböző méretű GPT-2 és más transzformer modellek képességeit.

A GPT-2 alkalmazása nem korlátozódott a szórakoztatóiparra vagy a fejlesztői eszközökre. 2021-ben egy mentálhigiénés krízisvonalakat támogató szervezet bejelentette, hogy GPT-2 alapú chatbotot használnak a tanácsadóik képzésére. A rendszer szimulált beszélgetéseket generált, amelyekben a tanácsadók gyakorolhatták a krízishelyzetben lévő tinédzserekkel való kommunikációt anélkül, hogy valódi pácienseket vontak volna be a képzési folyamatba (fontos kiemelni, hogy a chatbotot kizárólag a tanácsadók képzésére használták, maguk a segítségkérő tinédzserek nem léptek interakcióba az AI-val).

A GPT-2 kutatása a modell teljes kiadása után is folytatódott, különösen az AI modellek belső működésének megértése (interpretálhatóság) terén. 2023. május 9-én az OpenAI egy érdekes kutatási projekt eredményeit tette közzé, amelyben egy utódmodellt, a GPT-4-et használtak arra, hogy automatikusan „feltérképezzék” és leírják a GPT-2 modell egyes neuronjainak funkcióját. Ez a munka fontos lépést jelentett a komplex neurális hálózatok működésének megértése felé.

Teljesítmény és értékelés

A GPT-2 által generált fiktív hírcikk arról, hogy Edward Snowdent választották elnökké. A kiemelt szövegrész mutatja a modell által önállóan generált tartalmat, amely igyekszik követni a megadott kontextust és stílust.

A GPT-2 széles körű elismerést kapott azért a képességéért, hogy sokféle nyelvi feladatban képes volt meglepően jó teljesítményt nyújtani anélkül, hogy kifejezetten az adott feladatra tanították volna be (ezt nevezik „zero-shot” vagy „few-shot” képességnek, a feladatra adott példák számától függően). Ilyen feladatok voltak például a kérdések megválaszolása, a szövegek összefoglalása, vagy akár a gépi fordítás is.

A modell fordítási képességeinek demonstrálására a kutatók a WMT-14 angol-francia fordítási benchmarkon tesztelték a GPT-2-t. Ez azért volt különösen érdekes, mert a WebText tanító adathalmazból szinte teljesen eltávolították a nem angol nyelvű tartalmakat, így a francia nyelvű szövegek aránya minimális volt (mindössze kb. 10 MB a teljes, több tíz GB-os korpuszhoz képest). Ennek ellenére a GPT-2 képes volt elérni az 5 BLEU pontot az angolról franciára történő fordításban, és 11,5 BLEU pontot a franciáról angolra fordításban. Bár ez utóbbi eredmény elmaradt a korabeli legjobb, kifejezetten fordításra tanított, felügyelt modellek teljesítményétől (amelyek jellemzően 33,5 BLEU pont körüli eredményt értek el nagyméretű párhuzamos korpuszok segítségével), mégis felülmúlta több, korabeli, felügyelet nélküli (unsupervised) fordítási alapmodell (baseline) eredményét, demonstrálva a nagy nyelvi modellekben rejlő, előzetes feladatspecifikus tanítás nélküli általánosítási képességet.

Összehasonlítás a GPT modellek korai generációi között
Modell Architektúra főbb jellemzői Paraméterszám Tanító adathalmaz
GPT-1 12 rétegű, 12 figyelmi fejet tartalmazó transzformer dekóder blokk, lineáris-softmax kimeneti réteggel kb. 117 millió BookCorpus: kb. 4,5 GB szöveg, ~7000 kiadatlan könyv különböző műfajokból
GPT-2 GPT-1 architektúra, nagyobb méretben, módosított réteg-normalizációval és inicializációval 1,5 milliárd (a legnagyobb változat) WebText: kb. 40 GB gondosan szűrt szöveg, ~8 millió dokumentum, Reddit hivatkozások alapján
GPT-3 GPT-2 architektúra, továbbfejlesztve a skálázhatóság érdekében (pl. ritkított figyelmi mechanizmusok kísérletei) 175 milliárd (a legnagyobb változat) kb. 570 GB szöveg (kb. 300 milliárd token), több forrásból (CommonCrawl, WebText2, angol Wikipédia, két könyvkorpusz: Books1 és Books2)

A GPT-2-t a jelentősen nagyobb, 175 milliárd paraméteres GPT-3 követte, amelyet az OpenAI 2020-ban jelentett be. A GPT-3 modell súlyait és forráskódját az OpenAI már nem hozta nyilvánosságra; a modell képességeihez kizárólag az OpenAI vagy a Microsoft (mint fő befektető és partner) által biztosított API-kon keresztül lehet hozzáférni. Ezt a modellt pedig később a még fejlettebb GPT-4 és annak változatai követték, folytatva a nagy nyelvi modellek képességeinek és méretének rohamos növekedését.

Jegyzetek

  1. 1 2 3 "GPT-2: 1.5B Release". OpenAI. 2019. november 5. Hozzáférés: 2019. november 5.
  2. ↑ "gpt-2". GitHub. 2023. március 11. dátummal az eredetiből archiválva. Hozzáférés: 2023. március 13.
  3. 1 2 3 4 5 6 7 8 Radford, Alec; Wu, Jeffrey; Child, Rewon; Luan, David; Amodei, Dario; Sutskever, Ilya (2019. február 14.). "Language Models are Unsupervised Multitask Learners" (PDF). OpenAI.
  4. 1 2 3 Radford, Alec; Wu, Jeffrey; Child, Rewon; Luan, David; Amodei, Dario; Sutskever, Ilya (2019. február 14.). "Better Language Models and Their Implications". OpenAI. Hozzáférés: 2019. február 14.
  5. 1 2 Vincent, James (2019. november 5.). "OpenAI has published the text-generating AI it said was too dangerous to share". The Verge. Hozzáférés: 2019. november 5.
  6. 1 2 3 4 5 Hern, Alex (2019. február 14.). "New AI fake text generator may be too dangerous to release, say creators". The Guardian. Hozzáférés: 2019. február 14.
  7. 1 2 Radford, Alec; Narasimhan, Karthik; Salimans, Tim; Sutskever, Ilya (2018. június 11.). "Improving Language Understanding by Generative Pre-Training" (PDF). OpenAI.
  8. 1 2 3 4 Vaswani, Ashish; Shazeer, Noam; Parmar, Niki; Uszkoreit, Jakob; Jones, Llion; Gomez, Aidan N; Kaiser, Łukasz; Polosukhin, Illia (2017). "Attention is All You Need" (PDF). Advances in Neural Information Processing Systems 30 (NIPS 2017). 5998–6008. o.
  9. 1 2 Quach, Katyanna (2019. február 14.). "Roses are red, this is sublime: OpenAI's new AI algo writes poetry, summaries – and even 'news'". The Register. Hozzáférés: 2019. február 14.
  10. 1 2 3 "GPT-2: 1.5B release". openai.com (amerikai angol nyelven). 2024. január 16. Hozzáférés: 2025. április 27.
  11. 1 2 3 4 5 Vincent, James (2019. február 14.). "OpenAI's new multitalented AI writes, translates, and slanders". The Verge. Hozzáférés: 2019. február 14.
  12. 1 2 3 Piper, Kelsey (2019. február 14.). "An AI pioneer explains the potential dangers of OpenAI's new text generator". Vox. Hozzáférés: 2019. február 14. [halott link]
  13. ↑ Köbis, Nils; Mossink, Luca D. (2021. január 1.). "Artificial intelligence versus Maya Angelou: Experimental evidence that people cannot differentiate AI-generated from human-written poetry". Computers in Human Behavior. 114: 106553. doi:10.1016/j.chb.2020.106553. hdl:21.11116/0000-0007-13E5-1.{{cite journal}}: CS1 karbantartás: oldalszám helyett cikk száma (link)
  14. ↑ Zellers, Rowan; Holtzman, Ari; Rashkin, Hannah; Bisk, Yonatan; Farhadi, Ali; Roesner, Franziska; Choi, Yejin (2019). "Defending Against Neural Fake News" (PDF). Advances in Neural Information Processing Systems 32 (NeurIPS 2019). 9054–9065. o.
  15. 1 2 3 Vincent, James (2019. február 20.). "AI experts debate the ethics of sharing potentially harmful code". The Verge. Hozzáférés: 2019. február 20.
  16. ↑ Wiggers, Kyle (2019. augusztus 20.). "OpenAI releases part of its AI text generator, along with detection model". VentureBeat. Hozzáférés: 2019. augusztus 20. [halott link]
  17. ↑ "gpt2 · Hugging Face". Hugging Face. Hozzáférés: 2024. október 29.
  18. ↑ "openai-community/gpt2-medium · Hugging Face". Hugging Face. Hozzáférés: 2024. október 29.
  19. ↑ Vincent, James (2019. november 6.). "This entire Reddit thread is generated by AI". The Verge. Hozzáférés: 2019. november 6.
  20. ↑ Goh, Gabriel (2019. május 18.). "Using GPT-2 to Generate Code". Towards Data Science. Hozzáférés: 2019. május 18. [halott link]
  21. ↑ Nielsen, Nick (2019. december 5.). "AI Dungeon 2, the Text Adventure Game That Can Do Anything". The Startup - Medium. Hozzáférés: 2019. december 5.
  22. ↑ Robertson, Adi (2021. július 28.). "AI Dungeon's creators are launching an experimental AI-powered game platform". The Verge. Hozzáférés: 2021. július 28.
  23. ↑ Coldewey, Devin (2021. április 14.). "AI Dungeon-maker Latitude raises $3.3M seed round". TechCrunch. Hozzáférés: 2021. április 14.
  24. ↑ "Write With Transformer". Hugging Face. 2019. december 4. dátummal az eredetiből archiválva. Hozzáférés: 2019. december 4.
  25. ↑ "Talk to Transformer". Adam King. 2019. december 4. dátummal az eredetiből archiválva. Hozzáférés: 2019. december 4.
  26. ↑ "CreativeEngines". 2023. február 3. dátummal az eredetiből archiválva. Hozzáférés: 2021. június 25.
  27. ↑ Metz, Cade (2021. június 24.). "A Crisis Text Line Used AI for Training. People Are Questioning the Ethics". The New York Times. Hozzáférés: 2021. június 24.
  28. ↑ "Language models can explain neurons in language models". OpenAI. 2023. május 9. Hozzáférés: 2023. május 13.
  29. ↑ Zhu, Yukun; Kiros, Ryan; Zemel, Rich; Salakhutdinov, Ruslan; Urtasun, Raquel; Torralba, Antonio; Fidler, Sanja (2015). "Aligning Books and Movies: Towards Story-Like Visual Explanations by Watching Movies and Reading Books". Proceedings of the IEEE International Conference on Computer Vision (ICCV): 19–27. arXiv:1506.06724. 2023. február 5. dátummal az eredetiből archiválva. Hozzáférés: 2023. február 5.
  30. 1 2 Brown, Tom; Mann, Benjamin; Ryder, Nick (2020). "Language Models are Few-Shot Learners" (PDF). Advances in Neural Information Processing Systems 33 (NeurIPS 2020). 1877–1901. o. {{cite conference}}: Text "et al." ignored (súgó)
  31. ↑ Arram, Bede (2020. július 9.). "OpenAI's GPT-3 Language Model: A Technical Overview". Lambda Labs Blog. Hozzáférés: 2020. július 9.
  32. ↑ "Microsoft teams up with OpenAI to exclusively license GPT-3 language model". The Official Microsoft Blog. 2020. szeptember 22. Hozzáférés: 2020. szeptember 22.

További információk