Wstępnie przeszkolony transformer generatywny (GPT) (ang. generative pre-trained transformer) – rodzaj dużego modelu językowego, czyli modelu uczenia maszynowego, który został wytrenowany na dużych zbiorach danych i potrafi generować tekst na podstawie podanego mu kontekstu. GPT jest jednym z największych i najbardziej zaawansowanych modeli językowych. Pierwszy model GPT został przedstawiony przez amerykańską spółkę OpenAI w 2018 roku. Do 2025 roku OpenAI przedstawiła pięć wersji GPT. Modele GPT są również rozwijane przez inne firmy, takie jak: EleutherAI, Cerebras.
W uproszczeniu można powiedzieć, że GPT jest programem komputerowym, który przetwarza ogromne ilości tekstu, aby nauczyć się reguł języka. Następnie, gdy dostanie fragment tekstu, potrafi wygenerować sensowne i poprawne gramatycznie kontynuacje zdania, a gdy dostanie zapytanie, potrafi wygenerować sensowne odpowiedzi. Model GPT był trenowany na różnorodnych źródłach danych, w tym na artykułach z Wikipedii, artykułach prasowych i różnorodnych tekstach z internetu.
Tym, co odróżnia GPT od innych rozwiązań typu 'dużego modelu językowego' (LLM), jest fakt, że model może być trenowany metodą uczenia nienadzorowanego. Dzieje się tak w pierwszej fazie treningu. W kolejnej fazie model jest trenowany metodą nadzorowaną, ale skupioną na konkretnych zastosowaniach.
GPT jest modelem opartym na sieciach neuronowych – transformerach, które zostały specjalnie zaprojektowane do przetwarzania sekwencji danych, takich jak tekst. Sieci neuronowe są matematycznymi modelami, które próbują naśladować sposób działania ludzkiego mózgu, dzięki czemu potrafią uczyć się na podstawie przykładów i przetwarzać duże ilości danych. W przypadku GPT, sieci neuronowe są wykorzystywane do trenowania modelu językowego na dużym zbiorze danych tekstowych.
Jednym z najbardziej znanych zastosowań modelu GPT jest aplikacja ChatGPT udostępniona przez OpenAI.
Historia
Wczesne prace
Generatywne wstępne przeszkolenie (ang. Generative pretraining, GP) jest pojęciem znanym wcześniej w zagadnieniach uczenia maszynowego. Był oryginalnie używany w uczeniu półnadzorowanym, gdzie model jest najpierw uczony na nieoznaczonych zbiorach danych aby generować etykiety w zbiorze danych, dla którego potem jest przeprowadzanie uczenie się klasyfikatora.
W latach dwa tysiące dziesiątych problem tłumaczenia maszynowego był adresowany z użyciem sieci RNN wraz z mechanizmem uwagi. Ta koncepcja została później ulepszona w architekturze transformera. To zapoczątkowało tworzenie dużych modeli językowych jak BERT w 2018, który posiada wstępnie wytrenowany transformer ale nie był stworzony jako model generatywny (BERT składał się tylko z koderów).
Rozwój modeli GPT
GPT-1, pierwszy model z serii, został wydany w 2018 roku. GPT-1 jako pierwszy model w serii GPT zastosował innowacyjne podejście do uczenia nienadzorowanego i uczenia transferowego. Umożliwiło to generowanie tekstów o większej spójności i zrozumiałości w porównaniu do wielu wcześniejszych modeli przetwarzania języka naturalnego, co stanowiło istotny krok w rozwoju sztucznej inteligencji opartej na przetwarzaniu języka naturalnego.
GPT-2 zostało wydane w lutym 2019 roku, a GPT-3 w czerwcu 2020 roku.
Kolejne wersje wprowadzały fundamentalne zmiany w architekturze i usprawnienia względem GPT-1, takie jak: zwiększenie liczby parametrów, co pozwoliło na lepsze modelowanie języka, oraz wytrenowanie na znacznie większym i bardziej zróżnicowanym zbiorze danych, dzięki czemu modele były w stanie lepiej generalizować i radzić sobie z różnorodnymi zadaniami związanymi z przetwarzaniem języka naturalnego.
Postęp w rozwoju modelu GPT-3 pozwolił na przełom w postaci nabycia przez model umiejętności wykonywania prostych zadań arytmetycznych, w tym tworzenia fragmentów kodu i wykonywania zadań wymagających pewnego poziomu inteligencji. Generacja GPT-4 została udostępniona 14 marca 2023 roku; model charakteryzuje się o 82% niższym prawdopodobieństwem udzielenia odpowiedzi na żądania użytkowników dotyczących treści niedozwolonych oraz o 40% większym prawdopodobieństwem przedstawienia odpowiedzi zgodnych z faktami w porównaniu z modelem GPT-3.5.
↑DumitruD.ErhanDumitruD., AaronA.CourvilleAaronA., YoshuaY.BengioYoshuaY., PascalP.VincentPascalP., Why Does Unsupervised Pre-training Help Deep Learning?, „Proceedings of the Thirteenth International Conference on Artificial Intelligence and Statistics”, JMLR Workshop and Conference Proceedings, 31 marca 2010, s. 201–208 [dostęp 2025-04-10](ang.).
↑KyunghyunK.ChoKyunghyunK. i inni, Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation, „arXiv”, 2014, DOI:10.48550/arXiv.1406.1078, arXiv:1406.1078 [dostęp 2025-04-10].
↑AshishA.VaswaniAshishA. i inni, Attention is All you Need, „Advances in Neural Information Processing Systems”, 30, Curran Associates, Inc., 2017 [dostęp 2024-05-21](ang.).
↑JacobJ.DevlinJacobJ., Ming-WeiM.W.ChangMing-WeiM.W., KentonK.LeeKentonK., KristinaK.ToutanovaKristinaK., BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding, „arXiv”, 2019, DOI:10.48550/arXiv.1810.04805, arXiv:1810.04805 [dostęp 2025-04-10].
