Uczenie głębokie

Uczenie głębokie (ang. deep learning) – podkategoria uczenia maszynowego (ang. machine learning), polegająca na uczeniu głębokich sieci neuronowych (sieci z wieloma poziomami neuronów). Stuart Russell i Peter Norvig definiują uczenie głębokie jako termin odnoszący się do uczenia maszynowego wykorzystującego sieci neuronowe składające się z wielu warstw, z których każda składa się z prostych, konfigurowalnych elementów obliczeniowych (popularnie zwane neuronami lub węzłami).

Główne zastosowanie technik uczenia głębokiego to m.in. automatyczne przetwarzanie mowy, rozpoznawanie obrazów i przetwarzania języka naturalnego.

Głębokie uczenie to nowe rozwiązanie oparte na sieciach wielowarstwowych, w którym wzory w danych wejściowych rozpoznawane są na różnych poziomach hierarchicznych. Innymi słowy, głębokie uczenie odkrywa wielopoziomową reprezentację wiedzy – np. piksele są istotne dla detekcji kontrastu, to z kolei dla wykrywania krawędzi, to dalej dla wykrywania kształtu, to następnie dla wykrywania części obiektów, to ostatecznie dla wykrywania obiektów.

Jednymi z najbardziej popularnych architektur sieci neuronowych są sieci rekurencyjne, sieci konwolucyjne, sieci generatywne GAN czy transformer.

Wczesne formy sieci neuronowych były inspirowane metodami przetwarzania informacji i rozmieszczenia elementów komunikacji w układach narządów, szczególnie w mózgowiu człowieka, jednak aktualne sieci neuronowe nie skupiają się na modelowaniu funkcji mózgu i są postrzegane jako modele o niskim stopniu odwzorowania.

Historia

Uczenie głębokie powstało w latach 80. XX wieku (dzięki Jürgenowi Schmidhuberowi). Cześć badaczy wiąże powstanie sieci głębokich z pracami ukraińskiego uczonego, Ołeksij Hryhorowycz Iwachnenko. Istotny wkład w rozwój uczenia głębokiego miało wynalezienie sieci konwulencyjnych przez Kunihiko Fukushimę, a następnie ich ulepszenie przez Yanna LeCuna (w latach 90.XX w. zaprojektowane przez niego sieci znakomicie radziły sobie z rozpoznawaniem odręcznie napisanych cyfr) i Yoshuę Bengio. Dziedzina ta eksplodowała na początku XXI wieku, gdy Geofrrey Hinton przedstawił skuteczną metodę (maszyna Boltzmana z ograniczeniami) umożliwiającą sieciom wielowarstwowym odkrywanie relacji na wielu poziomach [Hinton i in, 2006]. Od około 2010 roku mówimy o rewolucji uczenia maszynowego opartego na uczeniu głębokim, czego zwieńczeniem była najpierw Nagroda Turinga dla Hintona, LeCuna i Bengio w 2018 roku, a następnie nagroda Nobla z fizyki dla Hintona i Hopfielda w 2024 roku oraz nagroda Nobla z chemii dla Davida Bakera, Demisa Hassabisa i Johna Jumpera. Przełomowym wydarzeniem w tym zakresie było zwycięstwo sieci głebokiej AlexNet zaprojektowanej przez zespół Hintona w konkursie ImageNet w 2012 roku.

Sposób działania

Sieci neuronowe są głębokie, ponieważ struktura tych sieci składa się z wielu warstw sztucznych neuronów. Proste sieci neuronowe można zaprojektować ręcznie tak, by konkretna warstwa wykrywała konkretne cechy, a uczenie się polega na ustaleniu odpowiednich wag. W dużych sieciach neuronowych proces głębokiego uczenia jest do pewnego stopnia samodzielny - to znaczy sieć nie jest projektowana pod wykrywanie konkretnych cech, lecz wykrywa je na podstawie przetwarzania odpowiednio oznaczonych zbiorów danych. Zarówno takie zbiory, jak i sam sposób działania sieci muszą być przygotowane przez specjalistów, ale cechy wykrywa już sam program. Dzięki temu możliwe jest przetworzenie wielkiej ilości danych, a sieć może automatycznie nauczyć się reprezentacji cech wyższego poziomu, co oznacza, że mogą one wykryć skomplikowane wzorce w danych wejściowych.

Współczesne głębokie sieci neuronowe są jednokierunkowe (feed-forward, czasem z elementami rekurencyjnymi) i działają w zupełnie innym paradygmacie niż dawne modele oparte na minimalizacji energii (np. sieci Hopfielda).

Podstawową zasadą ich działania jest minimalizacja błędu (loss) – sieć uczy się tak dobierać swoje parametry, aby w warstwie wyjściowej przypisywać jak największe prawdopodobieństwo poprawnej odpowiedzi. Wyjście sieci ma często formę wektora prawdopodobieństw (np. „kot” vs. „pies”), uzyskanych przez normalizację wartości neuronów wyjściowych.

W procesie treningu sieć otrzymuje dane wejściowe (np. obraz) i aktualizuje wagi poprzez propagację wsteczną, tak aby jak najlepiej odwzorować oczekiwane etykiety. Zamiast „przyciągania” do zapamiętanych wzorców – jak w modelach energetycznych – sieć uczy się funkcji odwzorowującej wejścia na prawdopodobne wyjścia.

Wkład Geoffreya Hintona był kluczowy dla rozwoju tej dziedziny – m.in. zaproponował efektywne metody trenowania głębokich sieci, korzystając z maszyn Boltzmanna, co otworzyło drogę do współczesnego głębokiego uczenia.

Zastosowania

• Automatyczne rozpoznawanie i przetwarzanie mowy na tekst.
• Przetwarzanie języka naturalnego, wykrywanie znaczeń i tłumaczenie na inny język.
• Rozpoznawanie obiektów na obrazach w tym na filmach (nadawanie etykiet i oznaczanie). W tym również analiza obrazu medycznego i diagnostyka.
• Bioinformatyka i projektowanie leków.
• Rekonstrukcja obrazu ze słabej jakości obrazku (powiększanie bez widocznej straty jakości, dodawanie kolorów).
• Generowanie sztucznych obrazów i filmów (deepfake, wspomaganie pracy grafików).
• Systemy rekomendacji (książki do przeczytania, filmy do obejrzenia, zakupy itp.).
• Wykrywanie oszustw finansowych i innych anomalii w danych (np. zwalczanie dezinformacji i cyberbezpieczeństwo).
• Automatyczni asystenci, obsługa hoteli i restauracji, czatboty.
• Automatyczne samochody i systemy wspomagające prowadzenie auta.

Przypisy