Autoenkoder

Definicja intuicyjna
Autoenkoder to sieć neuronowa ucząca się „skompresowanej” wersji danych.
Schemat autoenkodera wraz z dwoma częściami: kodera, który mapuje wiadomość na kod i dekodera, który rekonstruuje wiadomość na podstawie kodu.

Autoenkoder, autokoder – sieć neuronowa złożona z pary koder-dekoder. Autokoder uczy się dwóch funkcji: funkcji kodowania, która przekształca dane wejściowe i funkcji dekodowania, która odtwarza dane wejściowe z zakodowanej reprezentacji. Autokoder uczy się efektywnej reprezentacji (kodowania) zbioru danych, zwykle w celu redukcji wymiaru, aby generować osadzenia o mniejszej liczbie wymiarów do późniejszego wykorzystania przez inne algorytmy uczenia maszynowego.

Aplikacje

Redukcja wymiarów

Redukcja wymiarów była jedną z pierwszych aplikacji głębokiego uczenia.

Zmniejszenie wymiarów może poprawić wydajność zadań takich jak klasyfikacja. Cechą charakterystyczną redukcji wymiarowości jest umieszczanie semantycznie powiązanych przykładów blisko siebie.

Analiza głównych składowych

Rekonstrukcja obrazów o rozmiarze 28x28 pikseli przez autoenkoder z rozmiarem kodu równym dwa (warstwa ukryta o długości dwóch jednostek) oraz rekonstrukcja z dwóch pierwszych głównych składników analizy głównych składowych

Najprostsze autoenkodery — zwłaszcza liniowe i bez nieliniowych aktywacji — są blisko powiązane z analizą głównych składowych.

Wyszukiwanie informacji i optymalizacja wyszukiwarek

Redukcja wymiaru daje korzyści dla procesów wyszukiwani informacjiRedukcja wymiaru, co oznacza, że wyszukiwanie może stać się bardziej efektywne w pewnych typach przestrzeni niskowymiarowych.

Wykrywanie anomalii

Innym zastosowaniem autoenkoderów jest wykrywanie anomalii.

Przypisy

  1. ↑ Aurélien Géron, Uczenie maszynowe z użyciem Scikit-Learn i TensorFlow, Wydanie II, aktualizacja do modułu TensorFlow 2, Gliwice: Helion, 2020, s. 551, ISBN 978-83-283-6002-0 [dostęp 2025-04-22] (pol.).
  2. 1 2 Gabriel Rodewald, Autoenkodery. Podstawy budowy wydajnych modeli uczenia maszynowego, „Zeszyty Naukowe Warszawskiej Wyższej Szkoły Informatyki”, nr 26, 2022, DOI: 10.26348/znwwsi.26.21, ISSN 1896-396X [dostęp 2025-04-14] (pol.).
  3. 1 2 Deep Learning [online], www.deeplearningbook.org [dostęp 2025-04-14].
  4. ↑ Elad Plaut, From Principal Subspaces to Principal Components with Linear Autoencoders, „arXiv”, 2018, DOI: 10.48550/arXiv.1804.10253, arXiv:1804.10253 [dostęp 2025-04-14].
  5. ↑ Ruslan Salakhutdinov, Geoffrey Hinton, Semantic hashing, „International Journal of Approximate Reasoning”, 50 (7), Special Section on Graphical Models and Information Retrieval, 2009, s. 969–978, DOI: 10.1016/j.ijar.2008.11.006, ISSN 0888-613X [dostęp 2025-04-14].
  6. ↑ Chong Zhou, Randy C. Paffenroth, Anomaly Detection with Robust Deep Autoencoders, „Proceedings of the 23rd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining”, KDD '17, New York, NY, USA: Association for Computing Machinery, 2017, s. 665–674, DOI: 10.1145/3097983.3098052, ISBN 978-1-4503-4887-4 [dostęp 2025-04-14].
  7. ↑ Mayu Sakurada, Takehisa Yairi, Anomaly Detection Using Autoencoders with Nonlinear Dimensionality Reduction, „Proceedings of the MLSDA 2014 2nd Workshop on Machine Learning for Sensory Data Analysis”, MLSDA'14, New York, NY, USA: Association for Computing Machinery, 2014, s. 4–11, DOI: 10.1145/2689746.2689747, ISBN 978-1-4503-3159-3 [dostęp 2025-04-14].