Geoffrey Hinton

Geoffrey Everest Hinton
Ilustracja
G.Hinton podczas wystąpienia, po otrzymaniu Nagrody Nobla, Sztokholm, 2024
Państwo działania

Kanada, Wielka Brytania

Data i miejsce urodzenia

6 grudnia 1947
Londyn

doktor
Specjalność: informatyka, psychologia poznawcza
Alma Mater

University of Cambridge
Uniwersytet Edynburski

Doktorat

1977
Uniwersytet Edynburski

Praca badawcza
Uczelnia

Uniwersytet w Toronto

Odznaczenia
Order Kanady – Oficer (Officer)
Nagrody

Nagroda Nobla w dziedzinie fizyki
Nagroda Księżnej Asturii

Multimedia w Wikimedia Commons
Strona internetowa

Geoffrey Everest Hinton CC FRS FRSC FAAAI (ur. 6 grudnia 1947 w Londynie) – kanadyjsko-brytyjski informatyk, psycholog poznawczy, najbardziej znany ze swoich prac nad sztucznymi sieciami neuronowymi, jeden z pionierów sztucznej inteligencji, nazywany jej ojcem chrzestnym. Profesor emeritus (od 2014 roku) Uniwersytetu w Toronto. W roku 2024 otrzymał Nagrodę Nobla w dziedzinie fizyki za „fundamentalne odkrycia i wynalazki umożliwiające uczenie maszynowe z wykorzystaniem sztucznych sieci neuronowych”. Nagrodę Nobla otrzymał wspólnie z Johnem Hopfieldem.

Życiorys

Urodził się w 1947 r. w londyńskiej dzielnicy Wimbledon, w rodzinie z tradycjami naukowymi. Jego prapradziadkiem był George Boole, żonaty z Mary Everest Boole. Sebastian Hinton(inne języki), wynalazca, był jego wujem, a stryjeczny dziadek, Charles Howard Hinton(inne języki), matematyk i pisarz, zasłynął jako twórca koncepcji czwartego wymiaru. Wśród jego krewnych znajdowała się również Joan Hinton(inne języki), fizyczka nuklearna związana z projektem Manhattan, oraz stryjeczna ciotka, Ethel Lilian Voynich – pisarka i kompozytorka. Jego ojcem był entomolog Howard Hinton(inne języki). Jego drugie imię pochodzi od innego krewnego, George’a Everesta, głównego geodety Indii, na cześć którego najwyższemu szczytowi na Ziemi nadano nazwę Mount Everest.

Na University of Cambridge początkowo zamierzał studiować fizjologię i fizykę, po czym krótko zgłębiał filozofię, ale ostatecznie uzyskał dyplom w 1970 r. w zakresie psychologii eksperymentalnej. Po studiach krótko pracował jako stolarz, ale w 1972 r. wrócił do nauki. W 1977 r., na Uniwersytecie w Edynburgu, na podstawie rozprawy Relaxation and its Role in Vision uzyskał doktorat w zakresie prac nad sieciami neuronowymi. Promotorem pracy był Christopher Longuet-Higgins. Tematyka prowadzonych przez Hintona badań nie wzbudzała wówczas zainteresowania, stąd też trudno było o jej finansowanie. Hinton wyemigrował do Stanów Zjednoczonych, gdzie dołączył do grupy psychologów poznawczych jako postdoc(inne języki) na University of California, San Diego. W dwóch artykułach z 1986 r. spopularyzował również opracowane wyniku prac z Ronaldem J. Williamsem(inne języki) pojęcie propagacji wstecznej. Pozwoliła ona pokonać ograniczenia opisane wcześniej przez Marvina Minsky′ego.

Gdy w USA badania nad systemami głębokiego uczenia się i komputerowymi sieciami neuronowymi nie były doceniane, przeniósł się do Kanady. W 1987 r. przyjął ofertę Canadian Institute for Advanced Research(inne języki) i zainaugurował tam program Learning in Machines and Brain, tworząc prężny ośrodek badawczy na Uniwersytecie w Toronto. Od 1998 do 2001 r. pracował w Gatsby Computational Neuroscience Unit at University College London, po czym wrócił do Toronto. W 2012 r. wraz z zespołem wygrał doroczny konkurs organizowany przez ImageNet(inne języki), prezentując komputerowy system, który potrafił rozpoznać 1000 obiektów dzięki głębokiemu uczeniu. W 2013 r. jego firma DNNresearch Inc. została przejęta przez Google, a on sam pracował od tej pory dla tego koncernu.

W 2014 r. odszedł na uczelnianą emeryturę i założył w Toronto oddział Google Brain(inne języki). Od 2017 r. pracował wolontariacko jako główny doradca naukowy Vector Institute(inne języki) w Toronto w projekcie wdrożenia uczenia maszynowego na potrzeby kanadyjskiej opieki zdrowotnej i innych usług publicznych.

Badania naukowe

Hinton jest postrzegany jako wiodąca postać w nurcie badań naukowych głębokiego uczenia.

Hinton wspólnie z Davidem Ackleyem i Terrym Sejnowskim(inne języki) wynaleźli maszyny Boltzmanna. Jego inny wkład w badania sieci neuronowych obejmują reprezentacje rozproszone, sieci neuronowe z opóźnieniem czasowym, mieszanki ekspertów, maszyny Helmholtza i produkt ekspertów. W 2007 roku Hinton był współautorem artykułu dotyczącego uczenia się bez nadzoru zatytułowanego Uczenie się bez nadzoru transformacji obrazu. Przystępne wprowadzenie do badań Hintona można znaleźć w jego artykułach w Scientific American we wrześniu 1992 i październiku 1993 r.

W czasie badań po doktoracie w Uniwersytecie Kalifornijskim w San Diego, w 1986 r. Hinton wraz z Davidem Rumelhartem i Ronaldem J. Williamsem opublikowali pracę, która spopularyzowała algorytm propagacji wstecznej do uczenia wielowarstwowych sieci neuronowych. Praca ta była ważna w popularyzacji propagacji wstecznej, lecz autorzy nie byli jedynymi, którzy zaproponowali takie podejście. Automatyczne różnicowanie w trybie odwrotnym, którego szczególnym przypadkiem jest wsteczna propagacja, zostało zaproponowane przez Seppo Linnainmaa(inne języki) w 1970 r., a Paul Werbos(inne języki) zaproponował wykorzystanie go do uczenia sieci neuronowych w 1974 r.

Badania Hintona dotyczą sposobów wykorzystania sieci neuronowych do uczenia maszynowego, pamięci, percepcji i przetwarzania symboli. Jest autorem lub współautorem ponad 200 recenzowanych publikacji. Na konferencji poświęconej systemom przetwarzania informacji neuronowych (NeurIPS) przedstawił nowy algorytm uczenia się sieci neuronowych, który nazywa algorytmem „Forward-Forward”. Ideą nowego algorytmu jest zastąpienie tradycyjnych przebiegów propagacji wstecznej w przód i w tył dwoma przebiegami w przód, jednym z dodatnimi (tj. rzeczywistymi) danymi, a drugim z ujemnymi danymi, które mogą być generowane wyłącznie przez sieć.

Promotor naukowców i kontynuatorów badań

Pracownicy grupy badań nad głębokim uczeniem w 2016 roku. Od lewej do prawej: Ruslan „Russ” Salakhutdinov, Richard S. Sutton, Geoffrey Hinton, Yoshua Bengio i Steve Jurvetson.

Hinton był promotorem wielu doktoratów w Uniwersytecie w Toronto i Uniwersytecie Carnegie Mellon – z zakresu badań nad rozwojem sztucznej inteligencji: Richard Zemel(inne języki), Radford Neal(inne języki), Brendan Frey(inne języki), Yee Whye Teh(inne języki), Ruslan Salakhutdinov(inne języki), Ilya Sutskever, późniejszy współzałożyciel i główny naukowiec firmy OpenAI. W ramach prac na rozwojem sztucznej inteligencji, w badaniach postdoktoranckich współpracował z takimi naukowcami jak: Yann LeCun, Alex Graves(inne języki), Zoubin Ghahramani(inne języki), Peter Dayan(inne języki), Sam Roweis(inne języki) oraz Max Welling(inne języki).

Wyróżnienia i nagrody

W 1990 r. nagrodzony wyborem na Członka rzeczywistego AAAI (Fellow AAAI).

W 1998 r. został wybrany członkiem Royal Society FRS.

Był pierwszym laureatem nagrody Rumelharta w 2001 roku.

W 2001 r. otrzymał tytuł doktora honoris causa Uniwersytetu w Edynburgu.

W 2005 r. otrzymał nagrodę IJCAI Award for Research Excellence(inne języki) za całokształt twórczości.

W 2011 r. został odznaczony Gerhard Herzberg Canada Gold Medal for Science and Engineering(inne języki).

W 2013 r. otrzymał tytuł doktora honoris causa Université de Sherbrooke(inne języki).

W 2016 r. został wybrany członkiem zagranicznym National Academy of Engineering(inne języki) „za wkład w teorię i praktykę sztucznych sieci neuronowych oraz ich zastosowanie do rozpoznawania mowy i widzenia komputerowego”. Otrzymał również nagrodę IEEE/RSE James Clerk Maxwell Award(inne języki) w 2016 r.

Hinton otrzymał w 2018 r. Nagrodę Turinga, często nazywaną „nagrodą Nobla w dziedzinie informatyki”, „za koncepcyjne i inżynieryjne przełomy, które sprawiły, że głębokie sieci neuronowe stały się krytycznym elementem informatyki”. Hinton otrzymał tę nagrodę wraz z Yannem LeCunem i Yoshuą Bengio, za swoją pracę nad głębokim uczeniem się. Są oni czasami określani jako „ojcowie chrzestni sztucznej inteligencji” i „ojcowie chrzestni głębokiego uczenia” i publicznie, wspólnie, wygłaszają wykłady. Hinton i nagrodzeni uczeni zdobyli nagrodę Turinga za koncepcyjne i inżynieryjne przełomy, które sprawiły, że głębokie sieci neuronowe stały się kluczowym elementem informatyki.

W 2018 r. został odznaczony Orderem Kanady w stopniu najwyższym (fr. Compagnon).

W 2021 r. otrzymał nagrodę Dickson Prize in Science(inne języki) od Carnegie Mellon University.

W 2022 r. wspólnie z Yannem LeCun, Yoshuą Bengio i Demisem Hassabisem otrzymał Nagrodę Księżnej Asturii w kategorii badań naukowych.

W 2024 r. otrzymał (wspólnie z Johnem Hopfieldem) Nagrodę Nobla w dziedzinie fizyki za „fundamentalne odkrycia i wynalazki umożliwiające uczenie maszynowe z wykorzystaniem sztucznych sieci neuronowych”.

W 2024 roku, w Hanoi, za "przywództwo i fundamentalną pracę nad architekturami sieci neuronowych", został uhonorowany przez VinFuture Foundation nagrodą Grand Prize.

Kontynuacja aktywności

Po tym, jak OpenAI wypuściła w 2023 r. kolejną wersję chatbota ChataGPT, ponad tysiąc ekspertów i badaczy technologii opublikowało list otwarty wzywający do trwającego pół roku moratorium na rozwój nowych systemów. Hinton nie był jednym z sygnatariuszy listu, gdyż nie chciał publicznie krytykować firmy Google jako jej pracownik. Wkrótce potem zdecydował się jednak na odejście z firmy – ze względu na to, że zmieniła politykę wobec AI i przyśpieszyła prace nad nią pod presją konkurencji. Hinton przyznał, że już w momencie, gdy podjął publiczną krytykę szybkiego rozwoju narzędzi AI, były one narzędziem do wytwarzania i szerzenia dezinformacji obejmującej zdjęcia, nagrania i teksty.

Przypisy

  1. 1 2 3 4 5 Thomas Haigh, Geoffrey E Hinton – A.M. Turing Award Laureate [online], amturing.acm.org [dostęp 2023-05-16].
  2. ↑ The Nobel Prize in Physics 2024 [online], NobelPrize.org [dostęp 2024-10-08] (ang.).
  3. 1 2 3 4 Poulomi Chatterjee, Geoffrey Hinton: When genius runs in the family [online], Analytics India Magazine, 24 marca 2022 [dostęp 2023-05-16] (ang.).
  4. ↑ Craig S. Smith, The Man Who Helped Turn Toronto Into a High-Tech Hotbed, New York Times, 23 czerwca 2017 [dostęp 2023-05-21] (ang.).
  5. ↑ Doktorat G.E. Hintona: Relaxation and its Role in Vision, Edinburgh: The University of Edinburgh, 1977 [dostęp 2023-05-12].
  6. ↑ Geoffrey E. Hinton, Relaxation and its Role in Vision, Ph.D. Thesis, Edinburgh: University of Edinburgh, 1977 [dostęp 2023-05-12] (ang.).
  7. 1 2 3 Marta Urzędowska, „Ojciec chrzestny” AI odchodzi z Google’a i przerywa milczenie: Chatboty? To przerażające [online], wyborcza.pl, 2 maja 2023 [dostęp 2023-05-16].
  8. ↑ John Mannes, Geoffrey Hinton was briefly a Google intern in 2012 because of bureaucracy, „TechCrunch+”, 14 września 2017 [dostęp 2023-05-12] [zarchiwizowane z adresu 2020-03-17] (ang.).
  9. ↑ James Somers, Is AI Riding a One-Trick Pony?, MIT Technology Review, 29 września 2017 [dostęp 2023-05-12] [zarchiwizowane z adresu 2018-05-20] (ang.).
  10. ↑ Chris Sorensen, How U of T’s ‘godfather’ of deep learning is reimagining AI, „UofT News”, University of Toronto, 2 listopada 2017 [dostęp 2023-05-12] [zarchiwizowane z adresu 2019-04-06] (ang.).
  11. ↑ Chris Sorensen, ‘Godfather’ of deep learning is reimagining AI, „phys.org”, 3 listopada 2017 [dostęp 2023-05-12] [zarchiwizowane z adresu 2019-04-13] (ang.).
  12. ↑ Adrian Lee, The meaning of AlphaGo, the AI program that beat a Go champ, „Maclean’s”, 18 marca 2016 [dostęp 2023-05-12] [zarchiwizowane z adresu 2020-03-06] (ang.).
  13. ↑ D.H. Ackley, G.E. Hinton, T.J. Sejnowski, A learning algorithm for boltzmann machines, „Cognitive Science”, 9 (1), 1985, s. 147–169, DOI: 10.1016/S0364-0213(85)80012-4 [dostęp 2024-10-11] (ang.).
  14. ↑ Geoffrey E. Hinton: Geoffrey E. Hinton’s Publications in Reverse Chronological Order. [dostęp 2010-09-15]. [zarchiwizowane z tego adresu (2020-4-18)].
  15. ↑ Stories by Geoffrey E. Hinton in Scientific American, „Scientific American” [dostęp 2019-10-17] [zarchiwizowane z adresu 2019-10-17].
  16. 1 2 Badania postdoctoral [online] [dostęp 2023-05-14] (pol.).
  17. 1 2 Poradnia językowa [online] [dostęp 2023-05-14] (pol.).
  18. ↑ David E. Rumelhart, Geoffrey E. Hinton, Ronald J. Williams, Learning representations by back-propagating errors, „Nature”, 323, 1986, s. 533–536, DOI: 10.1038/323533a0 [dostęp 2023-05-14] (ang.).
  19. ↑ Jürgen Schmidhuber, Deep learning in neural networks: An overview, „Neural Networks”, 61, 2015, s. 85–117, DOI: 10.1016/j.neunet.2014.09.003 [dostęp 2023-05-12] (ang.).
  20. ↑ Jürgen Schmidhuber, Who Invented Backpropagation? [online], 2014 [dostęp 2023-05-14] (ang.).
  21. ↑ Geoffrey Hinton, indeks publikacji na [[Google Scholar]] [online] [dostęp 2023-05-14] (ang.).
  22. ↑ Geoffrey Hintoh, indeks publikacji na Scopus.
  23. ↑ Geoffrey Hinton, The Forward-Forward Algorithm: Some Preliminary Investigations, „arXiv”, Cornell University, 2022, DOI: 10.48550/arXiv.2212.13345, arXiv:2212.13345 [dostęp 2023-05-20] (ang.).
  24. ↑ Mathematics Genealogy Project (pol.).
  25. ↑ Richard S. Zemel, Praca doktorska „A minimum description length framework for unsupervised learning”, University of Toronto, Department of Computer Science, 1994 [dostęp 2023-05-14] (ang.).
  26. ↑ Mathematics Genealogy Project. Geoffrey Everest Hinton. [online] [dostęp 2023-05-14] (ang.).
  27. ↑ Radford M. Neal, Praca doktorska „Bayesian learning for neural networks”, University of Toronto, Department of Computer Science, 1995 [dostęp 2023-05-14] (ang.).
  28. ↑ Brendan J. Frey, Praca doktorska „Bayesian networks for pattern classification, data compression, and channel coding”, University of Toronto, 1997 (ang.).
  29. ↑ Yee Whye Teh, Praca doktorska: „Bethe free energy and contrastive divergence approximations for undirected graphical models”, University of Toronto, Department of Computer Science, 2003 [dostęp 2023-05-14] (ang.).
  30. ↑ Ruslan Salakhutdinov, Praca doktorska „Learning deep generative models”, University of Toronto, Department of Computer Science, 2009 [dostęp 2023-05-14] (ang.).
  31. ↑ Ilya Sutskever, Praca doktorska „Training Recurrent Neural Networks” [online], 2013 [dostęp 2023-05-14] (ang.).
  32. ↑ Edwin Bendyk, Inteligencja pracująca, czyli ilu ludzi ChatGPT i inne technologie pozbawią zatrudnienia [online], projektpulsar.pl, 26 kwietnia 2023 [dostęp 2023-05-16] (pol.).
  33. 1 2 3 4 5 6 Geoffrey Hinton’s former postdocs [online] [dostęp 2023-05-14] (ang.).
  34. ↑ Elected AAAI Fellows. AAAI. [dostęp 2024-12-16]. (ang.).
  35. ↑ Geoffrey Hinton Biography, The Royal Society [dostęp 2023-05-17] (ang.).
  36. ↑ Current and Previous Recipients [online], The David E. Rumelhart Prize [zarchiwizowane z adresu 2017-03-02].
  37. ↑ Distinguished Edinburgh graduate receives ACM A.M. Turing Award, The Universiyu of Edinburgh [dostęp 2023-05-17] [zarchiwizowane z adresu 2019-07-14] (ang.).
  38. ↑ Distinguished Edinburgh graduate receives ACM A.M. Turing Award, The University of Edinburgh, 2 kwietnia 2019 [dostęp 2023-05-19] [zarchiwizowane z adresu 2019-07-14] (ang.).
  39. ↑ Artificial intelligence scientist gets $1M prize, CBC Canadian Broadcasting Corporation, 14 lutego 2011 [dostęp 2023-05-19] (ang.).
  40. ↑ Geoffrey Hinton, keystone researcher in artificial intelligence, visits the Université de Sherbrooke, Sherbrooke, Kanada: The Université de Sherbrooke, 19 lutego 2014 [dostęp 2023-05-19] [zarchiwizowane z adresu 2021-02-21] (ang.).
  41. ↑ National Academy of Engineering Elects 80 Members and 22 Foreign Members, National Academy of Engineering, 8 lutego 2016 [dostęp 2023-05-19] [zarchiwizowane z adresu 2018-05-13] (ang.).
  42. ↑ 2016 IEEE MEDALS AND RECOGNITIONS RECIPIENTS AND CITATIONS, IEEE Institute of Electrical and Electronics Engineers, 14 listopada 2016 [dostęp 2023-05-19] (ang.).
  43. ↑ Thomas Haigh, Geoffrey Hinton laureat of A.M.Turing Award, A.M.Turing Award, 2018 [dostęp 2023-05-17] (ang.).
  44. ↑ Emily Chung, Canadian researchers who taught AI to learn like humans win $1M award, CBC Canadian Broadcasting Corporation, 27 marca 2019 [dostęp 2023-05-19] [zarchiwizowane z adresu 2020-02-26] (ang.).
  45. ↑ Ted Ranosa, Godfathers Of AI Win This Year’s Turing Award And $1 Million, Tech Times, 29 marca 2019 [dostęp 2023-05-17] [zarchiwizowane z adresu 2019-03-30] (ang.).
  46. ↑ Sam Shead, The 3 ‘Godfathers’ Of AI Have Won The Prestigious $1M Turing Prize, Forbes, 27 marca 2019 [dostęp 2023-05-17] [zarchiwizowane z adresu 2020-04-14] (ang.).
  47. ↑ Tiernan Ray, Nvidia’s GTC will feature deep learning cabal of LeCun, Hinton, and Bengio, ZDNet, marzec 2021 [dostęp 2023-05-17] [zarchiwizowane z adresu 2021-03-19] (ang.).
  48. ↑ 50 Years at CMU The Inaugural Raj Reddy Artificial Intelligence Lecture, Carnegie Mellon University, 18 listopada 2020 (ang.).
  49. ↑ VECTOR INSTITUTE’S CHIEF SCIENTIFIC ADVISOR, DR. GEOFFREY HINTON, RECEIVES ACM A.M. TURING AWARD ALONGSIDE DR. YOSHUA BENGIO AND DR. YANN LECUN, Vector Institute, 27 marca 2019 [dostęp 2023-05-17] [zarchiwizowane z adresu 2019-03-27] (ang.).
  50. ↑ Cade Metz, Three Pioneers in Artificial Intelligence Win Turing Award, New York Times, 27 marca 2019 [dostęp 2023-05-17] [zarchiwizowane z adresu 2019-03-27] (ang.).
  51. ↑ Fathers of the Deep Learning Revolution Receive ACM A.M. Turing Award, ACM Assotiation for Comuting Machinery, 27 marca 2019 [dostęp 2023-05-17] [zarchiwizowane z adresu 2019-03-27] (ang.).
  52. ↑ Josephine Laframboise: Governor General Announces 103 New Appointments to the Order of Canada. The Governor General of Canada, 2018-12-27. [dostęp 2025-01-12]. [zarchiwizowane z tego adresu (2019-11-19)]. (ang.).
  53. ↑ Dickson Prize in Science (2021), Carnegie Mellon University, 2021 [dostęp 2023-05-19] (ang.).
  54. ↑ Geoffrey Hinton, Yann LeCun, Yoshua Bengio and Demis Hassabis – 2022 Princess of Asturias Award for Technical & Scientific Research, La Fundación Princesa de Asturias, 2022 [dostęp 2023-05-19] (ang.).
  55. ↑ VinFuture Prize Laureates. Professor Yann LeCun Grand Prize. VinFuture Prize, 2024. [dostęp 2024-12-12]. (ang.).
  56. ↑ The 2024 Vinfuture Prize Honors Four Scientific Works Under The Theme Of "Resilient Rebound". Yahoo Finance, 2024-12-06. [dostęp 2024-12-12].

Linki zewnętrzne