AlphaGo

Makine öğrenmesi ve veri madenciliği
Problemler Sınıflandırma Kümeleme Regresyon Anomali tespiti Association rules Pekiştirmeli öğrenme Yapılandırılmış tahmin Öznitelik mühendisliği Öznitelik öğrenmesi Öznitelik çıkarımı Online öğrenme Yarı-gözetimli öğrenme Gözetimsiz öğrenme Sıralama öğrenme Gramer Tümevarımı
Gözetimli öğrenme Karar ağacı Birlik öğrenmesi k-YK Doğrusal regresyon Naive Bayes Sinir ağları Lojistik regresyon Relevance vector machine (RVM) Support vector machine (SVM) Rastgele orman
Kümeleme BIRCH Hiyerarşik k-means Beklenti maksimizasyon DBSCAN OPTICS Mean-shift
Boyut indirgeme Faktör analizi CCA ICA LDA NMF PCA t-SNE
Yapılandırılmış tahmin Grafiksel modeller (Bayes ağları, CRF, HMM)
Anomali tespiti k-NN Local outlier factor
Sinir ağları Perseptron Otokodlayıcı Derin öğrenme RNN LSTM Kısıtlı Boltzmann makinesi SOM Kıvrımlı sinir ağları
Pekiştirmeli öğrenme Q-Learning SARSA Temporal Difference (TD)
Teori Bias-variance ikilemi Hesaplamalı öğrenme teorisi Empirik risk minimizasyonu Occam learning PAC learning İstatistiki öğrenme teorisi VC theory
Konferanslar ve dergiler NIPS ICML ML JMLR ArXiv:cs.LG
g t d

AlphaGo Google DeepMind tarafından geliştirilen Go oyununu oynayan bir program. Ekim 2015'te, 19×19'luk tahtada profesyonel bir go oyuncusunu avantaj verilmeden yenen ilk bilgisayar programı oldu. Bu galibiyetten sonra Mart ayında Lee Sedol ile beş oyun üzerinden yapılan oyunu da 4'e karşı 1 yenerek, dan-9 seviyesinde bir go oyuncusunu avantajsız yenen ilk bilgisayar programı oldu.

Tarihi ve karşılaşmalar

Go satranç gibi diğer oyunlara nazan bilgisayarların yenmesinin çok daha zor olduğu bir oyun, çünkü brute-force arama gibi yöntemlerin uygulanması zor.

IBM'in Deep Blue Garry Kasparov'u 1997'de yendiğinden beri, yapay zekanın amatör Go oyuncularının seviyesine çıkması yirmi yıl sürdü.

AlphaGo diğer Go programlarının yanında kayda değer bir ilerleme göstererek 500 oyunda, Crazy Stone ve Zen dahil, programların bir tanesi hariç hepsini yendi. Ekim 2015'te AlphaGo Avrupa Go şampiyonu Fan Hui'yi (dan-2) yendi. Bu, tam boyutlu bir tahtada profesyonel bir oyuncuyu yendiği ilk oyundu. AlphaGo'nun donanımı 170 GPU ve 1,200 CPU içeriyor.

Lee Sedol ile karşılaşma

Mart 2016'da Seul'de oynanan beş oyunluk karşılaşmada AlphaGo, dünyanın en güçlü oyuncularından biri olan Lee Sedol'a karşı 4-1 galip geldi. Karşılaşma, milyonlarca kişi tarafından izlendi ve yapay zekânın gelişiminde simgesel bir dönüm noktası olarak değerlendirildi.

İkinci oyunda AlphaGo'nun oynadığı 37. hamle, insan oyuncuların beklemediği, alışılmadık ama son derece güçlü bir hamle olarak öne çıktı ve programın özgün stratejiler geliştirebildiğinin göstergesi olarak yorumlandı. Dördüncü oyunda ise Lee Sedol'un oynadığı 78. hamle ("ilahi hamle" olarak anıldı) AlphaGo'yu hataya sürükledi ve Lee, karşılaşmadaki tek galibiyetini aldı; bu, AlphaGo'nun yarışma koşullarında kaybettiği bilinen ender oyunlardan biridir.

AlphaGo Zero ve AlphaZero

2017'de DeepMind, insan oyunlarından öğrenmeyen, yalnızca kendi kendine oynayarak (self-play) gelişen pekiştirmeli öğrenme tabanlı AlphaGo Zero'yu tanıttı. AlphaGo Zero, sıfırdan başlayarak kısa sürede önceki sürümleri geçti. Aynı yıl tanıtılan AlphaZero ise yalnızca Go değil, satranç ve şogi oyunlarında da aynı genel yöntemle ustalaştı.

Etkisi

AlphaGo'nun başarısı, on yıllarca yapay zekâ için çözülmesi zor sayılan Go oyununun beklenenden çok daha erken aşılması anlamına geldi ve derin öğrenme ile pekiştirmeli öğrenme yöntemlerine olan ilgiyi artırdı. Go camiasında, AlphaGo'nun oynadığı bazı alışılmadık hamleler profesyonel oyuncuların açılış ve strateji anlayışını da etkiledi. Karşılaşmalar üzerine 2017'de AlphaGo adlı bir belgesel film yayımlandı.

Algoritma

AlphaGo'nun algoritması makine öğrenimi ve ağaç sıralaması karışımı bir teknik kullanmakta ve bunun yanında hem insan hem de bilgisayar oyuncuların oyunlarıyla yoğun bir eğitimden geçirilmiştir.

Başlangıçta, sistemin yapay sinir ağları insan oyuncu uzmanlığı ile yüklendi. AlphaGo ilk aşamada uzman oyuncuların tarihi oyunlarını taklit etmek üzere eğitildi. Bunun için yaklaşık 30 milyon hamle içeren bir veritabanı kullanıldı. Sistem belirli bir uzmanlık derecesine ulaştıktan sonra, aynı sistemi kullanan diğer bilgisayarlara karşı tekrar tekrar oynatıldı ve pekiştirmeli öğrenme yaparak oyununu geliştirdi. Rakibinin vaktini "saygısızca" harcamamak için, sistem kazanma ihtimalinin bir eşik değerin altında olduğunu hesaplarsa otomatik olarak pes edecek şekilde programlandı. Lee'ye karşı oynadığı oyunda bu eşik değeri %20'ydi.

Kaynakça