Büyük dil modeli

Makine öğrenmesi ve veri madenciliği
Problemler Sınıflandırma Kümeleme Regresyon Anomali tespiti Association rules Pekiştirmeli öğrenme Yapılandırılmış tahmin Öznitelik mühendisliği Öznitelik öğrenmesi Öznitelik çıkarımı Online öğrenme Yarı-gözetimli öğrenme Gözetimsiz öğrenme Sıralama öğrenme Gramer Tümevarımı
Gözetimli öğrenme Karar ağacı Birlik öğrenmesi k-YK Doğrusal regresyon Naive Bayes Sinir ağları Lojistik regresyon Relevance vector machine (RVM) Support vector machine (SVM) Rastgele orman
Kümeleme BIRCH Hiyerarşik k-means Beklenti maksimizasyon DBSCAN OPTICS Mean-shift
Boyut indirgeme Faktör analizi CCA ICA LDA NMF PCA t-SNE
Yapılandırılmış tahmin Grafiksel modeller (Bayes ağları, CRF, HMM)
Anomali tespiti k-NN Local outlier factor
Sinir ağları Perseptron Otokodlayıcı Derin öğrenme RNN LSTM Kısıtlı Boltzmann makinesi SOM Kıvrımlı sinir ağları
Pekiştirmeli öğrenme Q-Learning SARSA Temporal Difference (TD)
Teori Bias-variance ikilemi Hesaplamalı öğrenme teorisi Empirik risk minimizasyonu Occam learning PAC learning İstatistiki öğrenme teorisi VC theory
Konferanslar ve dergiler NIPS ICML ML JMLR ArXiv:cs.LG
g t d

Büyük dil modeli (BDM) (İngilizce: Large language model; LLM), genel amaçlı olarak dili anlama ve üretme becerisiyle öne çıkan bir yapay zekâ dil modelidir. BDM'ler bu yetenekleri, eğitimleri sırasında milyarlarca parametreyi öğrenebilmek için niceliksel olarak çok büyük miktarda veri kullanarak kazanır. Bu süreçte, aşırı derecede büyük hesaplama kaynakları tüketirler. BDM'ler, gelişmiş yapay sinir ağlarıdır (temelde dönüştürücüler) ve özdenetimli öğrenme veya yarı denetimli öğrenme yöntemleri kullanılarak eğitilirler.

BDM'ler özbağlanımlı dil modelleri olarak, bir giriş metnini alıp bir sonraki belirteci veya sözcüğü tekrar tekrar tahmin ederek çalışır. 2020 yılına kadar, bir modelin belirli görevleri gerçekleştirebilmesi için uyarlanmasının tek yolu ince ayardı. Ancak günümüzde GPT-3 gibi popüler olan daha büyük ölçekli modeller, benzer sonuçlar elde etmek için istem mühendisliğini kullanacak şekilde tasarlanmaya başlandı. BDM'lerin, insan dili derleminde bulunan sözdizimi, anlambilim ve ontoloji hakkında somut bilgi edinebilmenin yanı sıra, aynı zamanda derlemde yer alan hataları ve önyargıları da öğrendikleri düşünülmektedir.

Uygulama alanları

Büyük dil modelleri, aşağıdaki başlıca alanlarda kullanılmaktadır:

• Chatbot ve dijital asistanların geliştirilmesi
• Makine çevirisi ve çok dilli iletişim
• Otomatik özetleme ve bilgi çıkarımı
• Kod üretimi, hata tespiti ve otomasyon
• Eğitim ve içerik üretiminde kişiselleştirilmiş yardımcı sistemler

Etik ve eleştiriler

• Veri gizliliği ve telif hakkı ihlalleri riskleri
• Dil modeli tarafından öğrenilen önyargıların (bias) sonuçlara yansıması
• Enerji tüketimi ve karbon ayak izi gibi çevresel etkiler
• Yanlış bilgi üretme potansiyeli (hallucination) ve güvenilirlik sorunları

Gelecek perspektifi

BDM'lerin çok modlu modeller ile birleşmesi, görsel, işitsel ve metinsel verilerle bütünleşik yapay zekâ sistemlerinin oluşmasını sağlayacaktır. Ayrıca, küçük ve verimli modellerin artmasıyla yerel cihazlarda kullanım olanakları genişlemektedir. BDM'ler, yapay genel zekâya (AGI) yönelik kritik bir basamak olarak değerlendirilmektedir.

Kaynakça