PaLM

PaLM
GeliştiriciGoogle AI
Dillerİngilizce
TürGeniş dil modeli
Resmî sitesiai.google/discover/palm2/ Bunu Vikiveri'de düzenleyin

PaLM (Pathways Language Model), Google AI tarafından geliştirilen 540 milyar parametreli dönüştürücü tabanlı büyük bir dil modelidir. Araştırmacılar ayrıca model ölçeğinin etkilerini test etmek için PaLM'ın daha küçük sürümlerini, 8 ve 62 milyar parametreli modellerini de yaptılar.

PaLM, sağduyulu akıl yürütme, aritmetik akıl yürütme, şaka açıklaması, kod oluşturma ve çeviri dahil olmak üzere çeşitli görevleri yerine getirebilir. Düşünce zinciri yönlendirmesiyle birleştirildiğinde PaLM, kelime problemleri ve mantığa dayalı sorular gibi birden çok adımın akıl yürütmesini gerektiren veri kümelerinde önemli oranda iyi performans elde etti.

Model ilk olarak Nisan 2022'de duyuruldu ve Google'ın PaLM ve diğer bazı teknolojiler için bir API başlattığı Mart 2023'e kadar gizli kaldı. API halka açılmadan önce bekleme listesine katılan sınırlı sayıda geliştirici tarafından kullanılabilecek.

Google ve DeepMind, PaLM 540B'nin Med-PaLM adlı tıbbi veriler üzerinde ince ayarı yapılmış ve tıbbi soru yanıtlama kapasitesinde önceki modellerden daha iyi performans gösteren bir sürüm geliştirdi. Med-PaLM, ABD tıbbi ruhsatlandırma sorularından geçer puan alan ilk programdır ve hem çoktan seçmeli hem de açık uçlu soruları doğru yanıtlamanın yanı sıra muhakeme sağlar ve kendi yanıtlarını değerlendirebilir.

Google ayrıca görüntü dönüştürücü kullanarak robotik manipülasyon için kullanılabilecek son teknoloji bir görüntü dili modeli olan PaLM-E'yi oluşturdu. Model yeniden eğitime veya ince ayara ihtiyaç duymadan robotikteki görevleri rekabetçi bir şekilde gerçekleştirebilir.

Mayıs 2023'te Google, yıllık Google I/O açılış konuşmasında PaLM 2'yi duyurdu. PaLM 2'nin 3,6 trilyon token üzerinde eğitilmiş 340 milyar parametreli bir model olduğu bildirildi.

Eğitim

PaLM, çeşitli doğal dil görevlerini ve kullanım durumlarını içeren 780 milyar belirteçlik yüksek kaliteli bir külliyat üzerinde önceden eğitilmiştir. Bu veri kümesi, filtrelenmiş web sayfalarını, kitapları, Wikipedia makalelerini, haber makalelerini, GitHub'daki açık kaynak havuzlarından elde edilen kaynak kodlarını ve sosyal medya konuşmalarını içerir. Google'ın LaMDA modelini eğitmek için kullanılan veri kümesini temel alır.

PaLM 540B, bugüne kadar açıklanan en büyük TPU yapılandırması olan bir model ve veri paralelliği kombinasyonu kullanılarak bağlanan, 768 ana bilgisayara bağlı her bölmede 3.072 TPU v4 yongası bulunan iki TPU v4 Bölmesi üzerinde eğitildi. Toplam 6.144 çip kullanarak ve %57,8'lik bir donanım FLOP kullanımı sağlayarak bu ölçekte LLM'ler için elde edilen en yüksek eğitim verimliliği rekorunu kırdı: .

Kaynakça

  1. 1 2 3 Narang, Sharan; Chowdhery, Aakanksha. "Pathways Language Model (PaLM): Scaling to 540 Billion Parameters for Breakthrough Performance". ai.googleblog.com (İngilizce). 4 Nisan 2022 tarihinde kaynağından arşivlendi. Erişim tarihi: 17 Mart 2023.
  2. 1 2 3 4 5 Chowdhery, Aakanksha; Narang, Sharan; Devlin, Jacob; ve diğerleri. (2022). "PaLM: Scaling Language Modeling with Pathways". arXiv:2204.02311 Özgürce erişilebilir.
  3. 1 2 "Google sets the bar for AI language models with PaLM". VentureBeat. 12 Nisan 2022. 21 Eylül 2022 tarihinde kaynağından arşivlendi. Erişim tarihi: 17 Mart 2023.
  4. ↑ "Google PaLM: Giant language AI can explain jokes". THE DECODER. 5 Nisan 2022. 19 Ekim 2022 tarihinde kaynağından arşivlendi. Erişim tarihi: 17 Mart 2023.
  5. ↑ "Google: Why Is No One Talking About PaLM (NASDAQ:GOOG) | Seeking Alpha". seekingalpha.com (İngilizce). 12 Aralık 2022. 12 Aralık 2022 tarihinde kaynağından arşivlendi. Erişim tarihi: 17 Mart 2023.
  6. ↑ "Google opens up its AI language model PaLM to challenge OpenAI and GPT-3". The Verge. 14 Mart 2023. 14 Mart 2023 tarihinde kaynağından arşivlendi. Erişim tarihi: 17 Mart 2023.
  7. ↑ "PaLM API & MakerSuite: an approachable way to start prototyping and building generative AI applications" (İngilizce). 14 Mart 2023 tarihinde kaynağından arşivlendi. Erişim tarihi: 17 Mart 2023.
  8. ↑ Singhal, Karan; Azizi, Shekoofeh; Tu, Tao; ve diğerleri. (2022). "Large Language Models Encode Clinical Knowledge". arXiv:2212.13138 Özgürce erişilebilir.
  9. ↑ "MedPaLM: New Chatbots Will Soon Be Better Than Waiting For A Doctor". The Medical Futurist. 17 Ocak 2023. 17 Ocak 2023 tarihinde kaynağından arşivlendi. Erişim tarihi: 17 Mart 2023.
  10. ↑ "Our latest health AI research updates". Google (İngilizce). 14 Mart 2023. 14 Mart 2023 tarihinde kaynağından arşivlendi. Erişim tarihi: 17 Mart 2023.
  11. ↑ Driess, Danny; Xia, Fei; Sajjadi, Mehdi S. M.; ve diğerleri. (2023). "PaLM-E: An Embodied Multimodal Language Model". arXiv:2303.03378 Özgürce erişilebilir.
  12. ↑ Driess, Danny; Florence, Pete. "PaLM-E: An embodied multimodal language model". ai.googleblog.com (İngilizce). 10 Mart 2023 tarihinde kaynağından arşivlendi. Erişim tarihi: 17 Mart 2023.
  13. ↑ "Google's PaLM-E is a generalist robot brain that takes commands". Ars Technica (İngilizce). 7 Mart 2023. 7 Mart 2023 tarihinde kaynağından arşivlendi. Erişim tarihi: 17 Mart 2023.
  14. ↑ Lardinois, Frederic (10 Mayıs 2023). "Google launches PaLM 2, its next-gen large language model". TechCrunch. 10 Mayıs 2023 tarihinde kaynağından arşivlendi. Erişim tarihi: 10 Mayıs 2023.
  15. ↑ Elias, Jennifer (16 Mayıs 2023). "Google's newest A.I. model uses nearly five times more text data for training than its predecessor". CNBC. 16 Mayıs 2023 tarihinde kaynağından arşivlendi. Erişim tarihi: 18 Mayıs 2023.
  16. ↑ "An empirical analysis of compute-optimal large language model training". www.deepmind.com (İngilizce). 13 Nisan 2022 tarihinde kaynağından arşivlendi. Erişim tarihi: 17 Mart 2023.