LLaMA-Sprachmodell

Das LLaMA (Large Language Model Meta AI) von Meta ist ein sogenanntes Großes Sprachmodell, das von Meta AI am 24. Februar 2023 veröffentlicht wurde. Es ist ein generatives Sprachmodell, das in der Lage ist, menschenähnlichen Text zu erzeugen, Sprachen zu übersetzen, verschiedene Arten kreativer Inhalte zu schreiben und Fragen informativ zu beantworten.

Veröffentlichung

LLaMA wurde am 24. Februar 2023 in einem Blogbeitrag und einem wissenschaftlichen Papier angekündigt, in dem das Training, die Architektur und die Leistung des Modells beschrieben wurden. Der Programmcode, der zur Ausführung des Modells verwendet wird, wurde unter der Open-Source-Lizenz GPL 3 veröffentlicht und kann via Github abgerufen werden. Der Zugang zu dem Modell wird von Fall zu Fall akademischen Forschern, Mitarbeitern von staatlichen, zivilgesellschaftlichen und akademischen Organisationen sowie Forschungslabors der Industrie in aller Welt gewährt.

Details

Für die erste Version von LLaMA wurden vier Modellgrößen trainiert: 7, 13, 33 und 65 Milliarden Parameter. Die LLaMA-Entwickler berichteten, dass die Leistung des 13B-Parameter-Modells bei den meisten NLP-Benchmarks die Leistung des viel größeren GPT-3 (mit 175 Mrd. Parametern) übertraf und dass das größte Modell mit aktuellen Modellen wie PaLM und Chinchilla, einem von Google im März 2022 vorgestelltem großem Sprachmodell, konkurrenzfähig war.

Das LLaMA Modell wurde auf einem Datensatz mit 1,4 Billionen sogenannten Token trainiert, die aus öffentlich zugänglichen Datenquellen stammten, darunter:

LLaMa Version 2 wurde am 19. Juli 2023 durch Meta gemeinsam mit Microsoft vorgestellt. Eigenen Angaben zufolge wurden 40 Prozent mehr Daten für das Training eingesetzt und dabei doppelt so viel Kontext einbezogen. LLaMA 2 liegt in drei unterschiedlich großen Varianten vor: mit sieben Milliarden, 13 Milliarden sowie 70 Milliarden Parametern.

Am 23. Juli 2024 publizierte Meta das Modell Llama 3.1 mit 8, 70 oder 405 Milliarden Parametern als frei zugängliche Version. Aktuell (Juni 2026) ist Llama 4 das führende Modell der Serie.

Einzelnachweise

  1. ↑ Eike Kühl: KI-Chatbot von Meta: Ein Llama auf Abwegen. In: Die Zeit. 6. März 2023, abgerufen am 7. Februar 2024.
  2. 1 2 Introducing LLaMA: A foundational, 65-billion-parameter language model. In: Meta AI. 24. Februar 2023, abgerufen am 7. Februar 2024 (englisch).
  3. 1 2 3 Hugo Touvron, Thibaut Lavril, Gautier Izacard, Xavier Martinet, Marie-Anne Lachaux, Timothée Lacroix, Baptiste Rozière et al: LLaMA: Open and Efficient Foundation Language Models. In: arXiv. Meta AI, 27. Februar 2023, abgerufen am 7. Februar 2024 (englisch).
  4. ↑ Emilia David: Meta is giving away its AI tech to try to beat ChatGPT. In: The Verge. 18. Juli 2023, abgerufen am 7. Februar 2024 (englisch).
  5. ↑ facebookresearch/llama. In: GitHub. Meta AI, 7. Februar 2024, abgerufen am 7. Februar 2024.
  6. ↑ Introducing LLaMA: A foundational, 65-billion-parameter language model. In: Meta AI. Abgerufen am 7. Februar 2024 (englisch): „Access to the model will be granted on a case-by-case basis to academic researchers; those affiliated with organizations in government, civil society, and academia; and industry research laboratories around the world. People interested in applying for access can find the link to the application in our research paper.“
  7. 1 2 Steffen Albrecht: ChatGPT und andere Computermodelle zur Sprachverarbeitung – Grundlagen, Anwendungspotenziale und mögliche Auswirkungen. In: Deutscher Bundestag. 21. April 2023, S. 24, abgerufen am 7. Februar 2024.
  8. ↑ Meta und Microsoft präsentieren neues Sprachmodell LLaMA 2. In: heise online. 19. Juli 2023, abgerufen am 7. Februar 2024.
  9. ↑ Introducing Llama 3.1: Our most capable models to date. In: Meta AI. 23. Juli 2024, abgerufen am 26. Juli 2024 (englisch).
  10. ↑ heise online: Llama 4: Meta veröffentlicht neue KI-Modelle. 7. April 2025, abgerufen am 22. Juni 2026.