Retrieval-augmented generation

Generowanie wspomagane wyszukiwaniem (ang. retrieval-augmented generation, RAG) – technika umożliwiająca modelom GenAI wyszukiwanie i włączanie nowych, zewnętrznych informacji. RAG modyfikuje zapytania do dużego modelu językowego (LLM) tak, aby odpowiadał on na pytania użytkowników z uwzględnieniem dodatkowych, dołączonych danych. Umożliwia to LLM-om korzystanie z informacji specyficznych dla danej dziedziny i/lub zaktualizowanych.

Oprócz zwiększenia jakości zwracanych odpowiedzi, RAG pozwala również LLM-om na uwzględnianie w generowanych treściach odniesień do źródeł, co umożliwia użytkownikom weryfikację informacji poprzez analizę cytowanych dokumentów lub oryginalnych źródeł. Dzięki temu możliwe jest uzyskanie większej wiarygodności i transparentność, ponieważ użytkownicy mogą sprawdzać pobrane treści, aby upewnić się co do ich dokładności, trafności i pochodzenia.

Termin RAG został po raz pierwszy wprowadzony w 2020 r. przez Meta. Istnieją biblioteki umożliwiające wdrożenie technik RAG wraz z ich specyficznymi funkcjonalnościami.

Proces

Uproszczony schemat schematu wzbogacania danych z wykorzystaniem LLM

RAG składa się z czterech elementów:

  1. Indexing (pol. indeksowanie) – dodatkowe dane dostarczane do systemu są osadzane i zapisywane w bazie danych.
  2. Retrieval (pol. pobieranie) – pobieranie najbardziej odpowiednich dokumentów dla danego zapytania.
  3. Augmentation (pol. uzupełnianie) – przekazanie pobranych informacji do LLMa za pomocą inżynierii podpowiedzi.
  4. Generation (pol. generowanie) – LLM zwraca odpowiedź w oparciu o wzbogacone dane i zapytanie użytkownika. Niektóre modele mogą korzystać z innych technik wzbogacania odpowiedzi.

Przypisy

  1. ↑ Leandro von Werra, Lewis Tunstall, Thomas Wolf, Przetwarzanie języka naturalnego z wykorzystaniem transformerów: budowanie aplikacji językowych za pomocą bibliotek Hugging Face, Grzegorz Werner (tłum.), Gliwice: Helion, 2024, s. 206, ISBN 978-83-289-0711-9 [dostęp 2025-04-16].
  2. ↑ Krzysztof Klimczyk, Aplikacja wspomagająca tworzenie serwerów urządzeń w środowisku Tango Controls [online], 25 listopada 2024 [dostęp 2025-04-12].
  3. ↑ Adam Karolewski, Sztuczna inteligencja w poszukiwaniu wiedzy, „Biuletyn EBIB” (213), 22 maja 2024, ISSN 1507-7187 [dostęp 2025-04-12] (pol.).
  4. ↑ What is retrieval-augmented generation (RAG)? [online], IBM Research, 9 lutego 2021 [dostęp 2025-04-12] (ang.).
  5. ↑ Maciej Kaszkowiak, RAG, czyli jak rozmawiać z naszymi dokumentami? [online], kaszkowiak.org, 20 grudnia 2023 [dostęp 2025-04-12] (pol.).
  6. 1 2 Why Google's AI Overviews gets things wrong [online], MIT Technology Review, 31 maja 2024 [dostęp 2025-03-07].
  7. ↑ Rahul Singhal, The Power Of RAG: How Retrieval-Augmented Generation Enhances Generative AI [online], Forbes, 30 listopada 2023.
  8. ↑ Tianyu Gao, Howard Yen, Jiatong Yu, Danqi Chen, Enabling Large Language Models to Generate Text with Citations, „arXiv”, 2023, DOI: 10.48550/arXiv.2305.14627, arXiv:2305.14627 [dostęp 2025-04-12].
  9. ↑ Kevin Wu i inni, How well do LLMs cite relevant medical references? An evaluation framework and analyses, „arXiv”, 2024, DOI: 10.48550/arXiv.2402.02008, arXiv:2402.02008 [dostęp 2025-04-12].
  10. ↑ Patrick Lewis i inni, Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks, „arXiv”, 2021, DOI: 10.48550/arXiv.2005.11401, arXiv:2005.11401 [dostęp 2025-04-12].
  11. ↑ Rahul Singhal, The Power Of RAG: How Retrieval-Augmented Generation Enhances Generative AI [online], Forbes [dostęp 2025-04-12] (ang.).
  12. ↑ Xiaohua Wang i inni, Searching for Best Practices in Retrieval-Augmented Generation, „arXiv”, 2024, DOI: 10.48550/arXiv.2407.01219, arXiv:2407.01219 [dostęp 2025-04-13].
  13. 1 2 Penghao Zhao i inni, Retrieval-Augmented Generation for AI-Generated Content: A Survey, „arXiv”, 2024, DOI: 10.48550/arXiv.2402.19473, arXiv:2402.19473 [dostęp 2025-04-12].
  14. ↑ Understanding Retrieval-Augmented Generation: Part 1 [online], www.bentoml.com [dostęp 2025-04-12] (ang.).
  15. ↑ Patrick Lewis i inni, Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks, „arXiv”, 2021, DOI: 10.48550/arXiv.2005.11401, arXiv:2005.11401 [dostęp 2025-04-13].