RAG 란?

1. RAG 란?

RAG는 'Retrieval-Augmented Generation'의 약자로, '검색 증강 생성'이라고 번역할 수 있다.

이 기술은 기존의 생성형 AI 모델에 실시간 정보 검색 능력을 결합한 혁신적인 접근 방식이다.

 

 

이미지 출처 : https://www.bentoml.com/blog/building-rag-with-open-source-and-custom-ai-models

 

📌 RAG의 핵심 아이디어는 간단하다

사용자의 질문에 답변할 때, 시스템은 먼저 관련된 정보를 검색하고,
이를 LLM에 제공하여 보다 정확하고 최신의 답변을 생성하게 하는 것이다.
이는 LLM의 고정된 지식만을 사용하는 것보다 훨씬 유연하고 강력한 접근 방식이다.


이 과정을 통해 RAG는 AI 모델의 기존 지식과 최신 외부 정보를 효과적으로 결합하여,
더욱 정확하고 시의적절한 답변을 제공할 수 있게 된다.

 

 

 

🤔 그렇다면 챗 GPT 와의 차이점이 뭘까 ?

---

챗지피티는 학습데이터의 기준 시점에 고정되어 있어 최신 정보를 반영하지 못한다. 

따라서 한정된 도메인 지식을 가지고 있고 잘못된 정보를 사실인마냥 제시하는 경우도 있다.

 

RAG 실시간으로 외부 데이터베이스를 검색하여 최신정보에 접근할 수 있고 

따라서 특정 도메인의 데이터베이스를 연결하여 깊이 있는 전문 지식을 제공할 수 있다. 

또한 검색된 실제 데이터를 바탕으로 답변을 생성하므로 보다 깊은 신뢰성을 제공한다. 

 

 

 

👩🏻‍💻 호오라.. 더 나아가서 파인튜닝과의 차이점이 무엇일까? 

---

 

파인튜닝에 관련한 포스팅을 했었당

https://khw063011.tistory.com/77

GPT open API 와 파인튜닝(fine-tunning) 이란?

 

파인튜닝에 비해 RAG 는 시간과 비용이 적게 소요된다.

일일이 데이터를 학습시켜야 했던 파인튜닝과 달리 RAG 는 외부 데이터베이스를 활용하기 때문에 학습 데이터를 준비할 필요가 없다. 

또한 특정 도메인에 한정되어 정보를 제공했던 파인튜닝과 달리 특정 도메인에 국한되지 않고 다양한 분야에 대한 질문에 답변할 수 있다. 

또한 RAG 답변과 함께 정보 출처를 제공하여 답변의 신뢰도를 높일 수 있다.

 

 

이를 비유하자면,

Fine tuning은 언어 모델 이 사용자의 질문에 정확히 답하기 위해 특정 도메인 지식을 공부하고 학습하여 암기한 상태로 성장시키는 것이라면,

RAG는 언어 모델(A)과 도서관 사서가 협업하는 것과 같다.

사용자가 질문을 하면, 사서가 도서관의 책 중에서 그 질문에 대한 정보를 담고 있는 책을 찾아낸 후, 언어 모델이 그 책의 내용을 참고하여 질문에 답변하는 것이라고 볼 수 있다! 

 

 

 

2. 작동원리

RAG의 작동 방식은 어떻게 될까? 

 

1️⃣ 색인작업

• 다양한 외부 데이터 소스(예: 코드 파일, PDF, 텍스트 문서, 이미지, 스프레드시트, JSON, URLs 등)에서 정보를 추출.
• 이 단계는 데이터 로딩, 데이터 분할, 임베딩 생성, 그리고 저장의 4단계로 이루어진다.

 

2️⃣ 검색작업

• RAG 외부 데이터베이스(예: 웹 문서, 기업 내부 문서)에서 질문과 관련된 정보를 검색한다.
• 사용자가 질문을 입력하면, RAG 시스템은 질문의 의미를 분석하여 가장 관련성 높은 정보를 색인에서 검색

 

3️⃣ 생성

• 검색된 정보를 기반으로 LLM이  최종 답변을 생성한다.

 

 

 

 

reference

https://www.magicaiprompts.com/docs/rag/how-to-use-rag/

https://www.ncloud-forums.com/topic/277/

https://www.magicaiprompts.com/docs/rag/what-is-rag-overcoming-chatgpt-limitations