2020년 5월, Patrick Lewis가 Meta AI Research에서 한 논문을 NeurIPS에 제출했다. 그 논문은 — 2년 동안 묻혀 있었다. 2022년 11월 ChatGPT가 등장한 후, 모든 기업이 같은 질문을 떠올렸다. "ChatGPT는 우리 회사 자료를 모르는데?" 그때 누군가 그 묻혀 있던 논문을 꺼냈다.
논문 제목: "Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks". 줄여서 RAG. 핵심 아이디어 한 줄 — "모델이 답하기 전에, 외부 지식 베이스에서 관련 문서를 먼저 검색해서 가져온 후, 그것을 컨텍스트로 답변을 생성한다."
왜 이게 중요했나? 2020년 GPT-3는 1750억 개 파라미터지만 — 학습 데이터에 없는 정보(2020년 9월 이후 사건, 회사 내부 자료 등)에 대해선 무력했다. 또한 "환각(hallucination)" 문제 — 모르는 것에 대해 그럴듯하게 거짓말을 한다. RAG는 두 문제를 동시에 풀었다 — "학습 데이터가 아니라 검색해서 가져온 실제 문서를 보고 답하라".
그런데 — 학계만 알았다. 산업이 받지 못했다. 이유는 단순했다. 아직 LLM 자체가 일반인에게 다가가지 않았기 때문이다. 2020년의 GPT-3는 OpenAI API 베타 사용자만 알았다. 그러니 RAG는 "흥미로운 학술 결과" 정도로 묻혔다.
EP04에서 본 그날. ChatGPT가 5일 만에 100만 명, 2개월 만에 1억 명. CEO들이 회의 중에 ChatGPT를 켜기 시작했다. 그리고 — 같은 질문이 모든 회사에서 동시에 떠올랐다.
"ChatGPT가 정말 똑똑한데... 우리 회사 인사 규정이나 출장비 정책에 대해선 전혀 모른다. 우리 사내 자료를 학습시킬 수 없을까?"
— 2023년 거의 모든 기업의 IT 부서 회의처음엔 fine-tuning(미세 조정)을 시도했다. 회사 자료 1만 페이지를 GPT-3에 학습시키는 것. 결과는 — 비싸고(GPU 수만 시간), 느리고(2주+), 새 자료가 추가될 때마다 다시 학습해야 한다. 그리고 fine-tune된 모델이 여전히 환각한다. 회사 정책에 없는 내용을 그럴듯하게 만들어내는 것이다.
그때 누군가 — 2020년 Patrick Lewis의 논문을 다시 꺼냈다. "학습시킬 필요 없다. 검색해서 보여주면 된다."
① 사용자 질문: "출장비 한도가 얼마야?"
② 벡터 검색: 질문을 embedding 벡터로 변환 → 사내 문서 데이터베이스에서 의미적으로 가장 유사한 문서 찾기
③ 관련 문서 추출: 상위 3-5개 문서를 가져옴 (예: "출장비 규정" 문서 챕터 2)
④ LLM에 컨텍스트 주입: "다음 문서를 참고해서 답하세요: [문서 내용]. 질문: 출장비 한도가 얼마야?"
⑤ 답변 생성: LLM이 그 문서를 보고 답변 생성 → "회사 규정 §2.3에 따르면 국내 출장은 1인 1일 15만원..."
RAG가 작동하려면 — 수백만 개의 문서 벡터를 빠르게 검색하는 데이터베이스가 필요했다. 일반 DB(PostgreSQL, MongoDB)는 벡터 검색에 느리다. 그래서 새 카테고리가 만들어졌다 — Vector Database.
Pinecone을 2019년에 창업할 때만 해도 누구도 "vector DB"가 뭔지 몰랐다. 2023년 4월 — Series B로 $100M을 유치 (총 가치 ~$750M). 같은 해 Weaviate, Chroma, Qdrant, Milvus도 폭발적으로 성장. PostgreSQL도 pgvector 익스텐션이 사실상 표준이 됐다. Vector DB 시장은 빠르게 수십억 달러 규모로 확대되는 중.
가장 먼저 RAG를 영리하게 적용한 회사 중 하나는 — GitHub였다. GitHub Copilot은 2021년부터 코드 자동완성 도구였고, 2024년 4월 "Copilot Workspace" 기술 프리뷰가 발표됐다. 작업 중인 코드베이스 전체를 인덱싱 → 새 코드 작성 시 관련 함수·클래스를 자동 검색해서 컨텍스트로 사용하는 RAG 패턴이 핵심.
그리고 같은 시기. Microsoft 365 Copilot은 2023년 11월 일반 출시. Word, Excel, PowerPoint, Outlook이 모두 사내 OneDrive·SharePoint에 있는 문서를 RAG로 검색해서 답한다. "지난 달 마케팅 보고서 요약해줘"라고 하면 — 그 문서를 찾아서 요약. 모든 office worker의 일하는 방식이 바뀌기 시작했다.
그리고 사내 자체 구축. 2024년 들어 — McKinsey, Bain 등의 컨설팅 보고서들이 일관되게 대기업 다수가 자체 사내 LLM 코파일럿을 도입 중이라고 보고하기 시작했다. 한국에선 — 삼성전자 사내 ChatGPT 차단 후 자체 GAUSS 발표(2023.11), LG GenAI Studio, SK텔레콤 A.X 등. 거의 모든 대기업이 비슷한 패턴.
EP04에서 본 ChatGPT의 충격은 대중에게 AI를 가져왔다. 그러나 회사 내부에서 진짜 일을 바꾼 건 ChatGPT가 아니라 — 그것의 RAG 버전이었다. 똑같은 GPT-4지만 — 회사 자료를 알고 있는 GPT-4는 완전히 다른 도구다. 신입사원 교육 시간이 6개월에서 6주로, 사내 정책 조회 시간이 5분에서 5초로, 보고서 초안 작성이 3시간에서 30분으로.
그리고 한 가지 더 — Patrick Lewis의 논문이 2020년에 나왔다는 것. ChatGPT가 등장한 2022년에 즉시 응용된 것은 우연이 아니다. EP01에서 본 1986년 Hinton의 역전파, EP03의 2017 Transformer, EP04의 2020 GPT-3 — 모두 그렇게 2-7년의 잠복기를 거친 후 산업에 폭발적으로 들어왔다. 지금 묻혀 있는 2026년의 어떤 논문이 — 2030년의 표준이 될 것이다.
EP01에서 시작한 1958년 Frank Rosenblatt의 퍼셉트론. 그 작은 5톤짜리 기계가 — 두 번 죽었다가 두 번 부활하는 동안 — 우리는 이 시리즈를 따라왔습니다.
1986년 Hinton의 역전파, 1997년 LSTM, 2012년 AlexNet의 충격, 2017년 Transformer 통일, 2022년 ChatGPT의 폭발, 2024년 Sora의 영상 생성, 2025년 NVIDIA Blackwell, 그리고 2020년에 묻혀 있다가 부활한 RAG. 이 모든 게 한 흐름입니다. 한 명의 논문, 한 번의 통찰, 한 번의 잠복기 후 폭발.
이 시리즈가 한 가지를 남긴다면 — AI는 갑자기 등장한 것이 아니라, 70년의 누적이라는 것입니다. 그리고 그 70년의 모든 단계가 지금도 우리 폰의 카메라, 회사의 코파일럿, 반도체 공장의 가상계측 안에서 동시에 작동하고 있다는 것입니다.