LLM을 사용하다 보면 이런 질문을 한 번쯤 하게 됩니다.
“이 AI가 지금 최신 정보를 알고 있을까?”
예를 들어
“오늘 주식시장은?”
“2026년 최신 AI 기술은?”
“어제 발표된 AWS 서비스는?”
라고 질문한다면 문제가 생깁니다. 정확한 대답을 못하고 환각을 일으킬지 모릅니다.(그냥 문자를 만들어 내는 거죠)
LLM이 학습한 데이터에 최신 정보가 포함되어 있지 않을 수 있기 때문입니다.
그래서 지금까지는 이런 문제를 해결하기 위해 검색엔진 + LLM을 별도로 연결하는 방식이 많이 사용되었습니다.
그런데 AWS가 최근 흥미로운 기능을 발표했습니다.
바로 Web Search on Amazon Bedrock입니다.
AWS는 2026년 8월 4일 이 기능을 일반 제공(GA)한다고 발표했습니다.
1. LLM은 왜 최신 정보를 모를까?
LLM은 기본적으로 학습된 데이터를 바탕으로 답변을 생성합니다.
따라서 모델이 아무리 뛰어나더라도
오늘 발생한 사건, 방금 발표된 제품, 실시간 주가, 최신 뉴스
같은 정보는 알기 어렵습니다.
물론 개발자가 별도의 검색 시스템을 연결할 수 있습니다.
대표적인 방식이 바로 RAG(Retrieval-Augmented Generation)입니다. 검색 증강 생성이지요.
구조를 단순하게 보면 다음과 같습니다.
사용자 질문 --> 검색 시스템 --> 관련 문서 검색 --> LLM에 전달 --> 답변 생성
이 방식은 매우 강력하지만 개발자가 직접 검색 시스템을 구성하고 관리해야 하는 경우가 많습니다.
LLM 만 있으면 되는게 아니라 이를 활용한 시스템을 만드러야 한다는 의미입니다. 예를 들면 추가로 LLM 뿐만아니라 Vector DB, Embedding 등이 필요합니다.
이러한 것들을 쉽게 구성, 개발할 수 있도록 프레임웩을 제공하기도 합니다. LangChain 이 그 대표적인 예입니다.
2. AWS가 발표한 Web Search는 무엇인가?
AWS가 발표한 Web Search on Amazon Bedrock은 이 과정을 Amazon Bedrock 안에서 사용할 수 있도록 만든 기능입니다.
쉽게 말하면
“LLM이 필요할 때 웹을 검색해서 최신 정보를 가져온 다음 답변하도록 만드는 것”
입니다.
AWS는 Web Search를 서버 측 내장 도구(server-side built-in tool)라고 설명합니다.
따라서 별도의 제3자 검색 서비스나 외부 API를 직접 연결하지 않고도 웹 기반 grounding을 구현할 수 있습니다.
3. 기존 RAG와 무엇이 다를까?
기존 RAG에서는 일반적으로 개발자가 다음과 같은 시스템을 구축합니다.
Web / Database --> Crawler --> Embedding --> Vector Database --> Retriever --> LLM
상당히 많은 구성 요소가 필요합니다.
반면 Web Search를 사용하면
사용자 --> Amazon Bedrock --> Web Search --> 최신 웹 정보 --> LLM
이라는 훨씬 단순한 구조를 만들 수 있습니다.
물론 RAG와 Web Search가 서로 대체 관계라고 보기는 어렵습니다.
기업 내부 문서를 검색해야 한다면 기존 RAG가 여전히 중요합니다.
반면 인터넷의 최신 정보를 찾아야 한다면 Web Search가 훨씬 자연스러운 선택이 될 수 있습니다.
4. 가장 큰 변화는 “최신성”이다
LLM 애플리케이션에서 중요한 문제가 하나 있습니다.
바로 Knowledge Cutoff입니다.
모델이 아무리 뛰어나도 학습 이후 발생한 사건을 알 수는 없습니다.
Web Search를 사용하면 이 부분을 보완할 수 있습니다.
예를 들어
“최근 AWS에서 발표한 AI 기술 중 중요한 것은?”
이라는 질문이 들어왔다고 생각해 보겠습니다.
기존 LLM이라면 학습 데이터에 따라 오래된 AWS 기술을 이야기할 가능성이 있습니다.
하지만 Web Search를 사용하면
질문 --> 웹 검색 --> 최근 AWS 발표 검색 --> 관련 정보 수집 --> LLM 답변 생성
이라는 방식으로 최신 정보를 반영할 수 있습니다.
5. 검색만 하는 것이 아니라 Grounding이 중요하다
여기서 중요한 단어가 하나 있습니다.
Grounding 입니다.
단순히 검색 결과를 보여주는 것과 검색 결과를 근거로 답변을 생성하는 것은 다릅니다.
Grounding의 목적은 LLM이 자신의 기억만으로 답변하는 것이 아니라 외부의 실제 정보에 근거해서 답변하도록 만드는 것입니다.
AWS는 Web Search를 통해 모델 응답을 현재 웹 지식에 grounding할 수 있다고 설명하고 있습니다.
따라서 앞으로 AI 애플리케이션에서는
“AI가 얼마나 똑똑한가?”
뿐만 아니라
“AI가 어떤 정보를 근거로 답변하고 있는가?”
도 중요해질 것입니다.
6. 그렇다면 RAG가 필요 없어지는 것일까?
그렇지는 않습니다.
오히려 두 기술의 역할이 달라진다고 보는 것이 좋습니다.
예를 들어 회사의 내부 문서를 검색하는 AI라면
사내 문서 → RAG 가 적합합니다.
반면 최신 시장 뉴스나 공개된 웹 정보를 검색한다면
인터넷 → Web Search 가 적합합니다.
그리고 실제 기업용 AI에서는 두 가지를 함께 사용할 수도 있습니다.
예를 들어 고객이
“우리 회사의 최신 제품 정책과 현재 시장 상황을 비교해줘.”
라고 질문한다면
회사 내부 데이터, 최신 웹 정보를 함께 사용해야 합니다.
결국 앞으로의 AI 애플리케이션은 하나의 검색 방식만 사용하는 것이 아니라 질문에 따라 적절한 지식 소스를 선택하는 방향으로 발전할 가능성이 높습니다.
7. Agent 시대에는 더 중요해진다
이 기능이 특히 흥미로운 이유는 AI Agent와 연결되기 때문입니다.
AI Agent는 단순히 질문에 답하는 것이 아니라 검색하고 판단하고 도구를 사용하고 다음 행동을 결정하는
방향으로 발전하고 있습니다.
예를 들어 여행 Agent라면
사용자 요청 --> 여행 정보 검색 --> 항공편 확인 --> 호텔 검색 --> 가격 비교 --> 일정 생성
같은 작업을 수행할 수 있습니다.
여기서 최신 웹 정보가 없다면 Agent의 판단도 오래된 정보에 의존할 수밖에 없습니다.
따라서 Web Search 같은 실시간 정보 접근 능력은 Agent의 중요한 기본 기능이 될 가능성이 높습니다.
8. 개발자 입장에서는 무엇이 달라질까?
기존에는 개발자가 직접
- 검색 API 선택
- 검색 시스템 구축
- API 인증 관리
- 검색 결과 처리
- 보안 검토
- 장애 처리
- 결과를 LLM에 전달하는 로직
등을 관리해야 했습니다.
AWS는 Web Search를 Bedrock의 기능으로 제공하면서 이러한 외부 검색 서비스 연결에 필요한 일부 복잡성을 줄이는 방향을 제시하고 있습니다. 특히 AWS는 별도의 제3자 공급자 도입이나 외부 API orchestration, 제3자 보안 검토가 필요 없다는 점을 강조하고 있습니다.
즉,
검색 기능을 직접 만드는 것에서 검색 기능을 AI 플랫폼의 기본 기능으로 사용하는 것
으로 변화하고 있는 것입니다.
9. 그런데 새로운 문제가 하나 생긴다
여기서 재미있는 문제가 생깁니다.
검색을 많이 하면 비용도 증가할 수 있다는 것입니다.
LLM 호출 비용뿐만 아니라
검색 → 검색 결과 처리 → 추가적인 Input Token → LLM 추론
이 연결될 수 있습니다.
따라서 앞으로 AI 애플리케이션에서는 단순한 Cloud FinOps를 넘어
LLM Token FinOps 까지 함께 고려해야 합니다.
예를 들어 다음과 같은 지표가 중요해질 수 있습니다.
- 요청 수
- Web Search 호출 수
- 검색 결과 수
- Input Token
- Output Token
- LLM 호출 비용
- Search 비용
- 요청당 총 비용
- 성공적인 답변 비율
결국 “검색을 사용해서 얼마나 좋은 결과를 만들었는가?”까지 분석해야 합니다.
마무리
이번 AWS의 Web Search 발표를 단순히
“Bedrock에 검색 기능 하나가 추가됐다.”
라고 보면 조금 아쉽습니다.
더 중요한 변화는 LLM이 고정된 지식만 사용하는 구조에서 벗어나 최신 외부 정보를 필요할 때 직접 가져오는 구조로 발전하고 있다는 것입니다.
기존에는 LLM --> 학습된 지식 이었다면,
앞으로는 LLM, 검색, 외부 데이터, Tools 들를 결합하는 방향으로 발전할 가능성이 높습니다.
그리고 이것은 우리가 앞에서 살펴본 AI Observability와 FinOps와도 연결됩니다.
AI가 어떤 정보를 검색했는지,
얼마나 많은 토큰을 사용했는지,
얼마나 비용이 발생했는지,
그리고 그 결과 실제로 얼마나 좋은 답변을 만들었는지를 함께 관찰해야 하기 때문입니다.
결국 앞으로의 AI 시스템에서는
“AI가 얼마나 똑똑한가?”
라는 질문에서 한 단계 더 나아가
“AI가 최신 정보를 얼마나 잘 찾고, 올바르게 사용하며, 얼마나 효율적으로 비용을 관리하면서 가치를 만들어내는가?”
가 중요한 경쟁력이 될 것 같습니다.
