Skip to main content

🎧 Agents Companion Whitepaper Podcast Summary

출처: 5-Day Gen AI Intensive Course with Google
내용: 에이전트를 실환경에 배포하기 위한 고급 개념, AgentOps, 자동 평가, 멀티 에이전트 시스템, Agentic RAG, 신뢰성과 윤리까지 포괄

⚙️ 1. 실전 에이전트 구축을 위한 마인드셋: Proof of Concept → 실제 배포

단순 데모를 넘어서 실제 프로덕션 환경에서 안정적으로 작동하는 에이전트 설계 필요
이를 위해 AgentOps 개념 제시:
- DevOps + MLOps + 에이전트 운영 특화
- 도구 관리, 오케스트레이션, 메모리 효율, 대규모 태스크 분할 등 포함
KPI 중심으로 성능 측정 필요 (예: 목표 달성률, 사용자 참여도, 수익 등)

📊 2. Agent 성능 평가 방법

📍 정량적 평가 지표

Task success rate
사용자 인터랙션 로그
에이전트의 추론 경로 분석 (Breadcrumb logs)

📍 자동 평가 (Automated Evaluation)

Trajectories 평가: 에이전트가 도달한 경로가 효율적이었는지 분석
- Exact Match: 이상적인 경로와 완전 일치
- In-Order Match: 핵심 단계만 순서대로 수행
- Any-Order Match: 순서는 유연하되 핵심 요소 포함 여부 평가
LLM 기반 평가자 (Auditors):
- 하나의 LLM이 다른 LLM의 출력을 평가
- 기준에 따라 응답 품질 판단 (24/7 품질관리 역할)

📍 인간 피드백의 중요성

기술적으로 정확해도 맥락, 어조, 공감 등 인간적 요소는 사람만 평가 가능
thumbs-up/down, 오픈 피드백, 설문조사 등 사용

🤖 3. 멀티 에이전트 시스템 (Multi-Agent Systems)

🎯 개념

하나의 에이전트가 모든 것을 처리하기보다는 역할 분담을 통해 병렬 처리, 정확도 향상
각 에이전트는 특화된 기능 수행 (전문가 팀 구성)

💡 장점

병렬 처리 → 속도 향상
역할 분담 → 정확도 증가
에이전트 간 검증 → 신뢰성 강화
분산 구조 → 장애 복원력 ↑
바이어스 및 환각(Hallucination) 완화 → 다수 시각 조합

🏗️ 설계 패턴

패턴	설명
Sequential	직렬 처리 (에이전트 간 단계별 전달)
Hierarchical	매니저 에이전트가 하위 에이전트 관리
Collaborative	동등한 에이전트들이 공동 목표 협력
Competitive	최적 해법 찾기 위해 에이전트끼리 경쟁

🧩 주요 과제

Task Allocation: 역할 분배
Reasoning Coordination: 추론 일관성
Context 관리: 정보량 균형
리소스/비용 고려

🧠 4. Agentic RAG (지능형 RAG)

📌 기존 RAG 한계

단순 키워드 검색 기반
복잡한 요청은 다단계 추론 없이 처리 불가

⚡ Agentic RAG 혁신

전문 에이전트가 검색 쿼리 개선 → 더 정확한 정보 탐색
결과 평가 및 통합 → 정확하고 맥락 있는 응답 생성
동적으로 새로운 지식에도 적응 가능

🔍 예시: 자동차 설명서 에이전트

질문: “블루투스 연결은 어떻게 하나요?”
에이전트는:
- 질문을 세분화 (블루투스 켜기, 기기 탐색, PIN 입력 등)
- 각 단계마다 세부 쿼리 생성
- 다양한 출처에서 관련 정보 통합하여 답변 생성

🧱 5. RAG 기반 검색 최적화 전략

문서 파싱 및 청킹: 질문 단위에 맞는 논리적 분할
메타데이터 부여: 키워드, 태그, 작성자, 날짜 등으로 맥락 강화
임베딩 모델 튜닝: 도메인 특화 임베딩 사용
속도 개선: 빠른 벡터 DB (응답 시간 및 품질 ↑)
Reranker 활용: 초기 검색 결과를 재정렬해 품질 보장
Grounding 검사: 생성된 응답이 실제 근거에 기반했는지 검증

☁️ 6. Google Cloud의 에이전트 도구들

도구	설명
Vertex AI Search	종합 검색 엔진, Google급 품질 제공
Vertex AI Search Builder APIs	커스텀 검색 엔진 구축용 API
Vertex AI RAG Engine	RAG 파이프라인 전체 자동 구성
Vertex AI Agent Builder	도구 통합, 실행 환경 제공
Vertex AI Eval Service	자동 평가 도구 제공 (LLM, Agent, RAG 등)

🤝 7. 에이전트 = 계약자 (Agents as Contractors)

🧾 개념

단순 명령어 기반이 아닌 계약서 기반 역할 수행으로 진화
역할, 마감일, 기준, 실패 시 처벌 등 명시

✅ 장점

명확한 기대치 설정
책임소재 분명
신뢰 가능한 협력 구조

🧱 8. 신뢰 가능한 에이전트의 조건

항목	설명
투명성 (Transparency)	추론 과정을 설명하고 추적 가능해야 함
책임성 (Accountability)	행동 결과에 대한 책임소재 명확히
견고성 (Robustness)	예외 상황에서도 안정적으로 동작
공정성 (Fairness)	편향 없이 공정하게 작동

🏁 9. 마무리 요약

AgentOps, 자동 평가, 멀티에이전트 설계, Agentic RAG 등 실전 중심 내용
기술뿐 아니라 윤리성, 책임성, 신뢰성까지 중요
AI가 점점 더 많은 의사결정에 관여하게 되는 만큼, 사람과의 협력 및 관리 방식도 진화 필요

✨ 미래는 Agentic 하다.
지금부터 여러분이 차세대 에이전트를 만드는 주인공이 될 수 있습니다.