[AI Agent] LLM Vision과 DB 검증을 융합한 Invoice문서 처리 및 DB 적재 자동화 시스템 구축기
안녕하세요, 메디아나랑하 기술 개발팀입니다. 백오피스 업무 중 가장 높은 공수가 들어가면서도 정형화하기 어려운 작업 중 하나가 바로 청구서(Invoice) 및 영수증 처리입니다. 기업마다 청구서 포맷이 제각각이고, 다중 언어로 적혀 있거나 비정형 텍스트로 가득 차 있기 때문입니다.
기존 OCR 솔루션은 고정된 템플릿 영역을 지정해 주어야 하므로 양식이 조금만 바뀌어도 오탐율이 치솟았고, 단순 LLM API 호출만으로 데이터를 추출하려 할 때는 소위 '할루시네이션(Hallucination, 환각)' 현상에 따른 잘못된 수치 추출이 실무 도입의 가장 큰 걸림돌이었습니다.
저희 메디아나랑하는 이 문제를 해결하기 위해 LLM Vision 기술을 이용해 시각적으로 정보를 해석하고, 기업이 기보유 중인 데이터베이스(DB)의 관계형 데이터와 실시간 연동해 상호 크로스 검증(Self-Correction)하는 멀티 에이전트 시스템을 개발하였습니다. 그 기술적 구조와 상세 구축 과정을 여러분께 공유합니다.
1. 왜 LLM Vision과 DB 검증의 융합인가?
단순 OCR은 텍스트의 좌표값을 읽어내는 데 집중하지만, 그 텍스트가 의미하는 바(예: 단순 메모인지 실제 합계 금액인지)를 문맥적으로 구별하지 못합니다. 반면, LLM Vision(GPT-5.3 등)은 청구서 전체 레이아웃을 인간처럼 인지하여 필요한 필드를 유연하게 추출할 수 있습니다.
하지만 LLM의 고질적 한계인 '숫자 단위 오기' 또는 '품목명 오타' 등은 금융/물류 데이터 적재에 치명적입니다. 이를 보완하기 위해 시스템 구조에 'DB 상호 교차 검증' 레이어를 밀결합했습니다. LLM이 추출한 정보를 단순히 DB에 쓰는 것에 그치지 않고, DB 내 기존 마스터 데이터(거래처 코드, 품목 리스트, PO 이력)와 실시간 쿼리를 돌려 일치하지 않는 경우 에이전트가 스스로 원인을 분석하고 올바른 값으로 '자가 보정'하도록 아키텍처를 설계했습니다.
2. 멀티 에이전트 워크플로우 구성 및 역할
이 자동화 시스템은 단일 LLM 호출로 끝나는 것이 아니라, 역할이 특화된 다양한 AI 에이전트들이 협력하는 멀티 에이전트적 워크플로우로 구성되어 있습니다. 각 에이전트의 역할은 다음과 같습니다.
| 에이전트명 | 핵심 역할 | 주요 기술 및 프롬프트 특징 |
|---|---|---|
| 👁️ 문서 OCR 에이전트 | 전처리된 문서 이미지(Base64)를 시각적으로 해독하여 구조화된 JSON 데이터로 파싱 | Pydantic SchemaLogisticsDocument 스키마에 의한 공급자 정보, 발행일, 품목 정보 1차 추출 |
| 🔍 인보이스 메타 추출 에이전트 | 다중 페이지 문서에서 2페이지 이후 기본 정보 누락 시, 1페이지를 역추적해 누락 정보를 찾아 백필(Backfill) | Backfill Pattern 인보이스 번호, 발행일, 공급사 정보를 전체 페이지에 실시간 전파 |
| 🎯 구매 일자 정밀 추출 에이전트 | 인보이스 내부의 PO(Purchase Order) 번호 및 복잡한 일자 중 실제 구매 계약일을 정밀 정제 | Date Verification 선적일(Ship Date) 등과 구분하기 위한 PURCHASE_DATE_RETRY_PROMPT 검증 루프 |
| 🔄 LSN & 품번 자가보정 에이전트 | DB 마스터 데이터 매칭 실패 시, Description 등의 정보를 단서로 재추출 및 자동 매핑 보정 수행 | Self-Correction Loop 실패 로그를 추적하여 LSN_RETRY_PROMPT와 ITEM_NO_RETRY_PROMPT로 복원 유도 |
| ⚖️ 데이터 정합성 검증 에이전트 | 개별 품목의 (수량 * 단가) 계산값의 총합과 문서 하단의 Total/Subtotal 금액 일치 여부 검증 | Math Logic VerificationVALIDATE_TOTAL_PROMPT를 이용한 통계적 검증 및 수식 일치율 판정 |
| ⚓ VSI 물류 데이터 표준화 에이전트 | 비정형 선적 지시(선사명, 컨테이너 타입, 온도대 창고 등)를 표준 DB 코드 규격으로 자동 포맷팅 | Format Standardizer "DRY" -> 상온(20), "COLD" -> 저온(10), "MAEU" -> 선사(02) 등 자동 변환 |
3. 핵심 파이프라인의 3단계 작동 매커니즘
1단계: LLM Vision 기반의 비구조화 데이터 구조화
먼저 유입된 다중 포맷의 이미지/PDF 파일은 이미지 전처리를 거쳐 Document OCR 에이전트와 Invoice Meta Extraction 에이전트로 전달됩니다. 우리는 단순히 '텍스트를 읽어달라'고 요청하지 않습니다. JSON Schema 및 Pydantic 라이브러리를 사용해 강제된 구조화 아웃풋 포맷을 사용하며, 아래와 같은 구조화 단계를 밟습니다.
class LogisticsItem(BaseModel):
item_no: Optional[str] = Field(description="품번 또는 파트 넘버")
quantity: int = Field(description="수량")
unit_price: float = Field(description="단가")
description: str = Field(description="품목 상세 설명")
class LogisticsDocument(BaseModel):
invoice_no: str
vendor_name: str
items: List[LogisticsItem]
2단계: DB 마스터 데이터 대조와 LSN 자가보정
1단계에서 추출된 결과는 곧바로 데이터베이스 검증 단계로 넘어갑니다.
만약 인보이스 상에 오타가 있거나 흐릿하게 스캔 되어 LLM이 품번(Item Number)을 "ABC-1234" 대신 "ABG-1234"로 추출했다면 어떻게 될까요?
시스템은 DB의 ItemMaster 테이블을 조회하여 해당 코드가 유효한지 확인합니다.
매칭에 실패할 경우, LSN & 품번 자가보정 에이전트가 활성화됩니다. 이 에이전트는 DB 내에 존재하는 거래처별 유사 품목들의 Description(예: 'Plastic Cover 10mm')을 기반으로 벡터 임베딩 코사인 유사도 검색을 수행하거나, 인보이스 텍스트의 주변 컨텍스트를 활용해 "ABG-1234"가 "ABC-1234"의 오기였음을 확률적으로 추론하여 원본 데이터를 스스로 정정합니다.
3단계: 계산 정합성 및 최종 코드 표준화
마지막으로 데이터 정합성 검증 에이전트가 개별 수량과 단가를 모두 곱한 총합을 문서 상단/하단의 청구 총액(Total Amount)과 실시간 수식으로 대조합니다. 수식 정합성이 일치하고 오류 리포트가 발생하지 않으면, VSI 물류 데이터 표준화 에이전트가 관계형 DB의 규칙(선사 코드, 창고 코드 등)에 맞춰 내부 표준 카테고리 아이디로 맵핑하여 데이터베이스에 자동으로 영구 적재(Insert/Update)를 완료합니다.
실시간 AI 인보이스 해독 및 정합성 검증 대시보드 화면 예시
4. 비즈니스 도입 성과 및 기대 효과
메디아나랑하의 'Vision & DB 검증 융합형 인보이스 에이전트'는 수개월간의 필드 테스트를 통해 다음과 같은 뚜렷한 가치를 입증했습니다.
- 오탐율의 혁신적인 제어: 단순 LLM Vision만 사용했을 때 약 6%대에 달했던 수치/텍스트 오탐율이 DB 교차 매칭 및 자가보정 알고리즘 적용 후 0.05% 미만으로 급감하였습니다.
- 수작업 검토 시간 92% 감소: 한 건의 다중 페이지 인보이스를 정산 담당자가 수동으로 검토하고 DB에 옮겨 적는 데 평균 15분이 소요되었으나, 본 에이전트 시스템을 적용한 이후 자동 적재 후 최종 승인 버튼을 누르기까지 단 1.2분으로 단축되었습니다.
- 유연한 비정형 대응력: 글로벌 해운선사 및 협력사들의 수십 가지 비정형 서식을 별도의 룰 변경 작업 없이 단 하나의 범용 멀티 에이전트 파이프라인으로 일괄 처리할 수 있게 되었습니다.
마치며
이번 프로젝트는 단순한 '지능형 OCR'의 도입을 넘어, AI 에이전트가 현실의 데이터 정합성을 담보하기 위해 내부 데이터베이스와 대화하며 데이터를 스스로 보정해 나가는 구조를 실현했다는 점에서 큰 의미가 있습니다.
저희 메디아나랑하는 기업의 복잡한 백오피스 업무와 물류 비정형 문서 업무를 생성형 AI 에이전트로 해결하고자 하는 고객사들을 위해 본 솔루션을 AICC 플랫폼 및 커스텀 에이전트 솔루션 형태로 커스터마이징하여 공급하고 있습니다. 관련하여 자동화 시스템 도입에 관심이 있는 기업의 담당자께서는 언제든지 메디아나랑하 운영팀으로 편하게 문의해 주시기 바랍니다.
감사합니다.