AI 채팅·검색·번역·요약·모니터링을 하나의 플랫폼으로 기관 내부 데이터 기반 RAG 아키텍처로 환각 없는 정확한 응답을 제공합니다.
반복 민원 수동 응대, 키워드 의존 검색, 제한적 번역, 느린 정책 반영. MC Smart AI는 RAG 기반 통합 AI 플랫폼으로 이 모든 문제를 해결합니다.
AS-IS · 기존 방식
TO-BE · MC Smart AI
AI 채팅부터 모니터링까지, 공공기관에 필요한 모든 AI 기능을 하나의 플랫폼으로 제공합니다.
AI 검색
키워드+벡터 결합 검색으로 오타·동의어에도 사용자 의도에 맞는 결과를 제공합니다.
AI 번역
홈페이지·게시판·파일 전 영역을 AI가 자동 번역하고 신규 콘텐츠를 상시 최적화합니다.
RAG 데이터 파이프라인
한국어 특화 KoSimCSE 임베딩과 가중치 Top-K 재정렬로 검색 정확도를 최적화합니다.
AI 모니터링
AI가 정상 범위를 스스로 학습하고 시차 상관관계 분석으로 장애를 선제 인지합니다.
AI 요약
방대한 공공 문서를 클릭 한 번으로 핵심만 요약해 이용자 이해 시간을 단축합니다.
AI 채팅
기관 내부 데이터 기반으로 환각 없는 정확한 답변을 24시간 자동 제공합니다.
MC Smart AI
데이터 인덱싱(사전 구축)과 질의응답(실시간)은 독립된 두 흐름으로 운영됩니다. 사전 구축된 벡터 DB 위에서 실시간 응답이 이루어집니다.
Flow 1 · 사전 구축 (Offline)
데이터 인덱싱 파이프라인데이터 수집
기관 내부 DB 및 외부 연동 데이터를 API 또는 파일 단위로 로드. CSV·JSON 등 형식 표준화 후 통합 입력 데이터로 구성합니다.
LlamaIndex
텍스트 정제 및 분할
HTML 태그·특수문자·불용어·중복 문장을 제거하고, 문단·문장 단위로 세분화합니다. 연속 구문 병합 후 세그먼트화합니다.
LangChain Text Splitter
청크 생성
오버래핑(Overlapping) 적용으로 청크 간 문맥 단절을 방지하고 메타데이터를 추가하여 출처 추적이 가능한 형태로 저장합니다.
Overlapping 문맥 유지
임베딩 및 벡터 저장
한국어 특화 KoSimCSE 모델로 텍스트 청크를 벡터화하여 Vector DB에 저장. 유사도 검색 및 RAG 응답 생성에 활용됩니다.
KoSimCSE
Flow 2 · 실시간 응답 (Online)
사용자 질의응답 파이프라인질의 필터링 및 임베딩
입력 감지·언어 식별·부적절 콘텐츠 차단·개인정보 마스킹 후 정제된 질의를 임베딩 모델로 벡터화합니다.
개인정보 마스킹
유사도 검색 & Top-K 재정렬
쿼리 벡터로 Vector DB 유사도 검색 후 문서 신뢰도·최신성·출처 기반 가중치로 Top-K를 재정렬합니다. Similarity / MMR 알고리즘 선택 가능합니다.
MMR · 가중치 재정렬
Contextual Compression
검색 결과를 요약·정제하여 LLM 입력 컨텍스트를 최적화합니다. 불필요한 노이즈를 제거해 Token Limit 내에서 핵심 정보만 전달합니다.
Token 최적화
LLM 응답 생성 및 필터링
RAG 오케스트레이션이 컨텍스트를 LLM(GPT / Gemini)에 전달하여 자연어 응답을 생성합니다. 환각 응답 탐지 필터링 후 출처 링크와 함께 제공합니다.
환각 탐지 필터링
검색·매칭 품질 향상을 위한 튜닝 방안
| 튜닝 방안 | 설명 |
|---|---|
| 임베딩 모델 튜닝 | 한국어 특화 임베딩 SentenceTransformer KoSimCSE 적용으로 한국어 의미 검색 정확도 강화 |
| 검색 알고리즘 조정 | Similarity(코사인 유사도) / MMR(Maximal Marginal Relevance) 중 목적에 따라 선택 가능. MMR은 결과 다양성을 확보하여 중복 정보 제거에 효과적 |
| 가중치 기반 Top-K 재정렬 | 문서 신뢰도·최신성·출처 정보를 기반으로 단순 벡터 유사도 점수를 보정하여 최신·신뢰 문서가 우선 제공되도록 재정렬 |
| Contextual Compression | 검색된 청크를 LLM 입력 전에 요약·정제하여 Token Limit 내 핵심 정보만 전달. LLM 추론 품질과 비용 효율을 동시에 개선 |
MC Smart AI는 4가지 정량 지표로 AI 답변 품질을 지속 모니터링하고 Faithfulness·Answer Relevancy·Context Precision·Context Recall 모두 90% 이상을 목표로 운영합니다.
충실도
Faithfulness 90%+계산 개념: 컨텍스트로 검증 가능한 주장 수 ÷ 전체 주장 수
AI 답변이 근거 문서(컨텍스트)에 실제로 기반하고 있는지를 측정합니다. 점수가 높을수록 LLM이 추측·창작 없이 데이터에 충실한 답변을 생성하고 있음을 의미합니다.
"원자력 발전 비중은 2024년 기준 약 26%입니다" (컨텍스트 일치)
≈ 1.0"원자력 발전은 전체 전력의 약 30% 수준입니다" (부분 불일치)
≈ 0.6"원자력 발전은 10% 미만입니다" (컨텍스트 불일치)
≈ 0.0응답 관련성
Answer Relevancy 90%+계산 개념: 질문과 답변의 의미적 코사인 유사도
생성된 답변이 사용자의 질문 의도와 얼마나 관련 있는지를 측정합니다. 질문과 무관하거나 지나치게 일반적인 답변을 탐지하는 핵심 지표입니다.
"2024년 기준 약 26%입니다" (질문에 직접 답변)
≈ 1.0"한국은 원자력 발전을 통해 전력을 생산하고 있습니다" (간접 언급)
≈ 0.6"태양광은 대표적인 재생에너지입니다" (질문과 무관)
≈ 0.0문맥 정밀도
Context Precision 90%+계산 개념: 답변에 실제로 필요한 문맥 수 ÷ AI가 사용한 전체 문맥 수
검색하여 참고한 문맥 중 실제 답변에 필요한 문맥이 얼마나 되는지를 측정합니다. 불필요한 문맥을 참고할수록 점수가 낮아지며, 검색 노이즈를 탐지하는 지표입니다.
검색 3건 중 관련 문맥 1건만 참고 (정확한 선별)
≈ 1.0검색 3건 중 관련 1건 + 부분 관련 1건 참고
≈ 0.6비관련 문맥만 참고하여 답변 생성
≈ 0.0문맥 재현율
Context Recall 90%+계산 개념: 검색된 실제 관련 문맥 수 ÷ 답변에 필요한 전체 문맥 수
답변에 필요한 모든 정보를 검색 결과에서 빠짐없이 찾아오고 있는지를 측정합니다. 필요한 문맥이 누락될수록 점수가 낮아지며, 검색 커버리지를 평가합니다.
필요한 문맥 [원자력 비중, 통계 기준연도] 모두 검색됨
≈ 1.0필요한 문맥 중 [원자력 비중]만 검색됨 (일부 누락)
≈ 0.6필요 문맥 대신 [재생에너지 보급 일자] 검색됨 (검색 실패)
≈ 0.0운영자와 이용자 모두를 위한 실질적인 변화를 만들어냅니다.
업무 부담 감소 및 응대 품질 표준화
담당자별 응답 편차를 줄이고 동일 기준의 답변을 24시간 자동 제공합니다. 반복 민원에 소요되던 인력과 시간을 핵심 업무에 집중할 수 있습니다.콘텐츠 활용도 및 접근성 향상
AI 기반 요약·번역·추천으로 이용자가 필요한 정보에 빠르게 접근합니다. 관리자의 콘텐츠 운영 효율성도 함께 증대됩니다.정책 대응력 강화 — 자동 최신화
자동 스케줄러가 최신 데이터를 주기적으로 수집·인덱싱하여 정책·제도 변경 사항을 AI 서비스에 즉시 반영합니다. 수동 업데이트 없이 최신성을 유지합니다.SLA 준수율 및 장애 대응 속도 향상
AI가 정상 범위를 스스로 학습하고 시차 상관관계 분석으로 장애를 선제 인지합니다. 추가 AI 서버 없이 CMS 연계만으로 즉시 적용 가능합니다.외국인 이용자 서비스 접근성 강화
영어·중국어·일본어 등 다국어 AI 자동 번역으로 언어 장벽 없이 정보를 제공합니다. 새로 등록된 콘텐츠도 자동 감지하여 번역 상태를 최신으로 유지합니다.대국민 정보 신뢰성 강화
Faithfulness·Answer Relevancy·Context Precision·Context Recall 4개 지표 90% 이상 목표로 지속 모니터링합니다. 평가 완료 후 RAG 모델을 주기적으로 재튜닝합니다.MC Smart AI는 기존 MC@CMS 환경 위에서 별도 AI 서버 없이 적용 가능합니다.
MC Smart AI로 공공기관 서비스를 지금 바로 혁신하세요
궁금하신 사항은 언제든지 문의해 주세요. 검토 후 신속히 연락드리겠습니다.