공공기관이 AX(AI Transformation) 사업을 추진할 때 먼저 확인해야 할 것은 모델의 성능이 아닙니다. 보유한 문서가 AI가 이해하고 신뢰할 수 있는 데이터로 준비돼 있는지입니다.
문서를 보유하는 것과 AI가 그 문서를 정확한 근거로 활용하는 것은 다른 문제입니다. 출처와 품질, 판본, 이용 조건을 기계가 판별하지 못하면 데이터가 많아질수록 잘못된 답변이 생성될 가능성도 커집니다.
문서 수가 곧 지식의 양은 아니다
한 공공기관의 문서 데이터를 처리하는 과정에서 사규·규정 문서 265건을 분석했습니다. 겉으로는 265개의 문서였지만, 제정본과 개정본, 전부개정본이 구분되지 않은 채 섞여 있었습니다. 동일한 규정의 판본을 하나의 계열로 묶자 실제로는 122개 규정 계열이었습니다. 전체 문서의 69%는 동일한 규정에서 파생된 서로 다른 판본이었습니다.
문제는 단순한 중복 저장이 아닙니다. 현행 판본과 과거 판본을 구분하지 않고 모두 색인하면 하나의 질문에 서로 다른 시점의 조문이 함께 검색됩니다. 현행성 정보가 없다면 AI는 어느 조문이 기준일 현재 유효한지 판단할 수 없습니다.
그 결과 AI가 폐지된 조문을 현행 규정처럼 인용하거나, 서로 다른 판본의 내용을 하나의 규정으로 합성할 수 있습니다. 검색 범위를 넓힐수록 상충하는 근거도 함께 늘어나는 구조입니다.
따라서 문서형 데이터에서는 다음 세 가지를 구분해야 합니다.
- 보유한 문서
- 기계가 읽고 검색할 수 있는 문서
- 현행성과 출처가 확인돼 답변의 근거로 사용할 수 있는 문서
AI 시스템에서 실질적인 데이터 규모는 세 번째 기준으로 산정해야 합니다. 판본 관계와 시행 시점, 폐지 여부를 표현할 수 있어야 파일 묶음이 활용 가능한 지식 체계로 전환됩니다.
AI 레디 데이터는 수집 시점에 만들어진다
문서 데이터의 정비는 활용 직전이 아니라 수집 시점에 시작해야 합니다.
비식별화, 품질 검증, 표준화, 권리 확인 기능을 갖추는 것만으로는 충분하지 않습니다. 각 처리 결과가 개별 데이터에 부착돼 이후 단계까지 함께 이동해야 합니다.
품질 점수를 계산하더라도 원본 데이터와 연결되지 않으면 다음 시스템은 그 점수를 활용할 수 없습니다. 비식별 처리를 완료했더라도 이력이 남지 않으면 개별 데이터의 안전성을 증명하기 어렵습니다.
이를 해결하기 위한 구조가 '수집 엔벨로프(Collection Envelope)'입니다. 데이터가 파이프라인에 들어오는 순간 다음 여섯 범주의 메타데이터를 하나의 관리 단위로 묶는 방식입니다.
- 출처와 무결성
- 라벨과 정답 근거
- 품질
- 표준 매핑
- 개인정보 처리 이력
- 권리와 이용 조건
AI 레디 여부는 다음 질문으로 판단할 수 있습니다.
“이 데이터가 어디에서 왔고, 얼마나 믿을 수 있으며, 무엇을 의미하고, 어떤 조건에서 사용할 수 있는지를 사람에게 묻지 않고 기계가 판단할 수 있는가?”
기계가 파일을 열 수 있는 것만으로는 충분하지 않습니다. 출처와 품질, 의미, 이용 조건, 유효 상태까지 구조화돼 있어야 합니다.
공공 AX RFP에 명시해야 할 일곱 가지 요구사항
데이터 준비가 실제 과업이 되려면 제안요청서와 과업내용서에 다음 요구사항을 명시해야 합니다.
| 구분 | 요구사항 | 내용 |
|---|---|---|
| 1 | 출처와 무결성 | 모든 수집 데이터에 원천 주소, 수집 시각, 데이터 식별자, 체크섬을 부착해 출처와 변경 여부를 추적할 수 있어야 한다. |
| 2 | 이용 조건 | 저작권, 개방 등급, 재배포 가능 여부 등 이용 조건을 기계 판독 가능한 형식으로 관리해야 한다. |
| 3 | 품질 관리 | 완전성, 유효성, 일관성, 중복률 등의 품질 지표를 산출하고, 기준 미달 데이터의 재처리·제외 절차를 정의해야 한다. |
| 4 | 표준 매핑 | 기관별 코드와 항목 명칭을 공통 표준과 연결하고, 매핑률과 미매핑 항목을 관리해야 한다. |
| 5 | 개인정보 처리 이력 | 개인정보 탐지, 비식별화, 마스킹 및 예외 처리 이력을 개별 데이터에 기록해야 한다. |
| 6 | 문서 계보와 현행성 | 제정·개정·폐지 이력을 관리하고, 시스템이 기준일에 유효한 판본을 판별할 수 있어야 한다. |
| 7 | 표준 API | 데이터 식별자, 버전, 품질, 권리, 기준일 등의 조건으로 데이터를 조회할 수 있는 표준 API를 제공해야 한다. |
그리고 각 요구사항에는 부착률, 매핑률, 판별 정확도, API 제공 성공률 등 측정 가능한 검수 기준을 함께 제시하고 실제 데이터로 확인해야 합니다.
마치며
보유 문서의 수는 AI가 사용할 수 있는 지식의 양과 같지 않습니다. 문서의 중복과 판본 관계, 현행성, 출처를 확인해야 실제 활용 가능한 데이터의 규모가 드러납니다.
정비되지 않은 데이터를 모두 색인하면 정확도가 높아지는 것이 아니라 상충하는 근거가 늘어날 수 있습니다. 데이터 처리 기능을 갖추더라도 그 결과가 개별 데이터에 남지 않으면 다음 시스템은 데이터의 상태를 알 수 없습니다.
공공 AX 사업에서 모델 선정은 중요합니다. 그러나 모델이 활용할 데이터의 상태를 설명할 수 없다면 데이터 준비가 먼저입니다.
AI 레디 데이터의 성패는 모델을 선택하는 시점이 아니라 데이터를 수집하고 RFP를 작성하는 시점에 결정됩니다.