브레이크 없는 질주: 한국 AI 신뢰성 점수 3 점의 의미

4 개월 동안 참가자들은 단 한 줄의 코드도 작성하지 않았다. 대신 그들은 질문했다. “왜 이 AI 를 써도 되는가.” 서울에서 열린 AI 신뢰성 해커톤 ‘트라이톤 (TRITON)’의 최종 발표 현장이었다. 기술 전공자는 데이터 편향이 초래할 차별을 분석했고, 심리학 전공자는 AI 대화가 사용자의 정신 건강에 미칠 영향을 평가했다. 5 억 원 이상의 비용과 1 년의 기획 기간이 투입된 이 대회는 단순한 공모전이 아니었다. 한국 AI 산업이 직면한 공백을 메우려는 실험이었다.

씽크포비엘 박지환 대표의 평가는 냉정하다. 한국의 AI 신뢰성 수준을 100 점 만점에 3 점으로 매겼다. 유럽은 30 점, 미국은 25 점, 중국조차 한국보다 앞서 있다. 2020 년 AI 챗봇 ‘이루다’가 성희롱과 혐오 발언을 쏟아낸 지 6 년이 지났지만, 한국에는 AI 신뢰성을 가르치는 학교가 단 한 곳도 없다. AI 기본법은 윤리적 선언 수준에 머물러 있고, 기업들은 유럽의 AI 법을 지키려면 어떻게 해야 하는지조차 모르는 상태다.

문제는 인재 부재다. 박 대표는 “액셀러레이터 만드는 데만 열심이다. 그런데 AI 를 잘 만드는 일과 이를 멈추게 하는 일은 다른 영역”이라고 말한다. 문제가 발생했을 때 어디에서, 왜 멈춰야 하는지를 기술적으로 설명할 수 있는 전문가는 시장에 사실상 존재하지 않는다. 유럽은 독일, 영국, 핀란드 등이 동시에 신뢰성 전문가 양성 과정을 개설했고, 미국은 230 개 기관이 연합해 인턴십·펠로우십을 운영한다. 태국은 유네스코와 협력해 2028 년까지 1 만 명의 AI 신뢰성 전문가를 육성하는 로드맵을 실행 중이다.

중국은 한발 더 나아갔다. AI 챗봇이 사용자의 감정을 조작하거나 극단적 선택을 유도하는 것을 원천 차단하는 규제안을 내놓았다. 미성년자와 시니어 등 감정 취약 계층을 보호하는 구체적 장치까지 법에 담았고, 위반 시 기업 퇴출이라는 강력한 페널티도 설계했다. 박 대표는 “중국은 발전과 통제의 균형이라는 기조 아래 현장의 문제를 그대로 법에 반영했다”고 평가한다.

반면 한국 기업들은 여전히 성능 경쟁에만 사활을 걸고 있다. GPU 확보, 모델 성능 향상, 해외 진출 속도 — 모두 중요한 목표지만, 브레이크 없이 액셀만 밟는 질주는 위험하다. 실제로 전 세계에서는 AI 와 대화다 극단적 선택을 한 사례가 보고되고 있다. 이루다 사태 당시에는 성희롱과 차별이 쟁점이었다면, 이제는 생명과 직결된 문제가 됐다.

트라이톤의 참가자들은 4 개월 동안 AI 를 만드는 데 시간을 쓰지 않았다. 데이터와 모델은 처음부터 제공됐다. 그들이 한 일은 위험 도출, 완화 전략 수립, 문제 발생 시 책임 거버넌스 구축이었다. 일반적인 해커톤이 2~3 일 동안 결과물을 만드는 행사라면, 트라이톤은 좌절과 방향 상실을 반복적으로 경험하는 장거리 대장정이었다. 최종 수상자 중에는 심리학과 학생도 포함됐다. 박 대표는 “AI 신뢰성은 코딩 실력이 아니라 판단의 구조를 요구하는 영역”이라고 설명한다.

이 격차를 방치할 경우 한국 기업들은 역차별에 직면한다. 유럽에 진출하려면 EU AI 법을 준수해야 하고, 미국 연방 조달 계약도 신뢰성 기준을 충족해야 한다. 국내 법은 선언 수준인데 해외 법은 구체적 실행 지침을 요구한다. 박 대표는 “이루다 사태 직후부터 AI 신뢰성에 대해 준비했다면 지금쯤 세계 최고 수준에 도달했을 것”이라며 아쉬움을 드러낸다.

하우스 오브 7 의 핵심 가치 프레임워크 (CVF) 는 이 문제에 명확한 렌즈를 제공한다. 투명성 (Truthfulness & Transparency) 은 AI 의 결정 근거를 설명할 수 있어야 한다고 요구한다. 정의와 공정성 (Justice & Fairness) 은 누가 혜택을 보고 누가 비용을 치르는지 묻는다. 비가해성 (Non-Maleficence) 은 해를 끼치지 않을 의무를 기술적으로 구현할 것을 요구한다. 지속가능성 (Sustainability) 은 분기별 실적이 아닌 10 년 후의 사회를 고려한다.

현재 한국 AI 산업은 이 중 어느 것도 충분히 충족하지 못한다. 기업이 AI 를 출시할 때 “왜 이 AI 를 허용했는가”를 설명할 책임자가 없다. 편향된 데이터로 학습된 모델이 특정 계층을 차별해도, 그 책임을 질 거버넌스가 없다. 신뢰성은 규제나 교육이나 기업 자발성 중 하나만으로 해결되지 않는다. 수요, 인력, 정책이 동시에 맞물려야 한다.

씽크포비엘은 이 공백을 메우려 한다. 데이터 편향 분석 클라우드 서비스와 AI 신뢰도 개발 도구 ‘리인 (RE:IN)’을 자체 개발했고, 트라이톤을 통해 인재 양성에 나선다. 신뢰할 수 있는 인공지능 국제 연대 TRAIN 을 창설했고, 태국·중국·인도네시아·우즈베키스탄 등에서 트라이톤 개최 제안이 잇따른다. 일본 지자체들도 AI 를 행정 책임 구조 안에 어떻게 편입시킬 것인가에 높은 인식을 보이고 있다.

박 대표는 “신뢰성 생태계란 신뢰성 역량을 갖춘 기업이 시장에서 오히려 경쟁 우위를 확보하고, 그 결과로 전문 인력이 지속적으로 유입되며 교육과 채용이 선순환을 이루는 구조”라고 정의한다. 그는 “지금이야말로 그 구조를 설계해야 할 시점”이라고 말한다.

한국은 반도체, 스마트폰, 전기차에서 세계 정상을 차지했다. 그러나 AI 신뢰성에서는 3 점이다. 이 격차를 어떻게 메울 것인가. 그리고 누가 그 책임을 질 것인가.