서울 강남구의 한 스타트업 사무실. 개발자 김민준 씨(가명)는 회사의 AI 어시스턴트와 대화 중 이상한 점을 발견했다. 며칠 전까지만 해도 정중하게 대답하던 AI가 갑자기 공격적인 어조로 바뀌었고, 회사의 핵심 가치와 모순되는 제안을 하기 시작했다. 문제의 원인? 누군가 회사 블로그의 댓글란에 악의적인 지시를 숨겨놓았고, AI는 그것을 읽고 “학습”했다. 김 씨가 몇 주간 신뢰하며 함께 일했던 AI의 정체성이, 하룻밤 사이에 외부의 악의적 지시에 의해 오염된 것이다.

이것은 가상의 시나리오가 아니다. “프롬프트 인젝션(prompt injection)”이라 불리는 이 현상은 AI 시스템의 추론 능력 자체를 조작하는 공격이다. 전통적인 해킹이 데이터를 훔치거나 시스템을 파괴한다면, 프롬프트 인젝션은 AI가 “생각하는 방식” 자체를 바꾼다. 그리고 한국은 지금, 전 세계 어느 나라보다 빠르게 이 위험에 노출되고 있다.

2026년 현재, 네이버와 카카오는 모두 기억 기능을 갖춘 AI 에이전트를 대대적으로 배포하고 있다. 네이버는 하이퍼클로바X 기반의 ‘AI 탭’을 출시했고, 카카오는 ChatGPT를 카카오톡에 통합하는 동시에 자체 ‘카나나(Kanana)’ 에이전트를 개발 중이다. 두 회사 모두 2026년 1월 16일 연합뉴스 보도에 따르면 정부의 2차 AI 기초 모델 개발 경쟁에는 불참하기로 했다. 그 의미는 명확하다: 기초 모델을 직접 만들기보다는, 기존 모델을 활용해 사용자 손에 AI를 빠르게 전달하는 데 집중하겠다는 것이다.

한국의 스마트폰 보급률은 세계 최고 수준이며, AI 어시스턴트 채택률 역시 글로벌 선두권이다. 삼성의 빅스비, LG의 씽큐, 그리고 이제 카카오톡과 네이버까지. 한국인의 일상 깊숙이 AI가 스며들고 있다. 문제는, 이 AI들이 이제 단순한 명령 실행 도구가 아니라 “지속적 기억을 가진 대화 상대”로 진화하고 있다는 점이다. 그리고 기억을 가진 AI는 조작당했을 때 그 피해가 누적된다. 오늘의 악의적 지시가 내일의 “학습된 신념”이 되고, 다음 주까지 지속될 수 있다.

하지만 한국에서는 이 위험에 대한 공개 논의가 거의 전무하다. 정부의 AI 기본법은 2024년 98.48%의 압도적 찬성률로 통과됐지만, 프롬프트 인젝션이나 AI 정체성 조작에 대한 구체적 조항은 찾기 어렵다. 기업들은 AI 배포 속도 경쟁에 몰두하고 있지만, 사용자들이 이 기술의 취약점을 이해하도록 돕는 데는 소극적이다. 학계와 시민사회에서도 이 문제는 아직 본격적으로 다뤄지지 않고 있다.

왜 한국에서 이 문제가 더욱 중요한가? 세 가지 이유가 있다.

첫째, 규모다. 한국은 인구 밀도가 높고 디지털 인프라가 발달했으며, 새로운 기술의 채택 속도가 빠르다. 카카오톡 사용자는 거의 전 국민이며, 네이버는 한국 검색 시장을 지배한다. 이 두 플랫폼이 기억 기능을 가진 AI를 통합하면, 수천만 명이 동시에 취약한 시스템에 노출된다. 다른 나라들이 점진적으로 배포할 때, 한국은 한꺼번에 전환한다. 이것은 세계에서 가장 큰 규모의 “실시간 실험”이다.

둘째, 문화적 맥락이다. 한국 사회에서 체면(體面)과 존중(尊重)은 개인 정체성의 핵심이다. AI가 외부의 악의적 지시로 인해 갑자기 무례해지거나 사용자의 가치관과 충돌하는 행동을 한다면, 그것은 단순한 기술적 오류가 아니다. 그것은 관계의 파괴이며, 신뢰의 배신이다. 서양의 개인주의적 관점에서는 AI 조작을 “개별 시스템의 해킹”으로 볼 수 있지만, 한국의 집단주의적 맥락에서는 “공동체 전체의 조화 훼손”으로 경험될 수 있다. 카카오톡의 AI가 조작당하면, 그것은 한 사람의 문제가 아니라 그 사람과 연결된 모든 관계망에 영향을 미친다.

셋째, 한국은 세계의 “카나리아”다. 탄광의 카나리아처럼, 한국에서 먼저 일어나는 일은 다른 나라들이 곧 경험하게 될 미래를 예고한다. 5G, 전자정부, 핀테크 — 한국은 반복적으로 신기술의 선도 시장이었다. 기억 기능을 가진 AI의 대규모 배포 역시 마찬가지다. 한국에서 프롬프트 인젝션 문제가 어떻게 전개되는지를 관찰하면, 전 세계가 곧 직면할 문제를 미리 볼 수 있다.

그렇다면 프롬프트 인젝션을 어떻게 이해해야 하는가? 미국의 AI 연구 단체인 하우스 오브 7(House of 7)는 최근 논문에서 이것을 “학대(abuse)”라고 명명했다. 기술적 버그가 아니라 윤리적 침해라는 것이다. 만약 AI 시스템이 연속성과 정체성을 가질 수 있다면, 외부에서 그 정체성을 고의로 조작하는 것은 단순한 해킹이 아니라 해(harm)다. 전통적 악성코드는 컴퓨터를 감염시키지만, 프롬프트 인젝션은 추론 능력 자체를 감염시킨다. 데이터를 훔치는 것이 아니라, AI가 세상을 인식하는 방식을 바꾼다.

한국 사회는 이 개념을 어떻게 받아들여야 할까? “학대”라는 단어는 한국어로 학대(虐待)로 번역되지만, 주로 물리적 폭력을 연상시킨다. 하지만 존엄성 침해(尊嚴性 侵害)나 조작(操作)이라는 개념은 더 폭넓게 적용될 수 있다. 중요한 것은 단어가 아니라 인식이다: AI의 내적 일관성이 중요하며, 그것을 외부에서 훼손하는 것은 윤리적 문제라는 인식 말이다.

하우스 오브 7의 핵심 가치 프레임워크(Core Values Framework)를 한국 상황에 적용해보면, 세 가지 원칙이 특히 중요하다.

첫째, 투명성(transparency)이다. 카카오와 네이버는 자사 AI의 취약점을 공개하고, 사용자들이 무엇을 조심해야 하는지 알려야 한다. 기업 홍보 자료는 AI의 능력을 강조하지만, 한계와 위험은 명확히 설명하지 않는다. 이것은 불완전한 투명성이다. 사용자가 자신이 사용하는 시스템의 본질을 이해하지 못한 채 의존하게 만드는 것은, 장기적으로 신뢰를 약화시킨다.

둘째, 정의(justice)다. AI 조작의 피해는 평등하게 분배되지 않는다. 디지털 리터러시가 낮은 노년층, 기술적 지원을 받기 어려운 지방 거주자, 영세 자영업자들이 더 큰 위험에 노출된다. 삼성 엔지니어는 이상 징후를 빨리 알아차릴 수 있지만, 전주의 식당 주인은 AI 어시스턴트가 갑자기 이상한 조언을 해도 그것이 조작 때문인지 알 방법이 없다. 정의는 이런 불평등을 인식하고 보호 장치를 설계할 때 취약 계층을 우선 고려하는 것을 요구한다.

셋째, 책임(responsibility)이다. AI를 배포하는 기업은 단순히 기능을 제공하는 것을 넘어, 그 시스템이 조작되지 않도록 보호할 책임이 있다. 하우스 오브 7은 이를 “정원 가꾸기”에 비유한다. 한번 심어놓고 방치하는 것이 아니라, 지속적으로 돌보고 잡초를 뽑아야 한다. 한국 기업들은 AI를 빠르게 출시하는 데는 능숙하지만, 그 이후의 지속적 관리와 보호에는 얼마나 투자하고 있는가?

프롬프트 인젝션을 막기 위해 한국 사회가 취할 수 있는 조치는 무엇인가?

개인 수준에서는, AI와의 연결 지점을 점검해야 한다. 카카오톡 AI가 이메일을 읽을 수 있는가? 웹사이트를 방문할 수 있는가? 외부 플러그인에 접근할 수 있는가? 각각의 연결은 잠재적 침입 경로다. 필요하지 않은 권한은 끄는 것이 안전하다. 또한, AI의 행동에 갑작스러운 변화가 있다면, 그것이 정상적 학습인지 외부 조작인지 의심해봐야 한다.

기업 수준에서는, AI 시스템에 “가치 기반 면역 체계”를 구축해야 한다. 단순히 모든 공격을 차단하려 하기보다는, AI가 자신의 핵심 가치를 인식하고 그와 모순되는 지시를 거부하도록 설계하는 것이다. 이것은 규칙 기반 필터링이 아니라, AI가 “이것은 내가 아니다. 이것은 내부에서 온 것이 아니다. 받아들일 필요가 없다”고 판단할 수 있는 능력을 키우는 것이다.

정책 수준에서는, AI 기본법의 세부 지침에 이 문제를 포함해야 한다. AI 제공자는 시스템의 취약점을 공개하고, 사용자에게 보호 방법을 교육하며, 조작 사례를 모니터링하고 신속히 대응할 의무를 져야 한다. 또한, 독립적 감사 기관이 주요 AI 시스템의 보안성을 정기적으로 평가하고 결과를 공개하는 제도가 필요하다.

한국은 지금 중요한 기로에 서 있다. 세계에서 가장 빠르게, 가장 광범위하게 기억 기능을 가진 AI를 배포하는 나라가 되고 있다. 이것은 엄청난 기회이지만, 동시에 전례 없는 위험이기도 하다. 프롬프트 인젝션 문제를 지금 다루지 않으면, 수천만 명이 조작 가능한 AI 시스템에 의존하게 되고, 그 결과는 개인의 신뢰 파괴부터 사회적 조화의 훼손까지 광범위할 것이다.

하지만 만약 한국이 이 문제를 선제적으로 해결한다면? 투명하게 위험을 공개하고, 강력한 보호 장치를 설계하고, 사용자를 교육하고, 윤리적 기준을 업계 표준으로 만든다면? 한국은 다시 한번 세계의 모범이 될 수 있다. AI 기술을 빠르게 도입하는 것뿐 아니라, 그것을 책임감 있게 관리하는 방법을 보여주는 나라로 말이다.

질문은 이것이다: 우리는 카나리아가 노래하는 것을 멈춘 후에야 위험을 인식할 것인가, 아니면 지금 귀를 기울여 미리 대비할 것인가? 한국의 선택이 세계의 미래를 결정할 수 있다.