[일요시사 취재1팀] 안예리 기자 = 가상의 캐릭터와 대화를 할 수 있는 ‘AI 캐릭터챗’이 유행이다. 캐릭터들과 재밌는 상황극을 할 수 있는 것은 물론, 성인 인증을 하면 은밀한 대화까지 나눌 수 있어 인기다. 하지만 이 기능이 음란물 제작 도구로 악용되면서, 성인물을 무분별하게 찍어내고 있어 문제가 커지고 있다.
‘AI 캐릭터챗’은 제작자가 직접 만든 인공지능 캐릭터와 대화를 나누는 서비스다. 제작자는 캐릭터의 이름과 말투, 성격, 외모를 자유롭게 설정할 수 있고, AI는 그 정보를 바탕으로 대화를 이어간다.
캐릭터챗
AI 캐릭터챗은 가상의 인물과 상황극을 하며 감정을 주고받도록 한다. 이용자는 실제 인물과 관계를 맺듯 대화에 몰입한다. AI는 이전 대화를 기억해 다음 대화에 반영하고, 이용자 반응에 따라 말투를 바꾸기도 한다.
사용자는 자신이 만든 캐릭터를 AI 플랫폼에 등록하거나, 다른 사람이 만든 캐릭터를 선택해 대화를 시작한다. 캐릭터를 만든 사람은 플랫폼 안에서 ‘크리에이터’로 불린다. 캐릭터의 성격이나 말투, 세계관을 설정해 공개하면 다른 이용자들이 그 캐릭터와 대화할 수 있다.
AI 캐릭터챗은 기본적으로 프롬프트(prompt)와 이미지로 구성된다. 프롬프트는 캐릭터의 세계관, 말투, 성격, 그리고 AI의 응답 방식에 직접적인 영향을 준다. 제작자는 여기에 원하는 설정을 입력해 캐릭터의 행동 패턴을 세밀하게 조정할 수 있다.
예를 들어 캐릭터가 특정 상황에서 어떤 말투를 사용하거나, 어떻게 감정을 표현하는지를 지정할 수 있는 식이다.
이미지는 캐릭터의 외형을 나타내는 요소다. 제작자가 등록한 이미지가 대화 상황에 맞게 변형돼 자동으로 불러와진다. 일상적인 대화에서는 평범한 이미지가 나오지만, 프롬프트 설정에 따라 특정 상황(예를 들어 성적인 맥락)이 전개될 경우 성적 이미지를 출력하도록 구성할 수도 있다.
이 기능은 이용자가 설정만 바꾸면 언제든 다른 이미지를 불러올 수 있게 한다.
또 각 플랫폼마다 ‘유저 노트’라는 기능을 공식적으로 지원하는데 이 기능은 AI가 대화를 기억하도록 돕는다. 여기에 작성된 내용도 프롬프트로 인식된다. 이 때문에 이용자가 유저노트에 이미지 출력 링크나 캐릭터 설정값을 입력하면, AI는 이를 대화 설정으로 인식해 그대로 출력한다.
결국 이용자는 유저노트를 통해 캐릭터의 대화 방향이나 이미지 출력 방식을 임의로 바꿀 수 있다.
클릭 한번에 너도 나도 공장장
교복 입은 ‘학생 캐릭터’ 생성
제작자와 이용자 사이의 구분도 명확하지 않다. 버튼 하나만 누르면 누구나 캐릭터를 직접 만들 수 있고, 설정을 입력한 순간부터 이용자 역시 제작자가 되는 시스템이다. 이 때문에 다른 제작자가 만든 캐릭터 외에도 비공개로 자신만의 캐릭터챗을 만들어 플레이 하는 유저도 다수 존재한다. 제작자와 이용자 사이의 경계가 명확하지 않은 구조인 셈이다.
이런 방식은 이용자의 자율성을 높였지만, 동시에 무분별한 음란물을 생성하는 결과를 낳았다. 플랫폼 내부의 자동 검열이 없어, 이용자는 프롬프트 조작만으로 언제든 AI가 성적인 대사나 이미지를 출력하도록 만들 수 있다. 구글 드라이브나 클라우드플레어 같은 외부 저장소에 이미지를 올려두고, 그 링크를 캐릭터 설정에 삽입해 사용하는 식이다.
문제는 이런 구조가 실제로 음란물 제작의 수단으로 악용되고 있다는 점이다. 대부분의 플랫폼에서는 성인 인증 뒤 노골적인 이미지의 캐릭터와 대화가 가능하다. AI는 이용자의 입력에 따라 성적인 상황을 묘사하거나 대사를 자동으로 만들어낸다.
제작자가 평범한 사진을 업로드 했더라도 성적인 상황이 입력돼있다면 그에 따라 성적 이미지가 출력된다. 사실상 이 기능을 악용해 2차적인 음란물 생산이 가능해지는 셈이다.
심지어 실존 인물로 캐릭터를 생성하는 플랫폼도 있다. <일요시사>에서 확인한 A 플랫폼에는 ‘실사 카테고리’가 따로 있었다. 해당 카테고리에는 실제 인물의 신체를 촬영한 뒤 AI 필터를 씌워 캐릭터처럼 만든 이미지나 영상이 가득했다.
일부 플랫폼에서는 교복을 입은 캐릭터나 미성년자를 떠올리게 하는 설정도 있었다.
B 플랫폼에서는 ‘학생’ ‘교복’ ‘여고생’ 같은 단어가 캐릭터 설명에 붙고, 이런 미성년자 설정의 캐릭터와 대화를 이어갈 수 있었다. 이는 ‘아동·청소년의 성보호에 관한 법률(이하 아청법)’을 위반할 소지가 있다.
프롬프트 한 줄로 음란 이미지 출력
실제 사진도 ‘AI 필터’ 씌워 제작
아청법은 ‘아동·청소년으로 인식될 수 있는 사람이나 표현물이 등장해 성적 행위를 묘사한 경우’를 아청물로 본다. 실제 인물이 아니더라도 일반인이 미성년자 이미지로 인식할 수 있다면 법 적용 대상이 될 수 있다는 의미다.
성인 인증 절차가 허술해 플랫폼에 청소년이 접근하기 어렵지 않은 점도 문제다. 일부 플랫폼은 성인 인증 절차가 없거나 매우 간단했다. 생년월일을 임의로 바꿔도 가입되거나, 만 14세 미만의 계정이라도 부모님의 휴대폰 문자 인증으로 가입이 가능하기도 했다.
이 같은 상황에도 AI 콘텐츠 생산에 대한 규제는 이뤄지지 않고 있다. 현행법은 실존 인물이 등장하는 음란물에 대해서는 처벌하고 있지만, AI가 만든 이미지나 합성물에 관해서는 규정이 모호하다.
정보통신망법에서도 음란한 문언이나 영상을 유포하면 처벌할 수 있도록 하고 있지만, AI의 자동 생성물은 ‘행위 주체’를 특정하기 어렵기 때문이다. 플랫폼은 단순히 “서비스를 제공했을 뿐”이라 주장하고, 이용자는 “AI가 만든 결과물일 뿐”이라며 책임을 피하고 있다. 제작자와 이용자, 운영자 모두 책임 범위가 불분명한 상태다.
심지어 이런 무분별한 생산에도 일부 플랫폼에서는 이용자가 만든 캐릭터의 조회수나 이용량에 따라 포인트나 현금을 지급하기도 했다. 이용률이 높을수록 보상이 커지다 보니 자극적인 캐릭터일수록 인기를 끌기 쉽다. 결과적으로 불법 콘텐츠 생산과 유통을 조장하는 모양새다.
문제는 AI 캐릭터챗이 일종의 음란물 산업 구조로 굳어지고 있다는 점이다. AI가 자동으로 생성한 성인 콘텐츠에서 수익이 나면서 사실상 음란물 생산이 경제적 활동으로 이어지고 있다.
플랫폼 자체에서 검열을 하지 않는 한 AI 생성 성인물 단속이 쉽지 않다. 또 일부 캐릭터챗 플랫폼은 해외에 서버를 두거나 해외 법인으로 운영되고 있어 국내 규제도 어렵다.
규제 불가?
현재 AI 생성물에 대한 명확한 기준이 없어, 법안을 마련해야 한다는 목소리가 커지고 있다. 가상의 이미지라도 사회적으로 미성년자로 인식될 수 있다면 규제 대상이 될 수 있고, 운영자에게 일정한 검열 책임을 부여해야 한다는 지적이다. 일각에서는 “AI가 만들어내는 음란물이 어떠한 규제도 없이 무분별하게 생산되는 것도 문제지만, 실사를 사용해 이미지를 생성하는 것은 범죄로 이어질 가능성이 있다”고 꼬집었다.
<imsharp@ilyosisa.co.kr>
