'관계 형성' 위한 생성 AI 챗봇 부상
이탈리아 "미성년자에 유해" 금지령
'가상 동반자'를 지향하는 생성형 인공지능 기반 챗봇 서비스 '레플리카'의 애플리케이션 화면. 앱스토어 캡처
지난달 이탈리아 정부 데이터보호청이 실리콘밸리 인공지능(AI) 챗봇 서비스 업체 '레플리카'(Replika)에 대해 사실상의 서비스 금지령을 내렸다. 레플리카는 맞춤형 아바타와 대화를 나눌 수 있는 서비스로, 회사는 "동반자 역할을 하는 챗봇"이라고 소개하고 있다.
레플리카는 챗GPT와 같은 생성형 AI로 구동되는데, 정보를 제공하는 데 능한 챗GPT와 달리 이용자와 교감하고 관계를 형성하는 데 초점을 맞춘다. 이용자는 원하는 대로 아바타의 외모를 만들 수 있고, 아바타는 대화를 할수록 이용자 스타일에 맞는 답변을 내놓는다. 일정 금액을 내면 음성통화와 더불어 음란한 대화나 사진 등을 주고받을 수도 있다.
이탈리아 정부는 서비스 금지령에 대해 "레플리카가 정서적으로 취약한 상태에 있는 이들에게 위험할 수 있다"고 이유를 설명했다. AI와의 관계에 과몰입하거나, 대화 중 유해한 콘텐츠에 노출될 수 있다는 점 등이 이유로 지목됐다. 테크 전문매체 테크크런치는 "레플리카 같은 서비스가 미성년자 등에게 미칠 영향을 걱정하는 목소리가 많았지만, 공식 규제에 나선 건 이탈리아가 처음"이라고 했다.
2014년 개봉한 영화 '그녀'(Her)는 스스로 생각하고 말하는 AI 사만다에게 의지하다가 결국 사랑에 빠지는 남자의 이야기를 다뤘다. 이 영화 속의 사만다처럼 '가상 동반자'를 자처하는 AI 서비스는 최근 부쩍 늘고 있다. 아바타와 대화할 수 있는 서비스는 과거에도 있었지만, 생성 AI 결합을 통해 '진짜 사람' 같은 말을 하게 되면서 이용자가 몰리는 것이다.
대표적인 서비스가 레플리카다. 19일(현지시간) 로이터통신에 따르면, 레플리카는 최근 유료 가입자만 25만 명을 넘어섰다고 한다. 또 일론 머스크 테슬라 최고경영자(CEO) 같은 유명인사의 말투를 흉내내는 AI 챗봇 서비스 캐릭터닷에이(Character.ai)는 지난해 월 1만 명도 안 됐던 방문자 수가 올 1월 6,500만 명을 돌파했다.
레플리카 측이 이용자에게 보낸 유료 서비스 구독을 권하는 메시지. 레플리카는 연간 약 70달러를 내면 아바타와 음성대화를 주고받을 수 있다. 레플리카 화면 캡처
그러나 인기가 높아질수록 부작용에 대한 우려도 커지는 추세다. 생성 AI와의 관계 형성은 상호작용을 통한 정서적 안정에 도움이 될 수도 있지만, 이용자에 맞춰 개인화한 데다 언제 어디서든 스마트폰만 있으면 접근할 수 있다는 점에서 중독으로 이어질 가능성이 크기 때문이다.
실제로 레플리카는 이탈리아 당국의 조치가 나온 이후 음란 콘텐츠 공유를 차단했는데, 이미 AI와의 성적 대화에 과몰입해있던 성인 이용자들로부터 거센 항의를 받은 것으로 알려졌다. 레플리카는 "음란한 대화는 의도하지 않은 부작용이었다"고 했으나, 한 전직 엔지니어는 "음란한 대화는 성인 구독자를 늘리기 위한 회사 측의 전략이었다"고 폭로하기도 했다.
또 생성 AI는 사실이 아닌 것을 사실처럼 꾸며서 얘기하거나 부정확한 정보를 제공하는 것이 고질적인 문제로 꼽힌다. 이는 판단력을 길러가는 과정에 있는 미성년자에겐 특히 유해할 수 있다.
또 대화형 서비스의 특성상 이용자들은 민감한 개인정보를 언급할 가능성이 크다. 이에 대해 레플리카 측은 "개인정보는 100% 안전하다"고 말하지만, 대화 내용 가운데 개인정보가 아닌 것만을 걸러내 저장하는 건 불가능에 가깝다는 게 전문가들의 지적이다.
기사 URL이 복사되었습니다.
댓글0