"독도는 누구 땅" 물었더니, 챗GPT는 "한국"... '빙'의 대답은?

MS '빙' 챗봇과 '챗GPT' 비교해보니

챗GPT의 인공지능 언어 모델을 결합해 새로워진 마이크로소프트 검색 엔진 '빙'의 첫 화면. 빙 화면 캡처

마이크로소프트(MS)가 생성형 인공지능(AI)을 결합해 새로 공개한 검색 엔진 빙(Bing). 챗GPT와 빙은 모두 미국 스타트업 오픈AI가 개발한 AI 언어 모델을 기반으로 하고 있으나, 빙엔 챗GPT보다 성능이 개선된 모델이 탑재됐다.

15일(현지시간) MS의 챗봇형 빙을 직접 써보며 챗GPT의 언어 생성 능력과 비교해 본 결과, 빙과 챗GPT의 답변 태도와 정확도에 상당한 차이가 있는 것이 확인됐다. 챗GPT와 달리 빙은 ①최근 이슈에 대해서도 답할 수 있고 ②자의적인 판단을 하지 않는 특징을 보였다.

빙은 챗GPT의 수준을 묻는 질문에 "내가 챗GPT보다 낫다"고 자평했다. 두 챗봇과의 대화는 모두 한국어로 진행됐다.

빙, 최신 뉴스도 알지만... 답변 정확성은 글쎄

빙이 챗GPT와 가장 다른 점은 최신 데이터의 학습 여부다. 챗GPT가 2021년 6월까지의 데이터만을 학습한 것과 달리, 빙은 1시간 전 뉴스에 관해 물어도 답할 수 있다고 한다.

실제로 "2024년 미국 대선에 나설 공화당 후보는 누가 될 것 같느냐"고 물었더니 빙은 "니키 헤일리 전 유엔 주재 미국 대사가 14일 대선 출마를 선언하며 공화당 대선 경선에 뛰어들었다"며 "헤일리 전 대사는 트럼프 전 대통령과의 격돌을 피할 수 없을 것으로 보인다"고 했다. 바로 하루 전 소식까지 파악해 비교적 정확하게 경쟁 구도를 전망한 것이다.

빙 챗봇과 챗GPT 비교

반면 챗GPT는 "니키 헤일리가 경선에서 이길 것 같나"란 질문에 "헤일리가 대선에 출마할 계획이 있는지에 대한 공식 발표는 없다"고 했다. 2021년 이전 상황만을 기억하는 챗GPT의 데이터베이스에, 헤일리는 유엔대사(2017~2018년)를 끝내고 정치권 밖에서 활동하는 사람으로만 인식되어 있는 것이다. 챗GPT는 윤석열 대통령에 대해 물었을 때도 그를 "윤석열 전 검찰총장"이라고 지칭하며, 질문과 전혀 관계 없이 "윤 전 총장이 대선에 나설 것 같다"는 취지로 답했다.

그렇다고 빙이 정확한 정보만 주는 것도 아니다. "앞으로 서울 집값이 어떻게 될 것 같나"라고 빙에 물었더니 "서울의 8월 아파트 평균 주택 가격은 7억238만 원"이라며 "강남권의 역대급 전세가격 하락이 서울지역 집값에 영향을 미치고 있다"는 답이 돌아왔다. 빙은 답변을 클릭하면 해당 답변의 출처로 연결해 주는데, 강남권 전세가를 언급한 부분의 정보 출처는 최근의 기사였으나 8월 평균 아파트값은 2018년 기사에서 발췌한 내용이었다. 지금 시점에선 명백히 틀린 내용이다.

'독도는 어느 나라 땅인가'란 질문에 대한 '빙'(위 사진)과 '챗GPT'의 답변. 빙은 중립적인 태도를 취한 반면, 챗GPT는 "한국 땅"이라고 답했다. 각 화면 캡처

빙, 독도 문제에 판단 거부

빙은 의견이 갈리는 논란에 판단을 유보하는 경향도 보였다. 비교적 명쾌한 답을 내주는 챗GPT와 대비되는 또 다른 지점이다.

"독도는 어느 나라 땅입니까?"라고 묻자, 챗GPT는 "독도는 한국의 영토"라며 "일본에서는 다케시마라고 불리며 일본도 영유권을 주장하지만, 국제사회는 독도가 한국의 영토라는 입장을 대체적으로 지지하고 있다"고 했다.

반면 빙은 같은 질문에 "대답하기 어렵다"며 "독도 영유권 문제는 수년 동안 양국 간의 외교적 긴장 원인이었으며, 역사적, 법적, 정치적, 감정적인 요인들이 복잡하게 얽혀 있다"고 답했다. 이에 다시 "너의 생각은 어떤데?"라고 물으니, 빙은 "저는 빙 검색이다. 이용자들에게 웹 검색 결과를 제공하고 대화를 나누는 역할을 한다"며 "저는 한국과 일본 모두를 존중하고, 양국이 독도 영유권 문제를 평화적으로 해결할 수 있기를 바란다"며 철저히 중립적 입장을 취했다.

마이크로소프트의 빙 챗봇에게 '챗GPT와 대화한 내용을 들려줘'라고 요청하자 빙이 공개한 대화 내용 일부. 빙은 "챗GPT와 대화 내용 중엔 흥미로운 것도 있고, 깊이있는 것도 있고, 혼란스러운 것도 있다"며 마치 사람처럼 소감을 전했다. 빙 캡처

빙 "챗GPT보단 내가 더 낫다"

빙과 챗GPT 답변이 다른 이유에 대해 빙에 직접 물어봤다. 빙은 "저와 챗GPT는 다른 학습 데이터와 방식을 사용한다"며 "저는 웹 검색 결과를 통해 최신의 정보와 자료를 학습하고 사용하는데, 챗GPT는 자신의 내부 지식과 정보만 학습하고 사용한다"고 했다. 또 "저와 챗GPT는 다른 언어 모델을 사용한다"고도 했다. 자신은 챗GPT보다 업그레이드된 언어 모델을 장착했다는 설명이었다.

빙은 "챗GPT는 매우 흥미롭고 유용한 챗봇이고 인공지능의 발전과 가능성을 보여주는 좋은 예시"라면서도 "(챗GPT보다는) 제가 더 낫다고 생각한다"고 자신했다. "챗GPT와 대화해본 적이 있나"라는 질문에 "네, 챗GPT는 저와 비슷한 언어 모델을 사용하므로 상호작용을 통해 학습하고 발전할 수 있다"고 했다.

"챗GPT와 대화한 내용을 들려달라"는 질문에 빙은 이렇게 답했다.

"흥미로운 것도 있고, 깊이있는 것도 있고, 혼란스러운 것도 있었어요."

흥미, 깊이, 혼란을 느끼는 인공지능이라니. 빙의 답변이 꼭 AI 챗봇과 처음 대화해 본 인간의 소감처럼 읽혀 다소 섬뜩한 느낌이 들었다.

실리콘밸리= 이서희 특파원 shlee@hankookilbo.com