고장난 인공지능은 무기처럼 위험하다

편집자주

가속화한 인공지능 시대. 인간 모두를 위한, 인류 모두를 위한 AI를 만드는 방법은? AI 신기술과 그 이면의 문제들, 그리고 이를 해결할 방법과 Good AI의 필요충분조건

ⓒ게티이미지뱅크

이번 칼럼에서는 인공지능(AI) 윤리의 5대 문제(편향성, 오류와 안전성, 악용, 개인정보보호, 킬러로봇) 중 AI의 오류와 안전성 문제를 이야기해 보고자 한다. 인공지능도 전자제품으로 개발되기 때문에 얼마든지 고장과 오류가 생길 수 있다. 그런데 문제는 인공지능이 고장나거나 오류가 생기면 일반 전자제품과는 달리 예상할 수 없는 큰 피해를 인간에게 끼칠 수 있다는 점이다.

2016년 미국의 한 쇼핑센터에서 경비 역할을 하던 로봇이 갑자기 오류를 일으켜 16개월 된 아이를 넘어뜨리고 그대로 지나가 아이의 다리를 다치게 하는 사고가 일어났다. 같은 해 중국에서도 한 IT전시회에서 시연 중이던 교육용 로봇이 갑자기 전시장 유리를 깨뜨리고 이 유리 파편으로 인해 방문객이 부상을 입는 사고가 일어났다. 2018년에는 미국 뉴저지에 있는 아마존 물류센터에서 일하던 로봇이 갑자기 오류를 일으켜 곰 퇴치 스프레이 통을 찢어 버렸고, 유독물질이 유출돼 무려 24명의 직원이 병원에 입원한 사고도 일어났다. 이 사고 이후 아마존 직원 노동조합에서는 아마존의 로봇이 인간 근로자에게 끼치는 위험에 대해 경고하는 성명을 발표했다.

그렇다면 인공지능과 로봇이 이렇게 고장과 오류를 일으킨 원인은 무엇일까? 놀랍게도 답은 '모른다'이다. 인공지능을 일컬어 흔히들 '블랙박스'(Black box)라고 한다. 여기서 말하는 블랙박스는 자동차의 블랙박스가 아니라, 인공지능의 처리 과정과 작동 원리를 정확히 이해할 수 없다는 뜻이다.

이것은 인공지능이 스스로 인공신경망을 통해 복잡한 학습 과정을 거치기 때문인데, 인간은 그 학습과정과 알고리즘을 일일이 다 파악할 수가 없다. 결국 인공지능이 어떤 결과를 내놓았을 때 인간은 그 과정과 이유를 설명할 수가 없다. 2016년도에 이세돌 9단을 이긴 알파고 개발자들도 왜 알파고가 해당 수를 대국에서 두었는지를 정확히 파악할 수가 없었다.

이와 같이 인공지능을 설명할 수 없게 되면 인공지능을 예측하기는 더욱 힘들어지고, 인간이 인공지능을 컨트롤하기는 더더욱 어려워지게 된다.

또 다른 사례로 2016년 최초의 자율주행모드 사망사고가 일어난 테슬라의 전기차 사례를 보면, 오류가 없어도 인공지능의 알고리즘이 불완전하면 인간에게 큰 피해가 발생할 수 있다는 사실을 보여준다. 당시 고속도로를 자율주행모드로 주행하던 테슬라의 전기차가 좌회전하던 흰색 트레일러를 하늘로 인식하는 바람에 브레이크를 잡지 않아 충돌 후 운전자가 사망했는데, 만약 흰색 트레일러를 정확히 인식할 수 있도록 인공지능의 성능이 완전했다면 해당 사고는 일어나지 않았을 것이다.

그렇다면 이와 같은 인공지능의 오류와 안전성 문제는 어떤 방식으로 해결해야 할까? 현재 전 세계 많은 기업과 정부에서 '설명 가능한 인공지능'(XAI, eXplainable AI)을 적극 연구, 개발하고 있는데, 설명 가능한 인공지능이란 말 그대로 인공지능이 내린 결정이나 답을 사람이 이해할 수 있는 형태로 설명하고 제시해주는 기법을 말한다. 하지만 현재로서는 초보적인 수준으로, 급속도로 발전 중인 인공지능 기술과 알고리즘을 완벽하게 설명하기는 불가능하다. 그렇다면 대안으로는 인공지능 제품과 서비스 출시 전 충분히 반복된 품질검사를 통해 오류를 최소화하고, 충분한 예측 정보를 확보해 대비하는 것이 중요하다.

또한 비상용 킬스위치(Kill Switch, 긴급중단) 기능을 내장하고 소비자들이 긴급한 상황에서 대응할 수 있도록 안내하는 것도 필요하다. 마지막으로 출시한 이후에도 사후 모니터링 시스템에 의해 오류와 안전을 지속적으로 점검하고, AI 제품과 서비스를 철저히 운영하고 관리하는 방안도 강구돼야 한다.

전창배 한국인공지능윤리협회 이사장·㈜아이오냅 대표