신고 없이 처벌한다? 오버워치, AI에 ‘나쁜 말’ 가르치는 중

<오버워치>가 악성 채팅 유저를 제재하기 위해 새로운 시스템을 실험하고 있다. 

<오버워치> 디렉터 제프 카플란은 3일 보도된 해외 게임 웹진 코타쿠와의 인터뷰에서 악성 채팅 유저를 제재하기 위해 AI에게 머신 러닝(Machine Learning)을 통해 ‘나쁜 말’을 가르치고 있다고 밝혔다. 제프 카플란은 실험 중인 시스템의 목표가 유저들의 신고 없이도 ‘나쁜 말’을 사용하는 악성 유저를 포착해내는 것이라고 설명했다. 

제프 카플란은 지난 1월 신고 및 제재 시스템 강화 이후 악성 채팅이 17% 감소하고 악성 채팅 유저 신고율이 20% 증가하는 등 해당 시스템이 제 기능을 다 하고 있지만, 아무리 신고 시스템을 강화해도 ‘신고 처리의 늦음’, ‘시스템의 신뢰도 낮음’, ‘사후 처리(악성 채팅이 발생한 뒤에 처리됨)’ 등 근본적인 문제를 해결해주지는 못한다고 설명했다. 

그래서 제프 카플란은 <오버워치> 팀이 다음으로 준비해야 할 것이 어떤 유저가 ‘나쁜 행동’을 하면 신고가 들어오기 전에 해당 행동을 포착해내는 것이라고 밝혔다. 그는 회사가 이미 AI에게 영어와 한국어를 비롯한 다양한 언어를 가르치고 있으며, 장기적으로는 AI가 ‘악성 채팅’ 뿐만 아니라 ‘악성 게임 플레이’가 어떤 것인지 알게 만드는 것을 희망한다고 밝혔다. 

다만 제프 카플란은 AI를 만드는 것이 사람인 만큼 문맥을 이해하고 판단하는 데 어려움을 겪을 수 있다고 밝히며, 현재 시점에서는 블리자드의 내부 규정에 의거해 의심할 여지 없이 처벌할만한 채팅만을 걸러낼 수 있도록 조정했다고 설명했다. 또한 친구들과의 채팅이나 귓속말 등은 필터링 하지 않으며, 규정 위반 행위를 반복하는 것에 대해서만 AI에 의한 처벌이 이뤄질 것이라고 밝혔다.