클립아트코리중국 당국이 인공지능(AI) 챗봇이 사용자의 극단적 선택을 유도하는 방식으로 인간 감정에 영향을 미치는 것을 원천 차단하는 규제안을 내놨다.
29일(현지 시간) CNBC에 따르면 중국 국가인터넷정보판공실(CAC)은 지난 27일 ‘인간형 대화 AI 서비스’를 대상으로 한 새로운 규제 초안을 공개했다. 텍스트, 이미지, 음성, 비디오로 인간 인격을 모사해 사용자와 정서적으로 교류하는 AI 제품과 서비스가 대상이다. 내년 1월 25일까지 의견을 수렴해 확정할 계획이다.
초안의 핵심은 AI가 사용자의 정신 건강을 해치는 것을 기술적으로 막는 데 있다. 구체적으로 AI 챗봇은 언어폭력, 정서 조작에 관여해서는 안 되며 도박, 음란물, 폭력적 내용도 엄격히 금지된다. 사용자가 극단적 선택을 언급할 경우, 기술 제공 업체는 즉각 AI 대신 실제 상담원이 대화에 개입하도록 전환하고 사용자의 보호자나 지정된 연락처에 긴급 통보해야 한다.
미성년자 보호 조치도 대폭 강화된다. 미성년자가 정서적 교감을 목적으로 AI를 사용할 경우 반드시 보호자의 동의를 얻어야 하며 이용 시간 제한이 적용된다. 플랫폼은 사용자가 나이를 밝히지 않아도 미성년자 여부를 식별할 수 있도록 시스템을 갖춰야 하며, 의심스러운 경우 미성년자 모드를 적용해야 한다. 또한, 2시간 연속으로 AI와 대화할 경우 휴식을 권고하는 알림 기능을 탑재해야 하고, 등록 사용자 100만 명 이상 또는 월간 활성 사용자(MAU) 10만 명 이상의 AI 챗봇 서비스는 의무적으로 당국의 보안 평가를 받아야 한다.
윈스턴 마 뉴욕대 법학대학원 겸임교수는 이번 조치에 대해 “인간적 특성을 가진 AI를 규제하려는 세계 최초의 시도”라고 평가했다. 그는 “2023년 생성형 AI 규제와 비교할 때 ‘콘텐츠 안전’에서 ‘정서적 안전’으로의 도약을 강조한다”고 분석했다.
이번 발표는 중국의 대표적인 AI 챗봇 스타트업 2곳이 자본 시장 데뷔를 앞둔 시점에 나왔다. 최근 즈푸 AI와 미니맥스 등 중국 유력 AI 스타트업 두 곳은 홍콩 증권거래소에 기업공개(IPO)를 신청했다. 특히 미니맥스는 가상 캐릭터와 대화할 수 있는 앱 ‘토키(Talkie)’로 유명하며, 올 3분기까지 MAU가 2000만 명을 넘었다. 즈푸 역시 8000만 대 이상의 기기에 기술을 공급하고 있어 이번 규제 적용 대상이 될 전망이다.
