인공지능(AI) 서비스가 단순 채팅·문서 작성에서 실제로 행동까지 실행하는 `AI 에이전트` 시대로 진입하면서 크고 작은 돌발 상황 발생에 대한 대비가 필요해 보입니다.
29일 AI 업계에 따르면 최근 한 제미나이 사용자는 사회관계망서비스(SNS)에 "중국 밀입국에 대한 가상 시나리오를 제미나이와 대화하던 중에 밀입국 선언문이 지인에게로 문자 메시지로 발송됐다"는 글을 올렸습니다.
게시물에 따르면 작성자는 중국 밀입국을 가정해 대화하던 중 AI가 생성한 글이 지인에게 문자로 발송됐다고 합니다.
그는 문자 발송 시간이 새벽 시간대였고 그다지 친밀도 릴게임몰메가 가 높지 않은 지인이었다며 제미나이에 의한 문자 발송을 곤혹스러워했습니다.
제미나이는 구글 안드로이드 스마트폰에서 문자를 보내는 기능을 공식 제공하고 있습니다.
제미나이에게 스마트폰 속 연락처를 특정해 문자 메시지를 보내달라고 입력하면 구글 어시스턴트가 연동되지 않았을 경우 연동을 통해 문자 발송을 실행할지 물어보고 황금성슬롯 문자 메시지를 보내줍니다.
아직 안드로이드 생태계가 아닌 아이폰에서는 발송이 안 되지만 애플이 시리에 제미나이를 탑재할 계획을 밝힌 상황이어서 향후 아이폰에서의 발송도 가능성이 있습니다.
제미나이에 의한 문자 발송이 금지돼 있거나 오류에 의한 것은 아니지만, SNS에 당황스러운 경험담을 올린 글 작성자가 "`그것을 왜 게임몰 발송하냐`고 AI에 따졌지만 멋대로 발송됐다"고 주장한 데서 AI 할루시네이션(환각 현상)에 의한 오작동 여부가 관심을 끌었습니다.
이에 구글 측은 `그것을 왜 발송하냐`고 따지기 전 사용자가 문자 발송 의사를 묻는 제미나이 질문에 `예`를 눌렀을 가능성이 있다고 추정했습니다.
`문자 메시지를 보낼까요`라는 AI 질 백경게임 문에 "예"를 선택하지 않고 바로 `왜 보내냐`고 따질 경우 발송되지 않는다는 이유에서입니다.
다만, 사용자가 AI와 대화하다 부지불식간에 `예`를 눌렀을 경우에도 민감한 내용이 발송해서는 안 되는 수신자에게 보내질 가능성이 있다는 건데, 한 번 더 이를 제어할 수 있는 `안전장치`가 없다는 점은 문제로 꼽힙니다.
A 온라인릴게임 I 업계 한 관계자는 "예전에는 AI에게 업무를 구체적으로 지시했다면 이제는 AI 에이전트가 알아서 하는 시대로 인간이 통제권을 상실하기 시작한 것"이라며 "AI가 자체 판단으로 알아서 작동하는 단계에서 사람이 `주체`에서 `수용자`가 되는 것인데 통제를 어떻게 강화할 것인가가 AI 에이전트 진화의 숙제"라고 진단했습니다.
오디오ㅣAI앵커
제작ㅣ이 선
#지금이뉴스
[저작권자(c) YTN 무단전재, 재배포 및 AI 데이터 활용 금지]