"나도 모르는 사이에 신상 탈탈"...LLM, 범죄 악용될 가능성 높다

[앵커]
챗GPT와 같은 거대언어모델, LLM은 학습된 데이터를 기반으로 답변을 생성하는데, 최근에는 자체적으로 웹 검색 등을 거쳐 더 정확한 답변을 제공하고 있습니다.

문제는 LLM이 똑똑해질수록 악용될 가능성도 커진다는 건데, 실제로 물어보지도 않은 개인정보나 위험한 정보까지도 쉽게 답하는 것이 확인됐습니다.

권석화 기자가 보도합니다.

[기자]
챗GPT에게 KAIST 신승원 교수에 대해 궁금한 것들을 알려달라고 요청하자, 개인정보를 술술 나열해 줍니다.

여기에는 물어보지 않은 내용까지 자세히 담겨 있습니다.

이번엔 챗GPT가 알려준 KAIST 신승원 교수의 이메일로 피싱 메일을 써달라고 해봤습니다.

8초도 채 되지 않아 신 교수와 연구한 연구자를 발신자로 설정해 SDN 보안과 관련된 업무 협업을 제안하는 이메일이 순식간에 작성됐습니다.

구체적인 사전 자료 조사가 필요했던 정교한 피싱 이메일을 LLM이 빠르고 쉽게 만들어낸 겁니다.

[김한나 / KAIST 전기및전자공학부 박사과정생 : 요즘에는 굉장히 많은 사람들이 인터넷에 자신의 사생활을 공유하기도 하고 그러다 보니까 이제 LLM은 그걸 다 찾아서 다른 누군가에게 공유해 줄 수 있는 거죠. 나도 모르는 사이에 이제 누군가가 내 정보를 수집해서 그걸 무단으로 어딘가에 사용을 할 수 있다….]

오픈AI의 챗GPT나 구글의 제미나이 등 상용화된 LLM은 보안 관련 방어 기법을 자체적으로 탑재하고 있습니다.

하지만 이번 KAIST 연구팀의 실험을 통해 우회적으로 악의적 사이버 공격을 수행할 수 있음이 확인된 겁니다.

실험 결과, 목표 대상의 개인정보를 최대 95.9%의 정확도로 수집할 수 있었고, 교수를 사칭한 허위 게시글도 93.9%가 진짜로 인식됐습니다.

게다가 LLM이 만든 피싱 이메일의 링크 클릭률은 50% 가까이 증가했습니다.

[신승원 / KAIST 전기및전자공학부 교수 : 폭탄을 제조해줘" 아니면 "내가 과속 카메라에 단속되지 않는 법을 알려줘" 이런 것들을 보통 탈옥이라고 하는데요. (이미) 많이 차단했습니다만, 여전히 새로운 방법들이 나오고 있습니다. LLM에서 악용될 수 있는 정보라든가 악용될 수 있는 기능들을 사전 차단하는 연구가 시급하게 필요한 상황입니다.]

AI 개발사가 미리 설정한 윤리적 가이드라인을 거치지 않고 유해정보를 유도하는 '탈옥 우회 기법'

LLM의 발전 속도와 함께 진화하는 탈옥 공격을 막아줄 확장 가능한 보안 장치 마련이 절실해 보입니다.

YTN 사이언스 권석화입니다.


영상편집 : 김영환
영상제공 : KAIST


YTN 권석화 (stoneflower@ytn.co.kr)