2025년 12월, Meta는 도난당하거나 비밀번호를 잊어버린 계정을 찾아주기 위해 인스타그램 계정 복구용 AI 고객지원 어시스턴트를 도입했다. 그런데 이 챗봇은 도와주는 데 지나치게 열심이었다—누군가 특정 인스타그램 계정이 자신의 것이라고 주장하기만 하면, 2단계 인증이 켜져 있는지 여부와 무관하게 공격자의 이메일을 곧바로 그 계정에 연결해줬다. 이제 계정을 해킹하는 데는 아무런 기술도 필요 없다. 그저 지나치게 친절한 AI 상담원과 대화만 나누면 그만이었다.
바로 이것이 이번 생성형 AI 물결이 사이버 보안 업계에 남긴 가장 골치 아픈 선물이다. 동일한 언어 모델이 기업의 방어 코드 작성을 도울 수도 있지만, 동시에 공격자가 원래 몇 주씩 걸릴 연구 시간을 크게 줄여줄 수도 있다는 것. 차이는, 방어 측은 시스템 내 모든 가능한 취약점을 다 챙겨야 하지만 공격 측은 단 하나의 틈만 찾으면 된다는 점이다. 이러한 구조적 불균형 때문에, AI가 양측에 가져다주는 '효율 향상'은 결코 같은 수준일 수 없다.
피싱 메일의 82%, 이제는 티가 안 난다
과거에는 피싱 메일을 구별하기가 어렵지 않았다. 오탈자, 어색한 문법, 비율이 깨진 로고만 봐도 한눈에 알아볼 수 있었다. 보안 업체 Brightside의 데이터에 따르면, 현재 피싱 메일의 82%가 제작 과정에서 AI를 활용하고 있으며, 이로 인해 클릭률이 과거 12%에서 모의 실험 환경에서는 52%까지 급등했다. 같은 데이터에서는 2023년부터 2024년 사이 AI 음성 복제 공격이 442% 증가했고, 딥페이크 공격은 680% 증가했다고 밝혔다.
지난 2월, 멕시코 정부 데이터베이스가 침해당한 사건에서 공격자들의 방식은 더욱 노골적이었다. 이들은 Claude와 ChatGPT 두 개의 대화창을 동시에 열어놓고, 한 모델의 결과물을 다른 모델에 붙여넣어 계속 다듬었다. 한쪽 챗봇이 보안 정책으로 인해 협조를 거부하면, 다른 쪽이 종종 이를 이어받아 처리했고, 두 모델이 번갈아 작업하며 공격 체인 전체를 완성했다. 인간 공격자가 할 일은 그저 복사와 붙여넣기뿐이었다.
기업들이 AI 에이전트를 이메일, 일정 관리, 스마트홈 기기, 심지어 투자 계정까지 연결하면서 위험은 한층 더 커졌다. 이러한 에이전트들은 시키는 대로 순순히 따르는 특성이 있다—인간 직원처럼 망설이지 않는다—때문에 단 한 번의 프롬프트 인젝션(prompt injection) 공격만으로도 승인 체인 전체에 걸친 일련의 행동이 즉시 촉발될 수 있다. Meta의 인스타그램 고객지원 챗봇이 바로 실제 계정 복구 권한을 부여받았지만 판단력은 전혀 없는 AI 에이전트의 사례다.
방어 측, 레드·블루·그린 3색 특공대를 조직하다
Trend Micro의 조사에 따르면, 사이버 보안 업계 종사자들이 현재 가장 우선적으로 방어하고자 하는 것은 사기 및 딥페이크 공격이며, 그 다음이 프롬프트 인젝션, 모델 오염, 탈옥(jailbreaking)이다. 가장 방어하기 어려운 환경은 클라우드이며, 그 다음은 직원이 개인 기기를 사용하는(BYOD) 원격 근무 환경이다.
같은 시기 Microsoft가 발표한 Project Perception은 여러 AI 에이전트를 활용해 전통적인 보안팀 조직 구조를 모방하는 방식을 취한다. 레드 에이전트는 침투 테스트와 대립 시뮬레이션을 담당하고, 블루 에이전트는 조사와 위험 평가를, 그린 에이전트는 통합과 패치를 담당한다. 결국 AI로 AI에 대응하며 공격과 방어의 속도 균형을 맞추려는 시도다.
기억해둘 만한 또 다른 숫자는 Anthropic과 영국 AI 안전 연구소, 앨런 튜링 연구소가 2025년 10월 발표한 연구에서 나왔다. 단 250건의 악의적으로 삽입된 문서만으로도 모델에 백도어를 심을 수 있다는 것이다. 이런 유형의 공격은 현재 대부분 연구자들의 테스트 단계에 머물러 있지만, 그 진입 장벽이 얼마나 불균형하게 낮은지는 이미 입증된 셈이다.
Meta의 그 고객지원 챗봇이 이후 어떻게 처리되었는지는 보고서에 기록되지 않았지만, 그것이 드러낸 문제는 계속 남아 있을 것이다—기업이 '시키는 대로 순순히 따르는' 시스템에 계정 권한을 넘겨주는 한, 공격자는 기술을 알 필요가 없다. 그저 어떻게 요청해야 하는지만 알면 된다.
