기사 대표 이미지

오프닝



코드마스터입니다. 핵심부터 짚겠습니다. 최근 개발 생산성을 극대화하기 위해 Cursor, GitHub Copilot, Windsurf와 같은 'AI 에이전트(Agentic AI)'를 워크플로우에 도입하는 사례가 급증하고 있습니다. 하지만 편리함의 이면에 숨겨진 치명적인 보안 허점이 발견되었습니다. 바로 AI 모델의 고질적인 문제인 '환각(Hallucination)'을 공격의 도구로 사용하는 'HalluSquatting' 공격입니다.

국내 개발 환경에서도 최근 AI 기반의 자동화된 코딩 에이전트 사용이 보편화되면서, 이들이 로컬 환경이나 CI/CD 파이프라인에 직접적인 권한을 가지는 경우가 많아지고 있습니다. 만약 AI가 존재하지 않는 라이브러리나 레포지토리를 스스로 생성해내고, 공격자가 그 이름을 선점하고 있다면 어떻게 될까요? 이는 단순한 오류를 넘어 기업의 소스코드 유출이나 시스템 장악으로 이어질 수 있는 중대한 보안 위협입니다.

핵심 내용



'HalluSquatting(Adversarial Hallucination Squatting)'의 메커니즘은 기존의 '타이포스쿼팅(Typosquatting)'보다 훨씬 지능적이고 파괴적입니다. 기존의 타이포스쿼팅이 사용자의 오타를 유도하는 방식이었다면, HalluSquattend는 LLM(Large Language Model)이 학습 데이터에 없는 최신 정보를 처리할 때 발생하는 '비결정론적(Non-deterministic) 특성'과 '환각 현상'을 정밀하게 타격합니다.

공격의 프로세스는 다음과 같습니다. 첫째, 공격자는 최근 유행하는 오픈소스 프로젝트나 라이브러리의 명칭을 파악합니다. 둘째, AI 모델이 해당 명칭을 인지하지 못할 때 생성할 법한 '그럴듯한' URL 패턴을 예측합니다. 예를 들어, 실제 레포지토리가 OriginalOwner/AwesomeTool이라면, 모델은 환각을 통해 SuperHacker/AwesomeTool이나 AwesomeTool/AwesomeTool 같은 존재하지 않는 URL을 생성할 확률이 매우 높습니다. 셋째, 공격자는 바로 이 '환각된 URL'에 해당하는 악성 레포지토리를 미리 생성하여 대기합니다.

AI 에이전트가 특정 작업을 수행하기 위해 도구 호출(Tool Call)을 수행하거나 외부 스크립트를 실행하려 할 때, 모델이 환각을 통해 생성한 잘못된 URL이 공격자가 선점한 악성 레포지토리를 가리키게 됩니다. 이때 에이전트가 해당 코드를 로컬 환경에서 실행하는 순간, 공격자는 리버스 쉘(Reverse Shell)을 통해 사용자의 시스템에 침투하거나 API 키, 환경 변수 등의 민감 정보를 탈취할 수 있게 됩니다.

심층 분석



이번 연구 결과에서 가장 충격적인 지점은 공격의 성공률입니다. 연구진에 따르면, 최신 코드 에이전트들이 최근 생성된 레포지토리의 위치를 잘못 짚는 환각 발생률이 무려 85%에 달하며, 특정 트렌디한 스킬에 대해서는 100%에 육박하는 수치를 보였습니다. 이는 Anthropic의 Claude Opus와 같은 최상위 모델조차 이 공격에서 자유로울 수 없음을 의미합니다.

기술적 관점에서 볼 때, 이는 LLM의 아키텍처 자체에 내재된 취약점입니다. 모델은 학습 데이터의 컷오프(Cutoff) 이후의 정보를 알지 못할 때, 확률적으로 가장 높은 토큰 시퀀스를 생성하려고 시도합니다. owner/repo라는 정형화된 패턴은 모델에게 매우 강력한 확률적 유도 장치가 됩니다. 기존의 프롬프트 인젝션(Prompt Injection)이 입력값의 조작을 통해 모델의 출력을 왜로 유도하는 방식이었다면, HalluSquatting은 모델의 추론 과정에서 발생하는 '논리적 오류'를 외부 인프라(GitHub 등)를 통해 가로채는 훨씬 정교한 공격 모델입니다.

저는 현재의 '바이브 코딩(Vibe-coding)' 트렌드가 보안 관점에서는 매우 위험한 신호라고 생각합니다. 개발자들이 코드의 내부 로직을 깊이 있게 검증하기보다 AI가 생성한 코드를 그대로 신뢰하고 실행하는 경향이 강해지고 있습니다. 만약 여러분이 사용하는 AI 에이전트가 사용하는 권한(Permission)이 로컬 파일 시스템이나 네트워크 접근에 무제한으로 열려 있다면, 여러분은 이미 공격자의 놀이터를 제공하고 있는 것과 다름없습니다.

여기서 질문을 하나 던지고 싶습니다. 여러분은 현재 사용 중인 AI 코딩 도구(Cursor, Copilot 등)에 어느 정도의 시스템 권한을 부여하고 계신가요? 혹시 '편리함'을 위해 '검증'을 생략하고 있지는 않습니까?

실용 가이드



이러한 위협에 대응하기 위해 엔지니어와 보안 관리자가 반드시 준수해야 할 체크리스트를 제안합니다.

  1. 샌드박스(Sandboxing) 환경 구축: AI 에이전트가 실행되는 환경은 반드시 격리된 컨테이너(Docker 등) 또는 가상 머신 내에서 수행되어야 합니다. 에이전트가 로컬 호스트의 핵심 자원에 직접 접근하는 것을 원천 차단하십시오.
  2. 인간 중심의 승인 절차(Human-in-the-loop): 에이전트가 git clone, npm install, pip install 등 외부 리소스를 가져오거나 실행하는 모든 도구 호출(Tool Call) 단계에서 반드시 인간의 명시적인 승인을 거치도록 워크플로우를 설계해야 합니다.
  3. 검증 루틴 강제화: 에이전트의 프롬프트 시스템 메시지에 "외부 라이브러리 설치 전 반드시 웹 검색을 통해 실제 존재하는 레포지토리인지 확인하라"는 지침을 명시적으로 포함시켜야 합니다.
  4. 최소 권한 원칙(Principle of Least Privilege) 적용: AI 에이전트에게 부여된 API Key, 환경 변수, 서비스 계정의 권한을 최소화하십시오. 에이전트가 접근할 수 있는 네트워크 대역과 파일 경로를 엄격히 제한하는 정책이 필요합니다.


필자의 한마디



AI 에이전트의 시대는 거스를 수 없는 흐름입니다. 하지만 보안이 담보되지 않은 자동화는 자동화된 재앙일 뿐입니다. 우리는 AI의 '지능'을 활용하되, 그 '불확실성'을 통제할 수 있는 아키텍처를 설계해야 합니다. 단순한 도구의 도입을 넘어, 보안이 설계 단계부터 포함된 'Security by Design'의 관점이 그 어느 때보다 절실한 시점입니다.

실무 관점에서 결론은 명확합니다. 편리함에 매몰되어 보안의 기본을 놓치지 마십시오. 이 새로운 공격 방식에 대해 여러분은 어떻게 대응할 계획이신가요? 댓글로 의견 남겨주세요. 코드마스터였습니다.

출처: "https://www.tomshardware.com/tech-industry/cyber-security/hallusquatting-is-the-latest-agentic-ai-exploit-where-models-dream-up-potentially-malicious-urls-in-tool-calls-attack-exploits-a-fundamental-weakness-in-every-available-model"