[성과로 입증하는 제로트러스트]공격자 vs 방어자, AI 보안의 미래는

https://product.kyobobook.co.kr/detail/S000215915360

성과로 입증하는 제로 트러스트 | 화산미디어 편집부 - 교보문고

 

 

 

생성형 AI로 다양한 것들을 할 수 있게 되었으나, AI를 악용하는 사례도 늘어나고 있다. AI로부터 파생되는 사이버 위협은 다양한 방식으로 나타나고 있으며, 대다수는 이미 실제 발현되어 심각한 피해를 초래하고 있다.

 

생성형 AI로 인한 위협의 대표적인 사례 4가지

• 환각 : 실제 존재 X or 사실이 아닌 정보를 생성함.
• 편향 : AI가 학습한 데이터 중 편향된 정보가 포함되면 편향된 정보를 생산해 낼 가능성 큼.
• 저작권 : 데이터 학습 과정에서 저작권이 있는 콘텐츠를 사용할 경우 저작권 침해 가능.
• 데이터 프라이버시 침해 : 학습에 사용된 정보 중 개인정보나 민감정보가 있으면 노출될 수 있음. 

 

생성형 AI에 대한 대표적인 공격 유형 3가지

• 적대적 프롬프팅
  • 탈옥 : AI의 윤리적 제한 무력화 or 우회하여 AI시스템 규칙 회피 -> AI가 위험 or 불법적으로 작동 가능.
  • 프롬프트 유출 : 생성형 AI에 대한 프롬프트를 탈취하는 것을 의미하고, 프롬프트는 AI가 주어진 작업을 정확하게 수행할 수 있도록 돕는 지침 or 명령을 말함. 프롬프트가 유출되면 공격자가 악용해 AI를 왜곡하거나 신뢰성을 훼손할 수 있음. 
• 데이터 오염 : 학습 데이터에 악의적인 정보나 왜곡된 데이터를 의도적으로 삽입해 AI의 출력을 고의로 왜곡시키는 공격
• 모델 역분석 : 반복적인 쿼리 수행을 통해 AI모델의 작동 방식을 분석하고, 학습 데이터를 탈취하는 공격 기법. 모델의 내부 구조를 파악하고 이를 통해 민감 정보를 유출시킴.

 

AI를 활용한 사이버 위협

• 악성코드 제작 : AI를 사용해 탐지 회피 코드를 대량으로 작성하여 보안 시스템 우회. 랜섬웨어나 개인정보 탈취를 위한 악성코드의 공격 효율성과 속도를 대폭 향상 시킴
• 피싱 : 사람이 작성한 것처럼 정교한 피싱 메시지를 AI를 통해 작성. AI 발전으로 피싱 메일 수가 과거 대비 40배 증가.
• 딥페이크 : 딥페이크 기술의 품질이 향상되며, 여러 범죄에 악용되고 있음. 
• 취약점 분석 및 해킹 : 다양한 공격 방식을 결합해 새로운 해킹 기법을 개발하고, 제로데이 공격에도 활용.

 

AI를 활용한 보안 고도화 전략

• AI 시큐리티 어시스턴트 : 보안 담당자가 보안 이벤트를 빠르게 모니터링할 수 있게 도와주는 AI 비서(침해 내용 분석 및 대응향후 방안 제시)
• AI 탐지 및 대응 : 딥페이크, 악성코드 등 위헙을 실시간으로 탐지하고 대응하는 기술.
• AI 사전 대응 : 잠재적 위험 요소 예측 및 경고하여 효과적인 위협 방어를 지원.
• AI 중심 SOC : SOC에서 AI로 보안 상태 모니터링하고, 발생한 위협에 대해 자동으로 대응하는 체계 구현.

 

안랩이 AI를 어떻게 적용하는지 보여주는 사례

• 악성코드 분석 및 대응 
  • 악성코드를 AI가 분석해서 공격자의 의도를 추론하고, 후속 공격 예측을 자동화해 사전 방어 태세를 강화함.
• AI 기반 피싱 메일 탐지
  • 메일 제목, 본문, 발신자, 첨부 파일, URL 등 다양한 요소를 분석해 피싱 메일 여부를 종합적으로 판단함.