AI 시스템 보안 평가·침투테스트
AI System Security Assessment & Penetration Testing
AI 에이전트와 LLM 서비스, AI 인프라를 공격자의 입장에서 점검해, 정해 둔 선을 실제로 지키는지 확인합니다.
AI 에이전트, LLM 서비스, 모델 학습·추론 인프라를 공격 대상으로 보고, 권한과 입력, 데이터 노출과 격리에서 생기는 약점을 찾습니다. AI 에이전트나 LLM 서비스를 들이거나 새 구조를 출시할 때, ‘AI 에이전트는 사람의 승인 없이 외부로 정보를 보내지 않아야 한다’처럼 정해 둔 선을 실제로 넘지 않는지 확인합니다. 발견한 문제는 전문가가 직접 확인합니다.
우리 AI 시스템은 공격을 받아도 정해 둔 선을 지키는가?
권한·입력·데이터 노출·격리에서 선을 넘는 경로를 확인하고, 실제 영향과 증적, 개선 방향을 정리합니다.
검토 완료
이런 상황에 적합합니다
- AI 에이전트나 LLM 서비스를 들이거나 공개할 때
업무에 AI 에이전트를 들이거나 고객이 쓰는 LLM 서비스를 공개하기 전후로, 공격 앞에서도 정해 둔 선을 지키는지 확인하려는 경우입니다.
- 에이전트가 쓰는 도구와 권한을 넓혀 갈 때
메일·일정·사내 시스템·외부 도구처럼 에이전트가 쓸 수 있는 것이 늘어날 때, 그 권한이 어디까지 닿고 어디에서 사람의 승인이 필요한지 근거를 확인하려는 경우입니다.
- 사내 문서와 데이터를 AI에 연결할 때
검색 증강 답변(RAG)처럼 사내 문서와 데이터를 연결할 때, 권한이 없는 사람에게 문서 내용이나 민감 정보가 보이지 않는지 확인하려는 경우입니다.
- 학습·추론 인프라를 여러 팀이 함께 쓸 때
GPU 클러스터와 HPC 환경, 공유 저장소를 여러 사용자와 팀이 함께 쓸 때, 서로의 데이터와 모델 파일이 격리되어 있는지 확인하려는 경우입니다.
살펴보는 범위
AI 시스템을 세 가지 대상으로 나눠 살피고, 대상끼리 또는 다른 시스템과 이어지는 지점도 함께 봅니다.
AI 에이전트
- 대상
- 메일·일정·사내 시스템·외부 도구를 쓰며 업무를 처리하는 AI 에이전트와 그 실행 환경입니다.
- 점검할 수 있는 영역
- 도구·API 권한의 범위
- 사람의 승인이 필요한 행동의 경계
- 외부 입력(문서·웹·메일)이 동작에 미치는 영향
- 에이전트를 통한 데이터 반출
- 실행 환경과 격리
- 행동 기록과 추적
- 연동 시스템의 인증
- 확인하는 선의 예
- ‘AI 에이전트는 사람의 승인 없이 외부로 정보를 보내지 않는다.’
LLM 서비스
- 대상
- 챗봇·검색 증강 답변(RAG)·요약처럼 언어 모델을 쓰는 서비스와, 모델·데이터·연동 구성입니다.
- 점검할 수 있는 영역
- 프롬프트 인젝션(직접·간접)
- 민감 정보·시스템 지시문의 노출
- 검색 대상 문서의 권한
- 출력 처리와 연동 시스템에 미치는 영향
- 안전 정책이 의도대로 작동하는지
- 사용량·비용 남용
- 모델·데이터 공급망
- 확인하는 선의 예
- ‘직원은 자신에게 권한이 있는 문서의 내용만 답변으로 받는다.’
AI 인프라 (GPU·HPC)
- 대상
- 모델 학습·추론에 쓰는 GPU 클러스터와 HPC 환경, 스케줄러와 공유 저장소입니다.
- 점검할 수 있는 영역
- 작업 스케줄러와 관리 인터페이스
- 사용자·팀 사이의 격리
- 공유 저장소와 학습 데이터 권한
- 모델 파일 접근
- 드라이버·런타임 등 소프트웨어 스택
- 노드 간 네트워크
- 추론 서비스 API
- 확인하는 선의 예
- ‘한 팀의 학습 데이터와 모델 파일은 다른 팀이 읽거나 바꿀 수 없다.’
영역과 선은 예시입니다. 진단 대상과 범위, 산출물, 일정과 운영 책임은 과제별로 협의합니다.
범위 안내여기서는 AI 시스템이 공격 대상입니다. AI 에이전트가 보안 업무를 얼마나 잘 해내는지 평가하고 개선하는 일은 사람·AI 보안 역량 강화에서 다룹니다.
진행 순서
대상·선 합의
점검할 AI 시스템과 연동 범위, 지켜야 할 선, 제공받을 정보 수준과 허용·금지 행위, 중단 조건을 서면으로 정합니다.
구조 파악
에이전트가 쓰는 도구와 권한, 모델과 데이터의 흐름, 연동 시스템과 실행 환경을 함께 정리합니다.
점검·검증
도구와 AI 에이전트로 넓게 살피고, 전문가가 직접 분석해 선을 넘는 경로가 실제로 있는지 안전하게 확인합니다.
결과 설명·재확인
발견사항과 실제 영향, 증적, 개선 방향을 의사결정자와 기술 담당자에게 설명하고, 합의한 경우 조치 후 같은 방법으로 다시 확인합니다.
안전하게 진행하기 위해운영 중인 서비스에서 진행할 때는 실제 사용자와 데이터에 영향이 없도록 테스트 계정과 범위, 중단 조건을 먼저 합의합니다. 점검 중 다루는 대화 기록과 데이터의 보관·파기 방식도 시작 전에 정합니다.
고객에게 남는 결과
지켜진 선과 넘은 선
합의한 선마다 지켜졌는지, 넘었다면 어떤 입력과 권한, 경로로 넘었는지 정리합니다.
발견사항과 실제 영향
데이터 노출, 권한 밖의 행동, 비용 남용처럼 업무에 어떤 영향이 있는지 설명합니다. 확인한 사실과 추가 확인이 필요한 정황은 나눠 적습니다.
재현 가능한 증적
각 결과를 다시 확인할 수 있는 입력과 조건, 기록을 남깁니다.
개선 방향과 재확인 기준
권한·승인 경계와 입력 처리, 격리에서 먼저 고칠 것과, 모델이나 연동이 바뀐 뒤 다시 확인할 항목을 정리합니다.
결과는 합의한 범위를 점검한 시점의 상태를 보여 줍니다. 모델이나 지시문, 연동이 바뀌면 같은 선을 다시 확인하는 것이 좋습니다.