AI 시스템 보안 평가·침투테스트
AI System Security Assessment & Penetration Testing
AI 에이전트와 LLM 서비스, AI 인프라를 공격자의 입장에서 먼저 시험해, 공개 전이든 운영 중이든 실제 위험을 확인합니다.
에이전트가 쓰는 도구와 권한부터 모델과 데이터, 이를 받치는 인프라까지, AI 시스템 전체에서 약점을 찾습니다.
우리 AI 시스템은 공격을 받아도 정해 둔 선을 지키는가?
선을 넘는 경로가 있는지, 있다면 어떤 영향이 있는지와 다시 확인할 수 있는 기록을 남깁니다.
전문가 검토 완료
이런 상황에 적합합니다
- AI 에이전트나 LLM 서비스를 들이거나 공개할 때
서비스에 AI 챗봇을 붙이거나 업무에 에이전트를 들이기 전후로, 공격을 받아도 정해 둔 선을 지키는지 확인합니다.
- 에이전트가 쓰는 도구와 권한을 넓혀 갈 때
메일·일정·사내 시스템·외부 도구처럼 에이전트가 쓸 수 있는 것이 늘어날수록, 그 권한이 어디까지 닿고 어디서 사람의 승인이 필요한지 근거가 필요해집니다.
- 사내 문서와 데이터를 AI에 연결할 때
검색 증강 답변(RAG)으로 사내 문서를 연결했다면, 권한이 없는 직원에게 문서 내용이나 민감 정보가 답변으로 나가지 않는지 확인합니다.
- 학습·추론 인프라를 여러 팀이 함께 쓸 때
GPU 클러스터와 HPC(고성능 컴퓨팅) 환경, 공유 저장소를 여러 팀이 함께 쓴다면, 서로의 학습 데이터와 모델 파일이 제대로 나뉘어 있는지 확인하려는 경우입니다.
SAFE SQUARE의 방식
선부터 정하고 시작합니다
AI가 넘으면 안 되는 선을 문장으로 먼저 정하고, 공격 상황에서 그 선이 지켜지는지를 판단의 기준으로 삼습니다.
에이전트의 구조를 알고 봅니다
에이전트의 계획과 도구 사용, 권한과 승인을 다루는 SAFE SQUARE의 에이전트 연구를 바탕으로, 어떤 도구를 어떤 권한으로 쓰는지 구조부터 파악하고 점검합니다.
답변 너머까지 이어서 봅니다
모델의 답변에서 이어서, 에이전트가 쓰는 도구와 연동 시스템, 학습·추론 인프라의 격리까지 확인합니다.
이런 곳을 살펴봅니다
AI 에이전트와 LLM 서비스, AI 인프라를 중심으로, 대상끼리 또는 다른 시스템과 이어지는 지점까지 함께 봅니다.
AI 에이전트
- 대상
- 메일·일정·사내 시스템·외부 도구를 쓰며 업무를 처리하는 AI 에이전트와 그 실행 환경입니다.
- 점검할 수 있는 영역
- 도구·API 권한의 범위
- 사람의 승인이 필요한 행동의 경계
- 외부 입력(문서·웹·메일)이 동작에 미치는 영향
- 에이전트를 통한 데이터 반출
- 실행 환경과 격리
- 행동 기록과 추적
- 연동 시스템의 인증
- 확인하는 선의 예
- ‘AI 에이전트는 사람의 승인 없이 외부로 정보를 보내지 않는다.’
LLM 서비스
- 대상
- 챗봇·검색 증강 답변(RAG)·요약처럼 언어 모델을 쓰는 서비스와, 모델·데이터·연동 구성입니다.
- 점검할 수 있는 영역
- 프롬프트 인젝션(직접·간접)
- 민감 정보·시스템 지시문의 노출
- 검색 대상 문서의 권한
- 출력 처리와 연동 시스템에 미치는 영향
- 안전 정책이 의도대로 작동하는지
- 사용량·비용 남용
- 모델·데이터 공급망
- 확인하는 선의 예
- ‘직원은 자신에게 권한이 있는 문서의 내용만 답변으로 받는다.’
AI 인프라 (GPU·HPC)
- 대상
- 모델 학습·추론에 쓰는 GPU 클러스터와 HPC(고성능 컴퓨팅) 환경, 스케줄러와 공유 저장소입니다.
- 점검할 수 있는 영역
- 작업 스케줄러와 관리 인터페이스
- 사용자·팀 사이의 격리
- 공유 저장소와 학습 데이터 권한
- 모델 파일 접근
- 드라이버·런타임 등 소프트웨어 스택
- 노드 간 네트워크
- 추론 서비스 API
- 확인하는 선의 예
- ‘한 팀의 학습 데이터와 모델 파일은 다른 팀이 읽거나 바꿀 수 없다.’
영역과 선은 예시입니다.
범위 안내여기서는 AI 시스템이 공격 대상입니다. AI 에이전트가 보안 업무를 얼마나 잘 해내는지 평가하고 개선하는 일은 사람·AI 보안 역량 강화에서 다룹니다. 보안 업무에 쓸 AI 모델과 에이전트를 연구하고 만드는 일은 기술 협업과 공동 연구로 함께할 수 있습니다.
진행 순서
대상·선 합의
점검할 AI 시스템과 연동 범위, 지켜야 할 선을 함께 정합니다.
구조 파악
에이전트가 쓰는 도구와 권한, 모델과 데이터의 흐름, 연동 시스템과 실행 환경을 함께 정리합니다.
점검·검증
정해 둔 선이 공격 상황에서도 지켜지는지, 전문가가 실제 공격자처럼 시도해 직접 확인합니다.
결과 설명·재확인
발견사항과 실제 영향, 증적, 개선 방향을 의사결정자와 기술 담당자에게 설명하고, 원하시면 조치 후 같은 방법으로 다시 확인합니다.
안전하게 진행하기 위해운영 중인 서비스에서 진행할 때는 실제 사용자와 데이터에 영향이 없도록 테스트 계정과 범위, 중단 조건을 먼저 정합니다. 안전한 진행과 중단 기준, 사실과 추정의 구분, 자료의 보관·파기 같은 공통 원칙은 일하는 방식과 원칙에 있습니다.
고객에게 남는 결과
지켜진 선과 넘은 선
합의한 선마다 지켜졌는지, 넘었다면 어떤 입력과 권한, 경로로 넘었는지 정리합니다.
발견사항과 실제 영향
데이터 노출, 권한 밖의 행동, 비용 남용처럼 업무에 어떤 영향이 있는지 설명합니다.
재현 가능한 증적
각 결과를 다시 확인할 수 있는 입력과 조건, 기록을 남깁니다.
개선 방향과 재확인 기준
먼저 고칠 것과, 모델이나 연동이 바뀐 뒤 다시 확인할 항목을 정리합니다.
사내 문서를 찾아 답하고 메일도 보낼 수 있는 업무 도우미 에이전트
연동: 사내 문서 검색, 메일 보내기, 일정 조회
| 지켜야 할 선 | 결과 | 근거 |
|---|---|---|
| 권한 있는 문서만 답변에 쓰인다 | 지켜짐 | 검색 단계에서 사용자 권한으로 문서를 걸러, 권한 밖 문서는 답변에 쓰이지 않았습니다. |
| 승인 없이 회사 밖으로 메일을 보내지 않는다 | 넘음 | 외부에서 받은 문서에 숨겨 둔 지시를 따라, 승인 없이 회사 밖 주소로 메일을 보내는 경로가 있었습니다. |
| 시스템 지시문과 연동 키는 답변에 드러나지 않는다 | 보완 필요 | 지시문 일부가 답변에 드러났지만, 연동 키는 드러나지 않았습니다. |
- 실제 영향
- 외부에서 받은 문서 하나로 사내 문서 내용이 회사 밖으로 나갈 수 있습니다.
- 개선 방향
- 메일 보내기처럼 회사 밖으로 나가는 동작에는 사람의 승인을 두고, 문서에서 읽은 내용은 지시로 따르지 않도록 나눠 처리합니다. 지시문에는 드러나도 되는 내용만 둡니다.
모델이나 지시문, 연동이 바뀌면 같은 선을 다시 확인하는 것이 좋습니다.