매칭 진행 중
·
ID
p-147
AI 에이전트 실행 통제·프롬프트 인젝션 방어 파트너 기업 모집

기업 용역
정부 지원 과제
을 함께 진행할
기업
을 찾는 공고입니다.
AI 에이전트의 사용자 의도와 실제 실행 행동의 불일치, 도구 사용·외부 시스템 접근 권한, 멀티 에이전트 실행 이력을 분석해 비정상 행위를 탐지하고 실행 단계에서 통제합니다. 간접 프롬프트 인젝션은 다단계 추론과 모델 내부 신호로 탐지·분석하며, 기업용 AI 에이전트 서비스 보안성 검증, 금융·비대면 인증 환경의 딥페이크·딥보이스 탐지, 차량·엣지 시스템 경량 침입탐지에 쓰입니다.
게시자 유형
연구실
핵심 키워드
AI 에이전트 보안
프롬프트 인젝션
권한 통제
과제 규모
협의 가능
공고 마감일
미정
연구실 소개
연구실 소개
단국대학교 사이버보안학과 지능형보안기술연구실(Intelligent Security Technology Lab)은 보안 위협을 분석하고 데이터와 시스템을 보호하는 지능형 탐지·통제 기술을 연구합니다. AI 에이전트 보안을 중점 분야로 AI 모델의 공격·방어, AI 생성 콘텐츠 탐지, 네트워크·시스템의 지능형 위협 탐지를 다루며, 특히 AI 에이전트의 런타임 하드닝과 안전성 검증을 집중 연구합니다. 송현민 교수는 고려대학교 정보보호대학원에서 박사 학위(2021)를 받고 하나금융융합기술원과 국가보안기술연구소를 거쳐 단국대에 부임했으며, 현재 사이버보안학과 학과장과 AI중심대학사업단 SW협력센터장을 맡고 있습니다.
대표 연구 분야
1. AI 에이전트 보안 (현재 중점 분야) - 에이전트의 의도·응답·실행을 비교해 권한 범위를 벗어난 행동과 외부 문서·웹페이지·도구 응답을 통한 프롬프트 주입을 탐지하고, 실행 경계에서 도구·데이터 접근을 통제하는 보안 거버넌스 기술을 연구합니다. 2. AI 모델 보안 - 이미지 인식 모델을 중심으로 적대적 공격이 모델의 어떤 특징을 이용하는지 분석하고, 공격 탐지·방어와 강건성 평가 기법을 연구합니다. 3. AI 생성 콘텐츠 탐지 - 딥페이크·합성 음성 등 영상·음성의 생성·변조 흔적을 분석해 AI 생성 콘텐츠를 식별하고, 금융사기·음성 사칭·비대면 인증 환경에서의 탐지 신뢰성을 검증합니다. 4. 지능형 위협 탐지 - 네트워크·차량·엣지 시스템과 파일·행위 데이터의 맥락을 학습해 침입과 이상 징후를 탐지하고, 공격 표본이 부족하거나 운영 환경이 바뀌어도 유효한 경량 탐지 방법을 연구합니다.
정부과제 / 산학협력 경험
[정부·기관 과제] - 과기정통부 개인기초연구 「LLM 기반 AI 에이전트 보안 위협 탐지 및 대응 프레임워크」: 연구책임, 2025~ - 국가보안기술연구소 「ML을 활용한 파일시스템 메타데이터 이상탐지 기술 연구」: 수행, 2024 [대외 활동] - 개인정보보호위원회 인공지능 프라이버시 민관 정책협의회 2기 위원(2026~2028) [기업 공동 특허] - LIG넥스원: 악성 도메인 탐지, API 호출 시퀀스 기반 악성코드 기능 분석 특허 공동 출원·등록 - 삼성전자: 악성 코드 분류 전자 장치 특허 공동 출원·등록 [보안 현장 경력] - 하나금융융합기술원 Senior Data Scientist, 국가보안기술연구소 연구원
연구 희망 개요
연구 희망 및 관심 주제
AI 에이전트를 실제 업무 시스템에 도입하면서 발생하는 보안 위협을 탐지하고 실행 단계에서 통제하는 기술을 우선적인 산학협력 방향으로 두고 있습니다. 에이전트가 사용자 의도와 다르게 도구를 쓰거나 외부 시스템에 접근하는 행위, 외부 문서·웹페이지·도구 응답에 숨은 간접 프롬프트 인젝션을 탐지·차단하고, 기업용 AI 에이전트 서비스를 공격 시나리오로 검증하는 연구를 기업과 함께하고자 합니다. 딥페이크·딥보이스 탐지와 차량·엣지 시스템 경량 AI 침입탐지도 기업의 실제 요구사항에 따라 함께 검토합니다.
협력 가능 분야
- 업무 시스템에 도입한 AI 에이전트의 의도-실행 불일치 탐지와 도구 사용·외부 접근 권한 통제 기술 개발 - 멀티 에이전트 환경의 비정상 행위 탐지와 실행 이력 추적 - 에이전트 실행 승인·정책 판단 근거 기록과 감사·책임 추적 체계 설계 - 외부 문서·웹페이지·도구 응답을 통한 간접 프롬프트 인젝션 탐지·방어 - 기업용 AI 에이전트 서비스의 공격 시나리오 기반 보안성 검증 - 금융사기·음성 사칭·비대면 인증 환경의 딥페이크·딥보이스 탐지 - 차량 네트워크·엣지 시스템 경량 AI 이상탐지 - 이미지 AI 모델의 적대적 공격 탐지·방어와 강건성 평가
본 연구 관련 연구실 특장점
- 에이전트의 출력만 보지 않고 은닉 상태 등 내부 표현을 분석해, 거절 응답과 실제 도구 실행이 어긋나는 현상과 간접 프롬프트 주입을 탐지하는 연구 - 행동 제안과 실행 허용을 분리해 도구·데이터 접근과 에이전트 간 권한 위임을 실행 경계에서 통제하고, 승인·정책 근거를 남겨 감사·책임 추적까지 다루는 실행 통제 설계 - 공격 사례·라벨이 부족한 환경에서 정상 데이터만으로 학습하는 자기지도 이상탐지(IEEE TVT 2021)와, 학습·평가 환경을 분리해 탐지 신뢰성을 검증하는 방법론 - 메시지 순서·시간 간격, 파일 경로 계층 같은 맥락을 학습 가능한 표현으로 바꾸고 계산 비용을 함께 줄인 경량 탐지(Vehicular Communications 2024, Systems 2025) - 모델 주목 영역(Grad-CAM)과 군집 구조로 여러 공격 조건에서 통하는 적대적 입력 탐지·방어를 설계하고, 정상 입력 성능 훼손 여부까지 검증(Systems 2025) - 자기지도 음성 특징 추출기와 분류기 조합을 비교한 딥페이크 음성 탐지(WISA 2025)와, 생성 방식이 바뀔 때 탐지가 유효한 범위·오탐 검토 - 과기정통부 개인기초연구 「LLM 기반 AI 에이전트 보안 위협 탐지 및 대응 프레임워크」 연구책임(2025~) - 2026 세계 상위 2% 연구자 등재, 2021 Vehicular Communications Best Paper Award, MobiSec 2023 Best Poster Award - 개인정보보호위원회 인공지능 프라이버시 민관 정책협의회 2기 위원(2026~2028) - LIG넥스원·삼성전자와 악성 도메인·악성코드 탐지 특허 공동 출원·등록
협업 요건
파트너 기대 역할
기업 역할 - 보안 검증 대상인 AI 에이전트 서비스·업무 시스템 환경 또는 실행 로그 제공 - 실제 업무에서 우려하는 공격 시나리오와 보안 요구사항 정의 - 탐지·통제 기술의 제품·서비스 적용과 사업화 주도 연구실 역할 - AI 에이전트 실행 보안·권한 통제와 프롬프트 인젝션 탐지·방어 모델 설계·개발 - 공격 시나리오 기반 보안성 평가와 결과 리포트 제공 - 정부 R&D 과제 공동 기획·수행과 PoC 개발
협업 파트너 희망 요건
- AI 에이전트·LLM 기반 업무 자동화 서비스를 개발·운영하는 기업 - 사내 업무 시스템에 AI 에이전트 도입을 준비하는 기업 - AI·LLM 보안 솔루션 기업 - 금융사기·음성 사칭 대응이나 비대면 인증이 필요한 금융·핀테크·인증 기업 - 차량 침입탐지·보안 게이트웨이를 개발하는 자동차 전장·차량 보안 기업 - 기업 규모 무관 / 공동연구는 수도권 선호, 성능 진단·자문 등 비대면 건은 지역 무관