매칭 진행 중
·
ID
30130
실환경 변화에 강건한 멀티모달 AI
기업 용역
정부 지원 과제
기술 이전
을 함께 진행할
기업
을 찾는 공고입니다.
본 연구는 실환경 변화와 데이터 결손 상황에서도 안정적인 추론을 수행하는 범용 멀티모달 AI 및 기업 맞춤형 검증 기술 개발을 목표로 합니다. 기업이 운영 중이거나 도입하려는 모델을 대상으로 조명·시점·배경·장비 변화, 입력 누락·노이즈, 데이터 편향 및 적대적 교란에 따른 성능 저하를 체계적으로 분석하고, 테스트타임 적응과 신뢰도 기반 정보 융합을 통해 성능 저하를 개선하고자 합니다. 또한 시나리오별 강건성 평가 데이터 구성, 멀티모달 정합 및 결측 대응, 분포 밖 입력·불확실 예측 탐지, 경량화 및 API·SDK 형태의 PoC 구현을 포함하여 현장 적용 가능한 결과물을 제안합니다.
게시자 유형
연구실
핵심 키워드
멀티모달AI
강건성
테스트타임적응
과제 규모
5억원 이상
공고 마감일
2026-12-31
연구실 소개
연구실 소개
단국대학교 AI융합대학 컴퓨터공학과 소속 DUCK Lab은 김선오 교수를 중심으로 영상·언어·센서 데이터를 함께 이해하는 멀티모달 인공지능과 실제 환경 변화에도 안정적으로 작동하는 강건한 AI를 연구합니다. 비전-언어 모델의 테스트타임 적응 및 적대적 강건성, 자연어 기반 영상 구간 검색, 그래프 기반 결측 데이터 보정과 분포 밖 데이터 탐지, 웨어러블 센서 융합을 주요 연구 주제로 삼고 있으며, 기업·연구기관 공동연구 경험을 바탕으로 핵심 알고리즘 개발부터 기업 데이터 기반 PoC 및 서비스 적용을 위한 공동연구를 추진합니다.
대표 연구 분야
1. 강건한 멀티모달 AI 및 AI 신뢰성 - 영상과 언어를 함께 처리하는 모델이 입력 노이즈, 적대적 교란, 학습 환경과 운영 환경의 차이에 대응하도록 테스트타임 적응·방어 및 신뢰성 평가 기법을 연구합니다. 2. 자연어 기반 영상 이해 및 구간 검색 - 긴 영상에서 문장으로 설명한 장면의 시작·종료 시점을 찾는 비디오 그라운딩을 연구하며, 약지도 학습, 구간 경계 최적화, 데이터 편향 완화 기술을 개발합니다. 3. 그래프 기반 데이터 융합 및 이상탐지 - 관계 정보를 활용한 결측 특징 보정과 분포 밖 데이터 탐지를 연구하고, 이질적인 검사·이력 데이터를 통합하는 금지약물 관리 플랫폼으로 적용을 확장하고 있습니다. 4. 의료·바이오메디컬 및 웨어러블 AI - 스마트 인솔의 관성·압력 센서와 신체 정보를 결합한 보폭 추정, 분광·검사 데이터와 개인 이력을 융합하는 AI를 연구하며, 건강 모니터링과 검사 지원을 위한 도메인 특화 모델을 개발하고자 합니다.
정부과제 / 산학협력 경험
1. 문화체육관광부·한국콘텐츠진흥원 스포츠 공정경쟁 기술개발 사업 - 과제명: 지능형 금지약물 관리를 위한 플랫폼 기술 개발 - 수행기간: 2026.04.01~2028.12.31 / 역할: 주관기관 연구책임자 - 규모: 총 연구비 18억 원, 본인 지분 연구비 10억 8,000만 원 - 공동수행: ㈜아이웨이, 한양대학교 스포츠산업과학부 - 주요 내용: 그래프 융합 멀티모달 AI 기반 도핑 위험도 판독 엔진 및 금지약물 관리 플랫폼 개발(플랫폼 구현·실증 및 도핑 데이터 검증·정제 공동 추진) 2. 정보통신산업진흥원(NIPA) 고성능컴퓨팅 지원사업 - 과제명: 대규모 멀티모달 데이터 구축 및 온디바이스 비디오 그라운딩 모델 학습 - 수행기간: 2025.04.01~2025.12.31 / 역할: 연구책임자 - 지원 형태: A100 8대 컴퓨팅 자원 지원 - 주요 성과: 멀티모달 데이터 구축 및 비디오 그라운딩 연구 수행, 우수 과제 선정 및 ‘매우 우수’ 평가 3. 정보통신기획평가원(IITP) AI 연구용 컴퓨팅 지원 프로젝트 - 과제명: 적응형 그라운딩 기반 대규모 멀티모달 정합 데이터 생성 및 시각-언어 모델의 시각적 환각 현상 해소 - 수행기간: 2026.07.20~2026.11.20 / 역할: 연구책임자 - 지원 형태: H100 8대 컴퓨팅 자원 지원 - 주요 내용: 멀티모달 정합 데이터 생성과 비전-언어 모델의 신뢰성 개선 연구 수행 중 4. 네이버㈜ 산학과제 및 클로바 Visual AI Team 협력 - 과제명: 딥러닝을 활용한 영상 구간 추정 기술 개발 - 수행기간: 2022.07.25~2023.01.24 / 역할: 공동연구자 및 연구인턴 - 규모: 총 연구비 및 본인 지분 연구비 각 17,647,000원 - 주요 성과: 약지도 비디오 그라운딩 공동연구 결과 AAAI 2024 제1저자 발표, Portrait Matting 알고리즘 SNOW 모바일 앱 적용 5. IITP 영상 이해 플랫폼 및 일상생활 보조 기술 공동연구 - 2021.01~2024.02: ‘실시간 대규모 영상 데이터 이해/예측을 위한 고성능 비주얼 디스커버리 플랫폼 개발’ 참여(서울대학교 과제 실무 총괄), 코난테크놀로지·이노뎁·와이즈넛·리얼타임테크·한컴위드 협력 및 영상 구간 검색 모듈 구현, CIKM 2022·AAAI 2024·ACM MM 2024 논문 성과 도출 - 2025.03~현재: ITRC ‘사회적 약자를 위한 멀티&교차-모달 AI 기반 일상생활 보조 기술 개발’ 참여교수로 참여, 네오펙트·엔젤로보틱스·만드로·브이터치 협력 및 멀티모달 인식 강건성 연구
연구 희망 개요
연구 희망 및 관심 주제
실환경 변화와 데이터 결손에 강건한 범용 멀티모달 AI 및 기업 맞춤형 검증 기술 개발 - 본 연구는 영상·언어·센서 정보의 품질 및 수집 환경이 달라져도 안정적인 추론을 수행하는 멀티모달 AI를 개발하는 것을 목표로 합니다. 기업이 운영 중이거나 도입하려는 모델을 대상으로 조명·시점·배경·장비 변화, 입력 누락과 노이즈, 데이터 편향 및 적대적 교란에 따른 성능 저하를 분석하고, 테스트타임 적응과 신뢰도 기반 정보 융합으로 이를 개선합니다. 또한 기업 사용 시나리오별 강건성 평가 데이터 구성, 멀티모달 정합 및 결측 정보 대응, 신뢰 가능한 입력·예측 선택을 위한 적응·방어 알고리즘 개발, 분포 밖 입력 및 불확실 예측 탐지, 모델 경량화와 API·SDK 형태의 PoC 구현을 단계적으로 추진하며, 초기에는 기업 수요가 명확한 단일 업무를 선정한 뒤 타 업무·장비·모델로의 확장성을 평가합니다. 정상 환경 성능뿐 아니라 환경 변화 시 성능 하락 폭, 오탐·미탐, 처리 지연 및 메모리 사용량을 함께 평가하고, 데이터 진단 보고서, 강건성 평가 체계, 개선 알고리즘 및 시범 적용 모듈을 결과물로 제안합니다.
협력 가능 분야
- 영상 검색·콘텐츠 관리: 자연어로 원하는 장면을 검색하고 관련 영상 구간을 추출하는 기능의 정확도 및 편향 개선 - 산업·시설 모니터링: 조명·카메라·현장 변화에 강건한 영상 인식과 영상·센서 융합 이상징후 탐지 - 서비스·재활 로봇 및 스마트 기기: 시각·언어·센서 인식의 강건성 평가와 경량 추론 모듈 개발 - AI 플랫폼·솔루션: 비전-언어 모델의 입력 품질 평가, 테스트타임 적응, 분포 밖 입력 탐지 및 운영 중 성능 점검 - 공동 PoC: 기업의 기존 모델과 개선 모델을 동일한 현장 데이터·연산 조건에서 비교 검증
본 연구 관련 연구실 특장점
- 비전-언어 모델의 테스트타임 적대적 강건성 연구를 CVPR 2026 및 ICML 2026에 제1저자로 발표하여, 강건성과 추론 효율을 함께 다루는 알고리즘 개발 경험을 보유하고 있습니다. - 자연어 기반 영상 구간 검색 분야에서 AAAI 2024, ACM MM 2024, IEEE Transactions on Multimedia 2026 연구 성과를 보유하며, 약지도 학습과 추가 학습 없는 구간 경계 최적화를 연구했습니다. - 그래프 기반 결측 특징 보정(ICML 2025)과 분포 밖 데이터 탐지(ICLR 2025) 공동연구 경험을 바탕으로, 누락되거나 익숙하지 않은 입력을 포함하는 데이터 문제를 다룰 수 있습니다. - 삼성전자 MX사업부의 Language AI 연구개발 및 네이버 클로바 산학협력 경험을 보유하며, 실제 서비스 적용과 기업 공동개발의 요구사항을 이해하고 있습니다. - 영상 플랫폼, 일상생활 보조 기술 및 금지약물 관리 플랫폼의 산학연 협력 경험을 바탕으로 기업의 현장 문제를 연구과제와 PoC로 구체화할 수 있습니다.
협업 요건
파트너 기대 역할
기업 역할 - 적용 제품·서비스와 해결할 오류 사례, 현재 모델의 성능·처리시간·운영 제약을 제시합니다. - 학습·검증에 사용할 수 있는 영상·텍스트·센서 데이터, 수집 환경 및 정답 기준을 제공하고 현장 전문가의 검토를 지원합니다. - PoC 운영 환경과 서비스 연동 인터페이스, 전담 개발자를 확보하고 현장 테스트·사업화를 담당합니다. - 필요한 데이터 정제·라벨링 및 실증 비용과 공동개발 범위를 협의합니다. 연구실 역할 - 데이터와 기존 모델을 진단하고, 정상 조건 및 환경 변화 조건을 포함한 평가 체계를 설계합니다. - 멀티모달 정합·융합, 결측 대응, 테스트타임 적응 및 신뢰도 추정 알고리즘을 개발합니다. - 성능과 지연시간을 분석하며 경량화·모듈화를 수행하고 기업 시스템 연동을 지원합니다. - 실험 결과와 재현 가능한 평가 자료를 제공하고, 공동 특허·논문·후속 정부과제 기획에 참여합니다.
협업 파트너 희망 요건
- 우선 매칭 대상: 영상 검색·분석 솔루션, 콘텐츠 관리, 산업·시설 모니터링 분야에서 비전-언어 모델 또는 영상·센서 AI를 제품에 적용 중이거나 도입하려는 기업 - 필수 데이터 조건: 실제 운영 데이터와 반복적으로 발생하는 실패 사례를 연구 목적으로 제공할 수 있고, 데이터 이용 권한 및 정답·검수 기준이 정리되어 있는 기업 - 우선 기술 수요: 현장·장비별 성능 편차, 입력 누락·노이즈, 오탐·미탐, 추론 속도 중 하나 이상의 문제가 구체적인 기업 - 개발·실증 조건: 기존 모델 또는 비교 기준을 제시할 수 있고, 전담 개발자 및 평가용 서버·기기 또는 현장 테스트 환경을 확보한 기업 - 사업화 조건: PoC 이후 제품 반영을 검토할 의사결정자와 담당 조직이 있으며, 공동개발비 또는 정부과제 매칭 재원을 협의할 수 있는 기업 - 확대 매칭 대상: 웨어러블·서비스·재활 로봇 기업 중 인식 모듈의 강건성 개선 및 실증 데이터를 제공할 수 있는 기업