RnDCircle Logo
오희석 연구실
한성대학교 AI응용학과 오희석 교수
Cybersickness prediction
Vision Transformer
Image Quality Assessment
연구 영역
기본 정보
논문·특허
과제
구성원

오희석 연구실

한성대학교 AI응용학과 오희석 교수

오희석 연구실은 AI응용학과에서 가상현실 콘텐츠의 안전성과 영상 지각 품질을 함께 다루는 컴퓨터비전 및 인공지능 연구를 수행합니다. 가상현실 체험에서 발생하는 cybersickness를 콘텐츠 속성과 사용자 개인특성에 기반해 정량 예측하는 모델을 개발합니다. 또한 CNN-Transformer 기반 구조로 지역 왜곡과 전역 품질을 동시에 반영하는 화질 평가를 연구하며, 의사 참조 기반 NR-IQA 프레임워크로 참조 부재 상황을 확장합니다. 이와 더불어 플렌옵틱의 다중 초점 정보를 활용한 폐색 강건 추적, 지각 특성을 반영한 생성적 인페인팅과 웨이블릿 도메인 diffusion 모델 학습도 병행합니다.

Cybersickness predictionVision TransformerImage Quality AssessmentPlenoptic object trackingGenerative inpainting
대표 연구 분야
연구 영역 전체보기
가상현실 멀미 예측 및 콘텐츠 속성 정량화 연구 thumbnail
가상현실 멀미 예측 및 콘텐츠 속성 정량화 연구
Research on Cybersickness Prediction and Quantification of VR Content Attributes
연구 분야 상세보기
연구 성과 추이
표시된 성과는 수집된 데이터 기준으로 산출되며, 일부 차이가 있을 수 있습니다.
주요 논문
5
논문 전체보기
1
Article
|
·
인용수 1
·
2025
SinWaveFusion: Learning a single image diffusion model in wavelet domain
Jisoo Kim, Jiwoo Kang, Tae-Wan Kim, Heeseok Oh
IF 4.2 (2025)
Image and Vision Computing
https://doi.org/10.1016/j.imavis.2025.105551
Wavelet
Artificial intelligence
Image (mathematics)
Computer science
Domain (mathematical analysis)
Computer vision
Pattern recognition (psychology)
Mathematics
Mathematical analysis
2
Article
|
·
인용수 1
·
2024
Blind Image Quality Evaluation using Pseudo Reference Images
Yunjeong Yong, Heeseok Oh
Journal of the Institute of Electronics and Information Engineers
무참조 이미지 화질 평가(no-reference image quality assessment; NR-IQA)는 참조 영상에 대한 정보가 주어지지 않은 상태에서 인간 시각 체계를 반영하여 이미지 화질 저하 수준을 객관적으로 정량화 하는 것을 목표로 한다. 기존 NR-IQA 기술은 특정 왜곡 특성에 대해 높은 민감성을 갖고 있으며, 의미론적 화질 인지 및 화질 저하 수준을 판단하기에는 한계를 지니고 있다. 본 논문에서는 기존 NR-IQA 접근 방식의 한계를 극복하고 예측 정확도를 향상시키기 위해 지역적 왜곡 패턴 추출과 고수준 의미 정보 추출에 보다 능숙한 완전 참조 (full-reference IQA; FR-IQA) 방식의 프레임워크를 따르는 NR-IQA 모델인 multi-scale pseudo image quality assessor(MPIQ)를 제안한다. 제안하는 MPIQ는 하이브리드 구조에 기반해 합성곱 네트워크를 통한 지역적 왜곡 패턴 추출과 트랜스포머 기반의 전역적 화질 수준 이해를 도모하며, 의사 참조 이미지 reconstructor와 quasi FR-IQA regressor라는 두 가지 모듈로 구성된다. 의사 참조 이미지 reconstructor는 FR-IQA 방식과 유사하게 화질 추론 모델이 동작할 수 있도록 인코더-디코더 구조를 차용하여 의사 참조 이미지를 재구성하고 이미지 왜곡 정보를 학습한다. 이 과정에서 크기 불변 왜곡 패턴의 추출을 위해 다중 스케일 구조를 반영하였다. Quasi FR-IQA regressor는 왜곡 이미지에서 추출된 특징과 의사 참조 이미지 특징의 차이를 통해 전역적 왜곡 수준을 도출함으로써 이미지 화질 수준을 최종적으로 예측한다. MPIQ는 주관적 평가를 통해 획득된 mean opinion score에 end-to-end로 학습되었으며, 실험 결과 기존 NR-IQA 기술 대비 20%의 성능 향상을 달성하였다.
https://doi.org/10.5573/ieie.2024.61.2.77
Artificial intelligence
Image quality
Computer science
Computer vision
Quality (philosophy)
Image (mathematics)
Pattern recognition (psychology)
3
Article
|
인용수 2
·
2024
Detection-Free Object Tracking for Multiple Occluded Targets in Plenoptic Video
Yunjeong Yong, Jiwoo Kang, Heeseok Oh
IF 2.6 (2024)
Electronics
다중 객체 추적(MOT)은 시각 분야의 기본 과제이나, 플레노픽 비디오를 위한 MOT 기법은 희소하다. 높은 성능을 보이는 대부분의 2D MOT 알고리즘은 주로 탐지 기반 방법을 사용하며, 이는 특정 객체에 대해서만 동작한다는 단점을 가진다. 임의의 원하는 객체를 추적할 수 있도록 하기 위해, 본 논문은 플레노픽 비디오에서의 MOT를 위한 획기적인 비탐지 기반 추적 방법을 제안한다. 제안된 방법은 전통적인 탐지 기반 추적 방법과 달리, 가림(occlusion)이 존재하는 상황에서 표적을 추적하는 데 따른 어려움에 초점을 둔다. 본 논문은 플레노픽 비디오의 다초점(multifocal) 정보를 활용하는 특화 알고리즘을 제시하며, 가림 객체 추적에 대한 견고성을 확보하기 위해 초점 범위 제한(focal range restriction)과 동적 초점 범위 조정(dynamic focal range adjustment) 기법을 포함한다. 공간 탐색 능력을 향상시키기 위해, 앵커 앙상블(anchor ensemble)과 공간 탐색 영역의 동적 변화(dynamic change of spatial search region) 알고리즘 또한 제안된다. 또한 MOT 관점에서, 관련 계산 시간을 줄이기 위해 모션 적응형 시간 스케줄링(motion-adaptive time scheduling) 기법을 제안하며, 이는 일정 수준의 정확도를 보장하면서 계산 속도를 향상시킨다. 실험 결과, 추적 성능이 유의미하게 개선되었으며, 플레노픽 비디오에서 가림 표적에 대해 교집합 대비 합집합(intersection over union) 기준 77%의 성공률을 보였고, 이는 플레노픽 객체 추적 분야에서의 상당한 진전을 의미한다.
https://doi.org/10.3390/electronics13030590
Computer vision
Artificial intelligence
Video tracking
Computer science
Tracking (education)
Object (grammar)
Object detection
Computer graphics (images)
Pattern recognition (psychology)
Psychology
최신 정부 과제
3
과제 전체보기
1
주관|
2021년 10월-2022년 6월
|18,350,000
전기차 충전 방해 방지 인공지능시스템 알고리즘 및 시스템 고도화
본 과제는 인공지능 기반으로 전기차 충전구역에서 충전을 방해하는 차량을 실시간으로 찾아 차단하는 시스템 연구임. 연구 목표는 전기차 및 일반차 번호판을 검출·인식하는 인공지능 모델 개발, (AIoT) 엣지 하드웨어 및 소프트웨어 구현, 확장성 및 적용 용이성 확보임. 핵심 연구 내용은 다양한 기상 및 조명 환경에 강건한 번호판 분류 Detection, 번호 인식에 최적화 된 Recognition, 엔비디아 젯슨나노 기반 경량화 및 일반 카메라(AHD) 활용, 추가 학습으로 적용 개소 확장·번호판 규격 변경 대응임. 기대효과는 빠른 실시간 처리, 설치·유지보수 비용 절감, 충전소 이용 효율 및 민원 감소, 빅데이터 수집/가공 인력 수요 증가로 사회적 기여 가능함
인공지능
영상인식
전기차
엣지 시스템
통합모니터링
2
주관|
2020년 8월-2023년 2월
|15,000,000
실감형 영상 콘텐츠 체험품질 정량화 및 지능적 자율향상 기술
1) 대규모 체험품질 데이터베이스 구축 - Unity3D와 Blender를 활용한 실/가상 배경과 실/가상 객체 조합 요소별 대규모 장면을 생성 (5,000장면 이상) - 주관적 시각 화질 및 naturalness를 반영하는 세부 지표에 대한 주관적 체험품질 점수 획득 (, 20,000명 이상 피험자 대상 5단계 체험품질 주관점수 획득 및 MOS 계산) 2) 실감형 영상 콘텐츠 체험품질 정량화 - 생체인지 기전 반영을 통한 Deep Neural Network(DNN) 기반 정량적 체험품질 예측 모델 설계 - 주관적 체험품질 점수(mean opinion score)를 ground-truth로 활용한 체험품질 예측 모델 학습 - 실/가상 이종 정보 disentangling을 위한 encoder-decoder 구조 신경망 설계 및 영상 특성에 맞는 self-attention 모듈 추가를 통한 성능 향상 (상관도 80%이상 달성) 3) 체험품질 반영 실감형 영상 콘텐츠의 자율 향상 기술 - 체험품질 code의 Generative Adversarial Network(GAN) 특징 연결을 통한 생성 영상 제어 기술 개발 - Neural inverse rendering을 통한 synthetic 객체/배경의 요소별 분해 및 향상 요소 분석 - 장면 및 반사, 기하, 조명 광원 요소별 자율향상 GAN 모델 설계 및 알고리즘 개발 ◾ 1차년도 - Unity3D 및 Blender를 활용한 요소별/단계별 synthetic 영상 제작 - Amazon Mechnical Turk를 이용 주관적 체험품질 점수 획득 - 정량적 체험품질 예측을 위한 DNN 기반 baseline 모델 개발 및 성능 검증 - 4,000개 이상의 장면 및 각 장면에 대한 15,000건 이상의 체험품질 레이블 DB 구축 - PLCC, SROCC 기반 70% 이상 성능의 체험품질 예측 모델 개발 ◾ 2차년도 - Unity3D 및 Blender를 활용한 요소별/단계별 synthetic 영상 추가 제작 및 주관적 체험품질 점수 획득 - 생체인지 모델 반영을 통한 정량적 체험품질 예측 성능 개선 - Neural inverse rendering을 통한 실감형 영상 콘텐츠 객체/배경 요소별 체험품질 분석 및 분리 - 영상 자율향상을 위한 GAN 기반 baseline 생성 모델 구현 및 학습 - 5,000개 이상의 장면 및 각 장면에 대한 20,000건 이상의 체험품질 레이블 DB 구축 - 객관적 체험품질 예측 모델 개선을 통한 PLCC, SROCC 75%이상 성능 달성 - 장면 단위 영상 체험품질 자율향상 알고리즘 개발 ◾ 3차년도 - Synthetic 영상 요소별 (반사, 기하, 조명 광원 등) 자율향상을 위한 적응적 GAN기반 생성 모델 구현 - 체험품질 저차원 임베딩을 통한 고품질 자율향상 영상 획득 - 생성영상 DB 추가 및 자율향상 end-to-end 알고리즘 구축 - 객체/배경 별 요소 단위 체험품질 자율향상 알고리즘 개발 - 최종 자율향상 영상의 피험자를 통한 주관적 품질 평가 결과 상관도 80%이상 달성
실감형 영상 콘텐츠
체험품질
심층신경망
자율향상
적대적생성신경망
3
주관|
2020년 8월-2023년 2월
|30,000,000
실감형 영상 콘텐츠 체험품질 정량화 및 지능적 자율향상 기술
1) 대규모 체험품질 데이터베이스 구축 - Unity3D와 Blender를 활용한 실/가상 배경과 실/가상 객체 조합 요소별 대규모 장면을 생성 (5,000장면 이상) - 주관적 시각 화질 및 naturalness를 반영하는 세부 지표에 대한 주관적 체험품질 점수 획득 (, 20,000명 이상 피험자 대상 5단계 체험품질 주관점수 획득 및 MOS 계산) 2) 실감형 영상 콘텐츠 체험품질 정량화 - 생체인지 기전 반영을 통한 Deep Neural Network(DNN) 기반 정량적 체험품질 예측 모델 설계 - 주관적 체험품질 점수(mean opinion score)를 ground-truth로 활용한 체험품질 예측 모델 학습 - 실/가상 이종 정보 disentangling을 위한 encoder-decoder 구조 신경망 설계 및 영상 특성에 맞는 self-attention 모듈 추가를 통한 성능 향상 (상관도 80%이상 달성) 3) 체험품질 반영 실감형 영상 콘텐츠의 자율 향상 기술 - 체험품질 code의 Generative Adversarial Network(GAN) 특징 연결을 통한 생성 영상 제어 기술 개발 - Neural inverse rendering을 통한 synthetic 객체/배경의 요소별 분해 및 향상 요소 분석 - 장면 및 반사, 기하, 조명 광원 요소별 자율향상 GAN 모델 설계 및 알고리즘 개발 ◾ 1차년도 - Unity3D 및 Blender를 활용한 요소별/단계별 synthetic 영상 제작 - Amazon Mechnical Turk를 이용 주관적 체험품질 점수 획득 - 정량적 체험품질 예측을 위한 DNN 기반 baseline 모델 개발 및 성능 검증 - 4,000개 이상의 장면 및 각 장면에 대한 15,000건 이상의 체험품질 레이블 DB 구축 - PLCC, SROCC 기반 70% 이상 성능의 체험품질 예측 모델 개발 ◾ 2차년도 - Unity3D 및 Blender를 활용한 요소별/단계별 synthetic 영상 추가 제작 및 주관적 체험품질 점수 획득 - 생체인지 모델 반영을 통한 정량적 체험품질 예측 성능 개선 - Neural inverse rendering을 통한 실감형 영상 콘텐츠 객체/배경 요소별 체험품질 분석 및 분리 - 영상 자율향상을 위한 GAN 기반 baseline 생성 모델 구현 및 학습 - 5,000개 이상의 장면 및 각 장면에 대한 20,000건 이상의 체험품질 레이블 DB 구축 - 객관적 체험품질 예측 모델 개선을 통한 PLCC, SROCC 75%이상 성능 달성 - 장면 단위 영상 체험품질 자율향상 알고리즘 개발 ◾ 3차년도 - Synthetic 영상 요소별 (반사, 기하, 조명 광원 등) 자율향상을 위한 적응적 GAN기반 생성 모델 구현 - 체험품질 저차원 임베딩을 통한 고품질 자율향상 영상 획득 - 생성영상 DB 추가 및 자율향상 end-to-end 알고리즘 구축 - 객체/배경 별 요소 단위 체험품질 자율향상 알고리즘 개발 - 최종 자율향상 영상의 피험자를 통한 주관적 품질 평가 결과 상관도 80%이상 달성
실감형 영상 콘텐츠
체험품질
심층신경망
자율향상
적대적생성신경망