RnDCircle Logo
이병욱 연구실
이화여자대학교 차세대기술공학부 이병욱 교수
360도 영상처리
ERP 기반 초해상화
멀티뷰 시차 정렬
홈
연구 영역
기본 정보
논문·특허
과제
구성원
홈

이병욱 연구실

이화여자대학교 차세대기술공학부 이병욱 교수

이화여자대학교 이병욱 연구실은 영상신호처리와 컴퓨터 비전 기반의 이미지 enhancement, restoration 연구를 수행합니다. 특히 equirectangular projection(ERP) 도메인에서 360° 이미지의 참조·멀티뷰 상관을 활용하는 초해상화 모델을 개발하고, latitude-aware convolution과 시차/flow 정련을 통해 투영 왜곡에 강인한 복원을 목표로 합니다. 또한 고포화도 환경에서 색역 경계를 관리하는 gamut mapping 기반 색상 향상 기법을 함께 연구하여 색 왜곡을 줄인 영상 품질 개선을 수행합니다.

360도 영상처리ERP 기반 초해상화멀티뷰 시차 정렬Latitude-aware convolutionFlow·시차 정련
대표 연구 분야
연구 영역 전체보기
참조 기반 360° 이미지 초해상화 thumbnail
참조 기반 360° 이미지 초해상화
Reference-Based 360° Image Super-Resolution
연구 분야 상세보기
멀티뷰 ERP 360° 이미지의 2단계 시차 정련 초해상화 thumbnail
멀티뷰 ERP 360° 이미지의 2단계 시차 정련 초해상화
Two-Stage Disparity Refinement for Multi-View ERP 360° Super-Resolution
연구 분야 상세보기
고포화도 색상 이미지 향상을 위한 조각선형 감마 구간 가모트 매핑 thumbnail
고포화도 색상 이미지 향상을 위한 조각선형 감마 구간 가모트 매핑
Color Image Enhancement with High Saturation using Piecewise Linear Gamut Mapping
연구 분야 상세보기
연구 성과 추이
표시된 성과는 수집된 데이터 기준으로 산출되며, 일부 차이가 있을 수 있습니다.
주요 논문
3
논문 전체보기
1
Article
|
인용수 8
·
2021
360° Image Reference-Based Super-Resolution Using Latitude-Aware Convolution Learned From Synthetic to Real
Hee-Jae Kim, Je‐Won Kang, Byung-Uk Lee
IF 3.476 (2021)
IEEE Access
고해상도(HR) 360° 이미지는 자율 로봇 시스템 및 가상현실(VR) 응용과 같이 전방위 시야가 필요한 모든 상황에서 큰 장점을 제공한다. 인접한 시점에서 하나 또는 그 이상의 360° 이미지를 활용하면 특정 대상 360° 이미지의 해상도를 유의미하게 향상시킬 수 있다. 본 논문에서는 인접한 360° 카메라들 사이의 넓은 시야(FoV)를 활용하기 위한 효율적인 참조 기반 360° 이미지 초해상도(RefSR) 기법을 제안한다. 등방직각 투영(equi-rectangular projection, ERP)에 내재된 왜곡은 비자명한 문제이지만, 고품질을 달성하기 위해서는 공간적 상관관계의 효과적인 활용이 핵심이다. 이에 따라, 특히 극(pole) 근처에서의 크고 왜곡된 불일치(disparity)를 극복하기 위해 장거리 360 불일치 추정기(DE360)를 개발한다. 또한 왜곡을 우회하고 영상 품질을 유지하기 위해, 위도(latitude)를 인지하는 합성곱(LatConv)을 설계하여 보다 견고한 특징을 생성한다. 더불어 합성 360° 이미지 데이터셋을 개발하고, 합성 360° 이미지로부터 학습한 지식을 카메라로 촬영한 이미지의 초해상도(SR)를 수행하는 심층 신경망에 전달하는 합성-대-실(real) 학습 방식을 도입한다. 제안된 네트워크는 충분한 수의 합성 샘플을 통해 ERP 도메인에서 유용한 특징을 학습할 수 있다. 이후 네트워크는 제한된 수의 실제 데이터셋을 사용하여 전이 레이어(transfer layer)를 통해 카메라 촬영 이미지에 맞게 적응된다.
https://doi.org/10.1109/access.2021.3128574
Computer science
Artificial intelligence
Computer vision
Distortion (music)
Convolution (computer science)
Image resolution
Convolutional neural network
Artificial neural network
2
Article
|
·
인용수 4
·
2020
Super-resolution of Multi-view ERP 360-Degree Images with Two-Stage Disparity Refinement
Hee-Jae Kim, Je‐Won Kang, Byung-Uk Lee
본 논문에서는 적도좌표법(equirectangular projection, ERP) 형식의 다중 시점 360도 이미지에 대한 새로운 초해상도(super-resolution, SR) 기법을 제안한다. 우리가 아는 한, 제안된 알고리즘은 ERP 형식의 다중 시점 360도 이미지에 대한 최초의 연구이다. 다중 시점 초해상도(MV-SR)에서는 서로 다른 시점에서의 특징에 대한 지식을 융합하는 것이 중요하지만, 기존 CNN은 합성곱이 이동 불변(shift invariant)이라는 특성 때문에 이 과제를 거의 달성하지 못한다. 따라서 본 연구는 ERP 도메인에서 다중 시점 간 상관성을 활용하기 위해 거칠게부터 정밀하게(coarse-to-fine) 접근을 취한다. 첫째, 기준 ERP에 대해 깊이 기반 워핑(depth-based warping)을 수행하여 목표 저해상도(low-resolution, LR) ERP와 동일한 시점의 이미지를 합성한다. 제안된 워핑 이후 두 ERP 이미지 간의 비선형 왜곡(nonlinear distortion)은 현저하게 감소될 수 있다. 둘째, 워핑된 기준 이미지와 LR 이미지 사이에 남아 있는 플로우(flow)를 정련하기 위해 플로우 추정기(flow estimator)를 사용한다. 본 CNN 아키텍처는 LR-ERP와 워핑된 기준 ERP의 특징을 결합하여 네트워크의 말단에서 SR을 생성한다. 실험 결과, 제안된 알고리즘은 MV-SR의 최신 기술(state-of-the-art)과 비교하여 다중 시점 360도 이미지의 SR 품질을 유의하게 향상시키는 것으로 입증된다.
https://dblp.uni-trier.de/db/conf/apsipa/apsipa2020.html#KimKL20
Computer science
Image warping
Artificial intelligence
Computer vision
Distortion (music)
Convolution (computer science)
Projection (relational algebra)
Pattern recognition (psychology)
Algorithm
Artificial neural network
3
Article
|
·
인용수 10
·
2020
Color image enhancement with high saturation using piecewise linear gamut mapping
Junhee Park, Byung-Uk Lee
IF 2.678 (2020)
Journal of Visual Communication and Image Representation
https://doi.org/10.1016/j.jvcir.2020.102759
Gamut
Hue
Artificial intelligence
Computer vision
Color space
Computer science
Color image
RGB color model
Color depth
Color balance
최신 정부 과제
8
과제 전체보기
1
주관|
2016년 9월-2019년 2월
|550,534,500원
커리어주도형 글로벌 여성공학인재 양성을 위한 선도 모델 개발 및 확산 사업단
본 과제는 대학별 여건에 맞춰 여학생 중심 공학교육을 개선하고, 공학 현장에 필요한 여성전문인력을 키워 미래 국가경쟁력을 높이려는 연구임. 연구목표는 대학별 특성에 맞는 여학생 맞춤형 공학교육 개선을 통해 여성전문인력을 양성하는 데 있음. 핵심 연구내용은 여성 공대 졸업생에게 유망한 분야를 발굴하고, 해당 분야에 적합한 교육과정 개발·운영, 진로취업 지원 및 공학교육여건 개선을 포함한 종합 교육프로그램 추진임. 기대효과는 공학분야 여성인재의 양적·질적 성장과 취업 연계 강화로 국가경쟁력 강화에 기여함.
2
주관|
2015년 11월-2018년 10월
|150,813,000원
초분광 영상을 이용한 색 항상성 연구
본 과제는 디지털 카메라 영상의 조명 영향을 제거해 색 항등성을 복구하는 연구임. 인간 시각 모델을 바탕으로 초분광 영상에서 지역 조명 성분을 분리하고 제거해 물체의 반사 스펙트럼을 구함. 연구 목표는 조명과 반사도가 기본 성분의 합으로 나타난다는 가정과 unmixing, sparse representation을 적용해 조명각 추정 오차를 10도 내외에서 5도 이하로 개선하고 RGB 색상공간에서 색 항등성을 구현하는 알고리듬을 평가·구현하는 데 있음. 기대 효과는 화이트 발란스 한계를 넘어 일반 환경에서 안정적 색상개선이 가능해 스마트폰·일반 카메라 색상처리 알고리듬에 적용되어 주관적 화질 향상에 기여하는 점임.
색 항등성
초분광 영상
조명 추정
희소 표현
3
주관|
2014년 6월-2016년 5월
|916,000,000원
차세대 폐쇄회로 카메라를 위한 4K급 영상처리 원천기술 및 SoC 플랫폼 개발
본 과제는 보안카메라용 이미지 신호처리 코어프로세서와 영상처리 IP를 개발해 CMOS 센서 영상을 선명하고 안정적으로 구현하는 연구임. 연구 목표는 CMOS 센서용 2D-DNR, DWDR 및 기본 영상처리 기능과 보안 특화 기능을 코어프로세서에 강화하는 데 있음. 핵심 연구내용은 3D-DNR 노이즈 제거, DWDR Dynamic Range 확장, AWB/AE, Gamma/Defect/Color Correction, Brightness/Contrast/Sharpness, DPC, DC-Iris Control, BLC, Motion Detection/Alarm, Privacy Mask, Mirroring, IR LED control 구현임. 기대효과는 고품질 보안영상 구현과 동작 알림·사생활 보호 등 기능 완성도 향상임.
영상처리
반도체
프로세서
폐쇄회로 카메라
알고리즘
최신 특허
특허 전체보기
상태출원연도과제명출원번호상세정보
등록2020ERP 기반 다시점 360도 영상의 초해상화 방법 및 영상처리장치1020200188790
등록2019다시점 360도 영상의 초해상화 방법 및 영상처리장치1020190162738
등록2017경련뇌파 조기탐지 방법1020170011142
전체 특허

ERP 기반 다시점 360도 영상의 초해상화 방법 및 영상처리장치

상태
등록
출원연도
2020
출원번호
1020200188790

다시점 360도 영상의 초해상화 방법 및 영상처리장치

상태
등록
출원연도
2019
출원번호
1020190162738

경련뇌파 조기탐지 방법

상태
등록
출원연도
2017
출원번호
1020170011142