본 논문은 비정형 환경에서의 로봇 인지를 위해 시각 및 촉각 센서를 융합한 인지 알고리즘을 제안한다. 다양한 형태와 재질의 물체를 인식하고 이에 적절히 대응하기 위한 멀티모달 인식 구조를 설계하였으며, 로봇의 엔드 이펙터에 장착된 고해상도 촉각 센서와 RGB-D 카메라 데이터를 실시간으로 통합 처리한다. 실험 결과, 단일 센서 기반 접근법 대비 복잡한 환경에서의 물체 탐지 및 분류 정확도가 현저히 향상되었음을 확인하였다. 본 기술은 향후 의료, 돌봄, 제조 현장에서의 상호작용 로봇 개발에 유용하게 활용될 수 있다.