홍익대학교 2024학년도 제 21회 소프트웨어융합학과 학술제 팀 프로젝트, VR 공간 이미지 제작 서비스
- 본 프로젝트는 사용자가 특정 공간에서 촬영한 동영상을 활용하여 모든 방향에서 해당 공간을 볼 수 있는 “파노라마 형태의 구(球)형 이미지”로, 가상 현실의 배경으로 적합한 “공간 이미지”를 생성하는 서비스입니다.
- 해당 서비스는 웹 애플리케이션으로 제공되며, 사용자가 생성한 공간 이미지를 손쉽게 공유하고 다른 사용자와 상호작용할 수 있는 기능을 지원합니다.
- 공간 이미지를 생성하는 과정은 동영상에서 추출된 프레임에 자체 개발한 이미지 초해상화 모델을 적용한 후 이미지 스티칭 기술을 사용하여 이루어집니다.
- 해당 모델은 기존 SRCNN 모델에 추가적인 레이어를 적용하고 더 많은 데이터를 학습하여 개발되었으며, 이를 통해 이미지 스티칭 품질을 개선하여 보다 왜곡이 최소화된 고해상도 공간 이미지를 제공하는 것에 기여한다.
- 사용자는 스마트폰으로 촬영한 동영상만으로 고가의 장비 없이 손쉽게 공간 이미지를 제작할 수 있습니다.
- 사용자가 생성한 공간 이미지는 가상 현실 플랫폼의 배경으로 활용될 수 있습니다.
- 문화체육관광부 및 지방자치단체와의 협업을 통해 관광객 유치 등을 통한 지역 사회 발전을 도모할 수 있습니다.
- 화재 현장의 발화 지점에 대한 의견 공유 시스템과 같이 사건 현장 철수 후의 재확인을 위한 서비스에 사용될 수 있습니다.
| 권덕재(B989003) | 강보찬(B989001) | 김기현(B989009) | 이승호(B989037) |
|---|---|---|---|
 |
 |
 |
 |
-
실제로 여러장의 이미지를 입력하여 공간 이미지를 생성했을 때 다양한 원인으로 인한 스티칭 오류가 발생할 수 있습니다.
- 입력받은 이미지들의 특정 부분에 공통된 특징점이 포함되지 않은 경우
- 특정 공간의 사진이 누락된 경우
- 손떨림 등으로 인해 각도가 틀어진 경우 등
-
그래서 저희는 동영상도 연속되는 수많은 이미지들일 뿐이라는 아이디어에서 시작하여 하나의 동영상으로부터 각 프레임 이미지들을 추출하는 방법을 고안하였습니다.
- 동영상에서 추출된 프레임 이미지들은 연속되는 이미지들이기 때문에 자연스럽게 이어지고, 사진들의 각도가 일정하게 유지된다는 장점이 있습니다.
- 그렇기 때문에 누락되는 공간이 최소화되고 위의 문제들을 해결할 수 있습니다.
- FE 웹 애플리케이션 사용언어 및 개발환경 :
- BE API 서버 사용언어 및 개발환경 :
- 스티칭 서버 사용언어 및 개발환경 :
- fe-web-application: iseungho/Capeasy
- be-api-server: juintination/vp-api-server
- stitching-api-server: WellshCorgi/stitching-api-server
