디지털 소외 현상 해소를 위한 음성 안내 기반의 AR 키오스크 도우미 앱

한이음 프로젝트

개요

• 키오스크(KIOSK)는 약 2017년 전후로 한국에 도입되어 사업자들에게 업무 효율 향상, 인건비 절약, 사용자의 편리함 등의 장점으로 큰 인기를 끌면서 매장이나 대중교통 대금 결제 등 다양한 곳에서 활용되고 있습니다. 그러나 디지털 취약 계층은 정작 키오스크 사용에 대해 불편함을 느끼고 있다는 점이 현재 우리 사회에서 간과할 수 없는 문제입니다. 알기 어려운 기능들과 외래어들로 가득 찬 화면에서 디지털 취약 계층은 무시당하는 기분을 느끼며 당연히 누려야 할 권리를 누리지 못하고 있습니다. 따라서 정보 격차를 해소하고 디지털 취약 계층을 충분히 배려하여 건강하고 성숙한 디지털 사회로의 진입을 희망하는 마음에서 이 프로젝트를 제안하게 되었습니다. 기차역, 패스트푸드점, 영화관, 공항 등 키오스크가 설치된 곳은 많습니다. 프로젝트를 시작하게 된 계기가 된 유투버 박막례 할머니의 '막례는 가고싶어도 못 가는 식당'편을 보고 특히 바쁜 시간에 직원들의 도움을 받기 힘들 것이라고 생각되는 패스트푸드점 '맥도날드'의 키오스크에 집중하여 프로젝트를 개발하게 되었습니다.

---

주요 기능

• 키오스크 화면 인식 : 키오스크의 화면을 카메라로 비추면 미리 뷰포리아(Vuforia) 데이터베이스에 저장해둔 이미지를 이용하여 해당 키오스크 화면이 어떤 화면인지 인식하여 알맞은 안내를 제공합니다.
• 키오스크 사용 안내 음성 출력 : Google Text-To-Speech API를 사용하여 인식한 키오스크 화면에 알맞는 안내 문구를 음성으로 변환하여 안내합니다.
• 키오스크 사용 안내 AR 출력 : 음성으로만은 알기 어려운 기능들을 보다 직관적으로 안내하기 위해 AR 이미지나 애니메이션을 활용하였습니다. 키오스크 화면상 터치해야하는 부분에 테두리 이미지를 띄워주고 터치하는 동작의 애니메이션을 삽입하여 키오스크 사용법을 안내합니다.
• 원하는 메뉴 음성 인식 : 키오스크를 사용하여 주문을 원하는 사용자는 대부분 원하는 메뉴가 정해져있다는 점을 고려하여 키오스크 사용법을 안내하기 전에 원하는 메뉴가 있는지 물어봅니다. Google Speech Recognition API를 사용하여 사용자가 원하는 메뉴를 인식하면 해당 메뉴를 주문할 수 있는 사용법을 보다 자세히 안내합니다.
• UI : 키오스크 사용법을 어려워하는 사용자는 대체로 연령층이 높은 점을 고려하여 기존 서비스 대비 30% 이상 커진 텍스트로 안내합니다. 외래어 대신 대신할 수 있는 한국어로 대체했으며 모든 기능을 한국어로 표현했습니다. 어떤 사용자라도 직관적으로 사용법을 이해할 수 있도록 간단하고 직관적인 아이콘 및 이미지를 활용했습니다. 불필요한 기능이나 UI 없이 앱을 시작하자마자 바로 카메라로 키오스크 화면을 인식할 수 있도록 하였습니다.

---

사용 기술

• 유니티
• C#
• Vuforia
• Google Speech Recognitio API, Google Text-to-Speech API