우리는 지금 어떤 컴퓨팅 시대에 살고 있는가? 수십 년 전 컴퓨터는 고정된 환경에서만 사용됐던 것과 달리, 이제는 △노트북 △스마트폰 △태블릿 △스마트 워치와 같이 휴대하기 편리한 형태의 컴퓨터가 보편적으로 사용되고 있다. 데스크톱 컴퓨터만 사용하던 시대에는 사용자가 컴퓨터가 있는 곳으로 가야만 컴퓨터 프로그램을 사용할 수 있었다. 이런 공간적인 제약은 컴퓨터의 사용 목적 및 범위에도 큰 제약을 가했다. 반면 지금은 지하철이나 침대 등 어디서나 컴퓨팅 기기를 사용하며, 물리적인 컴퓨팅 공간의 제약이 거의 없다. 이에 따라 컴퓨터 소프트웨어의 목적 및 범위도 크게 확장됐다. 카메라를 사용해 외국어를 실시간으로 자동 번역하고, 지하철로 이동하며 동영상을 스트리밍, 자동차에서 현재 위치를 추적해 최적 경로를 제공하는 등 과거에는 불가능했던 새로운 차원의 서비스가 지원되고 있다. 그렇다면 이와 같은 변화는 어디까지 이어질까? 본 기고문에서는 이런 컴퓨팅 환경의 변화를 진단해 보고, 이에 맞춰 본 연구진이 개발한 새로운 터치 인터페이스 기술을 소개하고자 한다.

유비쿼터스 컴퓨팅
1974년, 니콜라스 네그로폰테 MIT 교수는 유비쿼터스(Ubiquitous) 컴퓨팅이라는 새로운 컴퓨팅 패러다임을 제시했다. 앞으로는 컴퓨터가 장난감, 아이스박스, 자전거 등 가정 내 모든 물건과 공간에 존재하게 될 것이며, 우리는 컴퓨터를 의식하지 않고 장소에 상관없이 이용할 수 있게 된다는 것이다. 주위 모든 사물에 통신과 컴퓨팅을 가능하게 함으로써 사용자는 언제 어디서나 유용한 소프트웨어의 도움을 받게 된다. 당시에는 혁명적이었던 유비쿼터스 컴퓨팅 패러다임은 이제는 별로 새롭게 느껴지지 않을 정도로 우리 생활에 깊게 다가와 있다. 
전화를 받기 위한 도구에 불과했던 핸드폰은 이제 우리 생활과 뗄 수 없는 스마트 컴퓨팅 기기로 변했다. TV와 냉장고, 에어컨 등의 가전제품은 인공지능을 탑재하며 스마트 가전으로 변신했다. 심지어는 차량, 공장마저 스마트 카, 스마트 팩토리 등으로 유비쿼터스 시대에 맞춰 진화를 거듭했다. 

스마트 거울의 다양한 응용 사례

한편으로는 우리가 지금까지 전혀 기계라고 생각하지 못했던 것들도 이런 변화에 동참하고 있다. 대표적인 사례가 스마트 거울이다. 거울과 디스플레이, 컴퓨터를 결합한 스마트 거울은 다양한 분야에서 그 유용성이 입증됐다. 샤오미는 최근 자동차 안에서 별도의 디스플레이 없이 룸미러만으로 △전방 추돌 경고 △후방 감지 △블랙박스 등의 기능을 모두 지원하는 스마트 룸미러를 출시했다(그림 2). 스마트 거울이 설치된 의류 판매장에서는 옷을 여러 번 입어 보지 않고도 옷의 색깔을 바꾸거나 여러 옷을 한꺼번에 비교할 수 있다(그림 4). 미용실에서도 스마트 거울을 통해 사용자의 머리 모양이나 얼굴 모습을 미리 살펴볼 수 있다. 운동할 때는 스마트 거울을 통해 올바른 자세를 확인하고, 스마트 워치와 연결해 심박 수 등의 생체 정보를 확인할 수 있다(그림 3).

주요 성공 요소: 사용자 인터페이스
이렇듯 새롭게 탄생한 스마트 기기가 우리 생활에 유용하게 사용되려면 어떤 조건이 필요할까? 첫째, 기기가 네트워크에 항상 연결돼 있어야 한다. 둘째, 필요한 곳 어디서든 기기의 사용이 가능해야 한다. 셋째, 누구나 쉽게 사용할 수 있는 인터페이스가 제공돼야 한다. 넷째, 사용자의 상황에 알맞은 서비스를 제공해야 한다. 첫 번째 조건은 통신 기술, 두 번째 조건은 하드웨어 기술과 연관돼 있으며, 네 번째는 소프트웨어, 특히 인공지능 기술과 관련돼 있다. 본 연구진은 이들 중 세 번째 조건, 사용자 중심의 인터페이스에 주목했다.
컴퓨터 하드웨어의 변화에 맞춰 사용자 인터페이스도 꾸준히 변화해 왔다. 데스크톱 컴퓨터의 전형적인 인터페이스는 키보드와 마우스이다. 이들 인터페이스는 기존의 컴퓨팅 환경에서 매우 효율적이었지만, 노트북 컴퓨터에서는 마우스를 따로 휴대해야 하는 불편함을 유발했기 때문에 터치패드 기반 인터페이스를 도입했다. 기존 인터페이스가 사용 불가능한 스마트폰에서는 터치스크린을 통해 이들 인터페이스를 혁신적으로 대체했다. 이처럼 컴퓨터의 형태 변화에 맞춰 더 편리한 사용자 인터페이스가 제공되곤 했으며, 적합한 인터페이스의 차용 여부는 새로 출현한 컴퓨터의 성공을 결정짓는 가장 중요한 요소 중 하나다.

음향 기반 터치 입력 기술

현재 사용되는 대부분 스마트 거울은 음성 인식 기반 인터페이스를 사용하는데, 음성 감지와 분석 기술의 한계로 인해 사용자가 불편함을 느끼는 경우가 많았다. 본 연구진은 이를 개선하기 위해 어떤 사물 표면이든 쉽게 적용 가능한 터치 인터페이스 기술을 개발했다(그림 5). 별도의 터치패널을 사용하지 않고, 터치 음향을 기반으로 터치 위치를 파악하는 기술을 개발하는 것을 목표로 했다. 즉, 사용자가 사물 표면을 터치했을 때 나는 소리를 분석해 소리가 난 지점을 계산하는 것이다. 터치패널을 사용하는 경우에는 터치스크린 크기에 따라 제작 단가가 매우 높아지므로 스마트 거울 등 대형 표면에 적용하기 힘들다. 반면 터치 음향 기반 기술은 소정의 마이크만으로 적용할 수 있기 때문에 이와 같은 상황에서 경제성이 매우 높다. 
터치 음향 기반 입력 기술은 변화하는 사용 환경에서도 입력 위치를 정확하고 정밀하게 제공하는 것이 가장 중요하다. 사용자는 책상, 벽, 거울 등 여러 재질의 사물을 터치스크린으로 사용할 수 있어야 한다. 사용 중에 소리의 전파에 영향을 주는 주변 물체가 움직이거나, 소음 수준이 변화하더라도 정확한 터치 위치를 제공해야 한다. 이를 위해 본 연구팀은 사용자가 손톱이나 터치펜 등으로 사물을 터치했을 때 발생하는 충돌음이 고체 표면을 통해 전달되는 과정을 분석했다.

핵심 기술 요소: 고체 표면 통한 음향 분산 현상

소리는 공기뿐 아니라 고체 표면을 통해서도 전달된다(그림 6). 소리가 공기를 통해 전달될 때와 고체 표면을 통해 전달될 때에는 중요한 차이가 있다. 소리는 여러 주파수 성분으로 이뤄져 있다. 그런데 소리가 공기를 통해 전달될 때에는 모든 주파수 성분의 전달 속도가 거의 동일하지만, 고체 표면을 통해 전달될 때에는 주파수에 따라 다른 속도로 전달되는 분산(Dispersion) 현상을 겪는다. 이런 분산 현상으로 인해 각 주파수 성분별로 소리 신호의 도달 시간차가 생긴다. 이 차이는 소리 전달 거리에 비례해 증가하며, 주변 소음이 변화해도 비례 관계는 변하지 않는다.

세계 최고 수준의 음향 기반 터치 입력 기술
본 연구진은 이런 관찰에 기반을 둬 고체 표면을 통해 전달된 터치 소리를 스마트폰에 녹음한 후 간단한 조정을 통해 소리 전달 거리와 주파수별 도달 시간차의 관계를 파악했다. 이후 이 값을 이용해 사용자의 터치 입력 위치를 정확하게 계산하는 기술을 개발했다. 개발한 시스템은 약 17인치의 터치스크린에서 평균 0.4cm 이내의 측정 오차를 보였다. 나무 책상, 유리 거울, 아크릴 보드 등 다양한 종류의 표면에서 주변 물체의 위치나 소음이 변하더라도 항상 1cm 이내의 측정 오차를 보였다. 특히, 음향 기반 터치 입력 기술은 필연적으로 사전 교정 (Calibration) 과정을 수행해야 하는데, 기존 기술들은 수백 초 이상 걸리는 것과 달리 10초 이내의 간단한 교정을 통해 기술을 적용하는 데 성공했다. 이런 기술은 현재 세계 최고 수준이다.

음향 기반 터치 입력 기술의 도전과 미래
이 기술은 스마트 거울의 불편한 인터페이스를 개선할 뿐 아니라 다양한 기기를 위해 유용하게 사용될 수 있다. 마이크 3~4개의 설치만으로 터치 인터페이스를 제공하기 때문에 경제적일 뿐 아니라 기존에 설치된 구조물을 터치스크린으로 활용할 수 있다. 빔프로젝터 등을 활용해 벽과 바닥을 터치 가능한 스크린으로 만들 수도 있고, 차량 등에서 별도의 터치패널 없이 유리를 터치스크린으로 만드는 데에도 활용할 수 있을 것이다. 아직은 주변 소음 및 거리에 따른 음량 감소 등 아직 극복해야 할 기술적 문제들이 남아 있지만, 다양한 방면에서 이 기술이 활용된다면 유비쿼터스 시대를 한 걸음 앞당기는 데 크게 이바지할 것으로 기대된다.