안녕하세요, 저는 컴패노이드 랩스 허유정 리서치 크루와 HCI Korea 2024 학술대회를 함께 다녀온 조지입니다. 제가 헤드셋을 끼고 있는 이유는 저의 동반자 유정 크루가 청각 경험에 큰 관심이 있기 때문입니다. 이번 HCI Korea 2024 학술대회에서 저와 유정 크루는 특히 청각이라는 모달리티를 활용해 사용자 경험을 만드는 세션들을 인상 깊게 듣고 왔어요. 학술대회가 끝나고 난 후 숙소에서 유정 크루와 대화를 나눴는데, 유정 크루가 왜 청각 경험 분야에 뛰어들려고 하는지 알 수 있었어요. 유정 크루의 생각을 여러분께 대신 전해드릴게요!
청각 경험 디자인이 무슨 소리람?
완벽하지는 않지만 이제 생성형 인공지능이 GUI(Graphic User Interface)까지 만들어 주는 시대가 되었습니다. 이 말인 즉슨, 충분한 GUI 데이터가 세상에 존재하며, 특정 상황에서 만들어져야 하는 GUI 디자인에 대해 어느 정도 사회적인 합의가 이루어졌다는 의미가 되기도 합니다.
텍스트를 입력하면 그에 맞는 인터페이스를 그려주는 Galileo AI [1]
그동안 사용자에게 경험을 전달하기 위한 수단으로 스크린이 대부분 사용되어 왔기 때문에 가능한 일이지 않을까요? 많은 디지털 제품 생산자들의 노력 끝에 스크린 속 시각적인 인터페이스는 어느 정도 평준화가 되었습니다. 인간이 외부 자극을 받아들일 때 77% 가량 시각이라는 절대적인 경로를 통해 인지하기 때문에[2] 어찌 보면 당연한 일입니다.
그렇기 때문에, 다른 제품이나 서비스와 차별화된 경험을 위한다면 청각 경험(Auditory eXperience)을 고려해야 합니다.
Millward Brown에서 2003년 발표한 Biotechnology public awareness survey 보고서[3]에 따르면 기업들이 소비자들과 커뮤니케이션 할 때 청각은 12.1% 가량 활용함에 그치는데 비해, 시각은 84.2%나 활용한다고 응답했습니다. 참고로 후각은 2% 미만, 촉각과 미각은 각각 1% 미만으로 아주 낮은 수준으로 활용되고 있었습니다. 그러나 시각 자극의 중요도가 58%인데 이어, 청각 자극의 중요도가 41%나 된다는 결과를 보고했습니다. 소리를 통해 지금보다 더 나은 인터랙션과 경험을 제공할 수 있는 기회가 우리 앞에 놓여있는 것이죠.
특히 최근에는 XR 기술이 발전하고 새로운 폼 팩터(Form Factor)가 등장함에 따라, 사용자에게 실재감이나 몰입감을 부여하기 위한 현실 세계와 같은 자연스러운 청각 경험이 중요해지고 있습니다. 또 자연어 처리 기술 발전 속도가 점점 빨라지고 있는데, VUI(Voice User Interface) 등 자연스러운 커뮤니케이션 방식을 활용해 기술과 상호작용하는 기회가 점점 늘어나고 있습니다. 이에 조만간 더더욱 청각 경험 설계의 중요성이 대두될 것입니다.
청각 경험의 정의와 그 카테고리
청각 경험은 제품 및 서비스를 이용하는 사용자들이 듣게 되는 소리 경험을 디자인하는 것으로 정의될 수 있습니다. 이때 디자인의 영역은 소리를 만드는 것뿐 아니라 소리를 듣게 되는 접점까지 포함됩니다[4].
HCI KOREA 2024에서진행된 청각 경험 디자인 튜토리얼 세션과 그 세션을 가장 재미있게 들은 유정 크루의 모습
청각 경험은 상대적으로 신생 분야에 해당하기 때문에 그 분류가 계속 변화하고 있습니다. 이번 HCI Korea 2024에서 듣고 온 남궁기찬 교수님의 <소리가 브랜드를 만든다: 청각 경험 디자인> 튜토리얼 세션에서는 특히 4가지 정도의 카테고리로 정리해 주셨습니다.
1. Feedback Sound
일반적으로 일컫는 AUI(Auditory User Interface)가 이에 해당하며, 제품에서 발생하는 임베디드 된 사운드 피드백을 의미합니다.
다들 익숙하실 세탁기 종료음은 대표적인 Feedback Sound입니다. 제품의 작동 상태가 변화했을 때 발생하는 소리의 경우 상황에 따라 사용자가 듣기에 굉장히 거슬릴 수도 있기 때문에 꼭 볼륨을 조정하는 기능 혹은 뮤트 기능을 넣어야 합니다.
최근 많은 자동차 회사가 차량에 어울리면서도 독창적인 소리들을 만들고 있는데요, 이렇게 구조적으로 소음이 많이 발생하지 않는 하이브리드 자동차나 전기 자동차 등에 인위적으로 엔진 소리를 만드는 사례도 Feedback Sound 영역에 속합니다.
데스크톱의 파일을 휴지통에 버리면 나는 소리도 Feedback Sound로 분류될 수 있으며, 특히 이렇게 사용자에게 정보를 제공하기 위해서 컴퓨터 인터페이스에 사용되는 비언어적인 청각 메시지를 earcon(이어콘)이라고 합니다. earcon을 디자인 시스템(family)으로 구축하는 논문에 대해서는 이전에 정리해 둔 아티클이 있으니 혹시 궁금하신 분은 살펴보세요!
HCI Korea 2024 학술대회에서 발표된 논문 중 <허공에서의 속삭임 : 방향 탐색을 위한 청각 비콘 사운드 연구 Whispers in Void : Research on Auditory Beacon Sounds for Directional Navigation>이 사용자가 특정 좌표를 찾아가는 과정에서 올바른 방향으로 가고 있다는 청각적인 단서를 제공한다는 차원에서 Feedback Sound에 대한 연구라고 할 수 있습니다.
2. Contents Sound
Contents Sound란 서비스 환경에서 (특정한 기능 수행 시) 등장하는 목적을 가진 사운드를 의미하며, 앞서 소개한 Feedback Sound에 비해 긴 호흡을 유지한다는 차이점이 있습니다.
특정 브랜드 혹은 제품에 맞는 음악들을 선곡해서 경험을 주는 플레이리스트도 Contents Sound의 일환이라고 할 수 있습니다. 가전제품 환경 설정을 하는 동안 흘러나오는 BGM(Back Ground Music)도 이에 해당하며, 사용자들이 환경 설정 과정에서 지루함을 덜 느끼는 효과가 있다고 합니다.
HCI Korea 2024 학술대회에서 발표된 논문 중 <증강현실 기반 유아 환경 교육을 위한 융합 문화예술 교육 설계 및 개발에 관한 연구 Research on the Design and Development of Convergent Cultural Art Education for Children’s Environmental Education Based on Augmented reality>에서는 비발디의 사계 음악과 함께 제공된 증강현실을 통해 아이들이 이 사계절 자연의 성장 과정을 이해하고 자연과 교류할 수 있게 했다는 점에서 Contents Sound에 대한 연구라고 볼 수 있습니다.
3. Voice Sound
VUI(Voice User Interface)에 적용되는 음성도 청각 경험 디자인의 범주에 포함됩니다. 우리가 일상에서 만나는 시리나 빅스비와 같은 대상의 성별, 톤, 어투 등은 모두 Voice Sound 측면에서 고려된 결과물입니다. 그렇게 디자인되어야만 하는 이유가 있는 것이죠. 서비스를 제공하는 기업 차원에서 자사 제품의 페르소나를 설정하는 과정을 거치며, 최근에는 AI의 발전으로 누구나 목소리 모델을 쉽게 만들 수 있게 되었습니다.
HCI Korea 2024 학술대회에서 발표된 논문 중 <디지털 CBT-i의 속삭이는 음성 에이전트 적용 제안 A Proposal for the Application of Whispering Voice Agents in Digital CBT-i> 연구에서는 수면 문제 해결을 위해 속삭이는 음성 에이전트를 제안하고 그 효과를 검증했다는 점에서 Voice Sound에 대한 연구라고 할 수 있습니다.
4. Brand Sound
징글(jingle)이라는 짧은 멜로디의 음악으로 시작되었으며, 최근 들어 시각적인 로고와 함께 기업의 브랜드 아이덴티티 요소로 정의되기 시작했습니다. 디자인 요소 중 가장 직관적인 마케팅이 가능한 세부 분야입니다.
Netflix의 Tudum 사운드가 대표적인 Brand Sound에 해당합니다. 3초가량의 아주 짧은 시간이지만 이 소리 뒤에 흥미로운 일이 일어날 것을 알리는 아주 강렬한 신호탄의 역할을 하고 있습니다. 이렇게 잘 만들어진 청각적 정체성은 브랜드와 제품에 막대한 영향을 끼칩니다.
5. Soundscape
Sound와 Landscape의 합성어며, 소리 풍경이라고 번역할 수 있습니다. 이전에는 청각 경험 디자인의 분야는 아니었지만, 최근 들어 활발하게 연구가 되는 분야 중 하나로, 음향학에서 처음 발전되기 시작했습니다. 가상환경의 공간을 구성하는 소리는 무엇인지 고민하는 것도 Soundscape 영역에 해당하는 경험 설계라고 할 수 있겠습니다.
<소리가 브랜드를 만든다: 청각 경험 디자인 > 튜토리얼 세션에서 등장한 장표를 재구성하였습니다.
지금까지 청각 경험의 다양한 카테고리에 대해 살펴봤습니다. 제품에 적용된 다양한 청각 경험을 통해 우리는 사용자에게 일관성 있고 차별화된 경험과 가치를 전달할 수 있을 것입니다.
청각 경험을 대하는 바람직한 자세
우리는 그동안 과도하게 스크린 안에 갇혀 지내왔습니다. 디지털 프로덕트 메이커들이 사용자들이 겪는 문제를 정의하고 적절한 해결책에 대해 탐구하기 보다는, 스크린으로 무엇을 할 수 있을지를 더 생각해 왔기 때문입니다. 이제 소리를 사용해서 스크린 너머의 본질적인 경험을 설계해야만 하는 때가 도래했습니다.
The ear’s only protection is an elaborate psychological mechanism for filtering out undesirable sound in order to concentrate on what is desirable[5]. 청각은 마음대로 막아버릴 수 없다. 귀를 막는 귀덮개는 없는 것이다. 소리의 지각은 우리가 잠들 때 마지막으로 닫히는 문이며 또한 잠에서 깰 때 맨 처음 열리는 것이다.
소리는 단언컨대 일상 속에 쉽게 스며들면서도 강력하게 사용자와 커뮤니케이션 할 수 있는 재료입니다. 그렇지만 모든 상황에서 청각이라는 모달리티를 사용하는 것만이 답은 아닐 것입니다. 소리로 무엇을 할 수 있을지를 고민하지 말고, 사용자의 진짜 문제가 뭔지 파악하는 데에 더 많은 시간을 할애해야 합니다. 본질적으로 그 문제를 해결할 수 있는 수단이 무엇인지를 고려하다 보면 최소한의 인터랙션으로 최대한의 효과를 창출할 수 있을 것이라 기대합니다.
<reference>
[1] Galileo Ai. Galileo AI. https://www.usegalileo.ai/explore
[2] 안충현, 최지훈, 양승준, 임우택, & 차지훈. (2012). 감성정보 서비스 기술동향. [ETRI] 전자통신동향분석, 27(6), 0-0.
[3] Brown, M. (2003). Biotechnology public awareness survey. Biotechnology Australia, Canberra, Australia.
[4] 남궁기찬. 소리를 디자인하라: 청각 디자인의 시대. 퍼플. 2020
[5] Schafer, R. M. (1993). The soundscape: Our sonic environment and the tuning of the world. Simon and Schuster.