관련 동영상은 https://youtu.be/CT4qnpMnrxg 에서 볼 수 있다.
졸음 운전을 방지할 수 있게 하는 이 기술은 자동차 안에 설치된 카메라로 운전자의 눈 깜박거림이나 얼굴 표정 등을 촬영하는 것을 포함해 신체적 접촉 없이 운전자의 상태를 정확히 측정한 다음 인공지능을 사용하여 이러한 신호를 처리함으로써 운전자의 가벼운 졸음[1]도 감지한다. 그뿐 아니라 파나소닉의 신기술은 운전자로 인한 자동차 내부 열 손실과 조명도 같은 자동차 안의 환경을 측정한 데이터를 사용하여 운전자 졸림 정도 추이도 예측한다. 또 이 기술에는 열 지각 추적 관찰 기능이 결합되어 있어서 운전자가 운전하는 동안 편안한 마음으로 깨어 있게 해 준다.
[1] 졸린 상태를 균일 간격으로 5등급으로 나눠 2등급으로 평가된(약간 졸림) 상태[1]
이 기술을 가지고 운전자의 현재 졸림 정도를 감지하고 자동차 내 환경을 기반으로 운전자의 졸음 추이를 예측하는 운전자 추적 관찰 시스템뿐 아니라 운전자가 편안한 마음으로 깨어 있게 하는 졸음 조절 시스템을 개발했다. 이들 시스템은 운전자가 운전 중에 잠드는 것을 방지한다.
이 신기술은 다음과 같은 특징이 있다.
1. 운전자의 가벼운 졸음을 눈 깜박거림과 얼굴 표정 등을 운전자가 의식하지 못하는 비접촉식으로 감지한다.
2. 자동차 내부 환경 데이터를 수집하여 운전자의 졸음 정도 추이를 예측한다.
3. 운전자의 열 지각 정도를 감지하고 추적 관찰하여 운전자가 편안한 마음으로 깨어 있게 한다.
기존 졸음 감지 시스템은 졸음의 추이를 예측하는데 어려움이 있다. 기존의 졸음 쫓는 자극 시스템은 경보음과 진동을 이용하여 사용자를 깨우는 방식으로 이는 그들의 마음을 불편하게 할 수 있다.
현재 22건의 특허를 출원중인 파나소닉의 신기술은 자가용과 상용 자동차, 사무실, 교육 기관 등의 장소에서 사람과 환경을 추적 관찰하는 시스템과 졸음 예측 시스템 및 사람을 깨어 있게 하는 졸음 조절 시스템 등에 사용하기에 적합하다.
주요 기술적 특징
1. 운전자의 가벼운 졸음을 눈 깜박거림과 얼굴 표정 등을 가지고 운전자가 의식하지 못하는 비접촉식으로 감지한다.
사람이 졸리면 여러 가지 몸짓이 나타난다. 예를 들면 사람이 졸리면 ‘졸린 얼굴 표정’을 짓거나 눈을 ‘특정한 방식으로 깜박’거린다. 이러한 몸짓을 확인하면 졸림의 정도를 감지할 수 있다.
파나소닉은 추적 관찰 카메라와 기타 시스템의 개발을 통해 다듬어진 이미지 인식 기술을 활용하여 사람의 눈 깜박거림과 얼굴 표정 등의 사진을 찍어 비접촉식으로 매우 정확하게 감지하는 기술을 최근 개발했다. 또 회사는 졸림과 생물학적 신호를 측정하고 생리적 측면에서 분석한 데이터와 눈 깜박거림과 얼굴 표정 등과 관련한 약 1천800개의 매개변수 사이의 관계 그리고 데이터베이스에서 추출한 졸음 상태 등 다양한 데이터를 데이터베이스화했다. 파나소닉은 공익재단인 오하라 기념 노동과학연구소(Ohara Memorial Institute for Science of Labor)와의 공동 연구에서 실시한 졸린 표정 분석 결과를 바탕으로 개인의 졸림 정도를 측정할 수 있는 인공지능을 개발했다.
이러한 분석과 연구 결과를 통해 심지어 본인이 느끼지 못하는 정도의 가벼운 졸음 징후 조차도 감지하고 졸음의 실제 정도를 확인할 수 있게 된 것이다.
2. 자동차 내 환경 데이터를 수집하여 운전자의 졸음 정도 추이를 예측한다.
일반적으로 사람들은 선선하고 밝은 환경에서는 졸음이 오지 않지만 따뜻하고 어둑한 환경에서는 쉽게 졸음이 온다. 따라서 졸음은 자동차 실내 온도와 밝기 등의 환경적 요소에 달려 있는 것으로 추정된다. 하지만 같은 온도라도 어느 사람은 옷을 많이 입는가 하면 다른 사람은 적게 입는다. 사람들의 행동 양식이 이처럼 다양하기 때문에 주변 온도만을 기반으로 졸음 정도를 측정하기는 어렵다.
파나소닉이 지바대학(Chiba University)과 실시한 공동연구 결과 졸음이 올 때 입은 옷의 두께와 상관없이 일정시간이 지나면 체온이 내려가는 것과 상관관계가 있는 것으로 나타났다. 또 파나소닉은 자체 개발한 적외선 배열 센서인 ‘그리드 아이’(Grid-EYE)[2]를 이용하여 인체의 체온을 비접촉 방식으로 측정하는 기술도 개발했다. 또한 회사는 환경 센서를 가지고 시간의 흐름과 주변 밝기가 졸음 정도에 미치는 영향을 확인했다.
이러한 연구 결과를 통해 인체의 열 손실(접촉하지 않고 측정)과 주변의 밝기를 가지고 졸음 정도의 변화를 예측할 수 있게 됐다.
3. 운전자의 열 지각 정도를 감지하고 추적 관찰하여 편안한 마음으로 깨어 있게 한다.
개인의 졸음 정도를 측정한 것을 기반으로 실내 온도나 공기 흐름을 조정하면 깨어 있게 하기가 더 쉽다. 하지만 실내 온도가 너무 낮으면 춥게 느껴져서 열적 쾌적감이 지장을 받는다. 파나소닉은 실내 에어컨과 기타 제품의 연구 개발(R&D)을 통해 축적한 열 환경과 생리학에 관한 지식을 적용하여 나라 여자대학(Nara Women's University)과 공동으로 열 지각을 측정하는 기술을 개발했다[2]. 이 기술은 공기 흐름과 기타 요소가 상당히 많은 자동차 안에서 사용할 수 있다. 적외선 배열 센서인 ‘그리드 아이’를 적용하면 온도를 조절하는, 예를 들면 에어컨의 온도를 최적화하는 수단으로 개인의 열 지각 정도를 지속적으로 추적 관찰할 수 있다. 이를 통해 사람이 편안한 마음으로 깨어 있게 한다[3].
[2] 적외선 배열 센서를 사용하여 비접촉 방식으로 사람의 열 지각(덥고 추운 것을 감지) 정도를 감지하는 기술
[3] 운전자의 졸음 정도가 높게 나타나면 경보음이나 휴식을 취하라는 안내가 나온다.
용어
[1] 졸린 상태를 균일 간격으로 5등급으로 나눔
사람의 졸림 정도를 얼굴 표정을 가지고 판단하는 척도. 졸림 정도는 다음 다섯 등급으로 평가한다: 1. 전혀 졸리지 않다, 2. 약간 졸리다, 3. 졸리다, 4. 매우 졸리다, 5. 심하게 졸리다.
출처: 키타지마 히로키(Hiroki Kitajima), 누마타 나카호(Nakaho Numata), 야마모토 케이이치(Keiichi Yamamoto), 고이 요시히로(Yoshihiro Goi): "자동차 운전자 졸음 예측(1차 보고, 얼굴 표정과 졸음의 효과적 예측 변수 지수 검토에 기반한 졸음 등급 책정)”(Prediction of Automobile Driver sleepiness[1st Report, Rating of Sleepiness Based on Facial Expression and Examination of Effective Predictor Indexes of Sleepiness]), 일본기계학회 트랜잭션(Transactions of the Japan Society of Mechanical Engineers)(C판), 63권 613호, 93~100페이지, 1997
.
[2] 적외선 배열 센서 ‘그리드 아이’(Grid-EYE)
이 적외선 배열 센서는 화소를 2차원으로 배열하여 인체나 물체에서 나오는 적외선(파장: 10)
하수지 기자
suji@healthinnews.co.kr