[분석정보] GDC 2014 인텔 RealSense Technology

2014년 1월에 개최된 " 2014 CES "에 맞춰, Intel은 노트북 PC에 내장 가능한 3D 카메라 모듈 " RealSense 3D camera " 라는 이 카메라를 활용하는 하드웨어 및 소프트웨어 총칭인 " Intel RealSense TechNology '(이하 RealSense)를 발표했다 ( 관련 기사 (본 기사의 링크가 아닌 타 언론사 기사 입니다-_-;; 내용은 비슷한데 또 쓸수도 없고;;. ).그 RealSense의 활용법을 설명하는 세션 " Learn to Create Next - Generation Gaming Interface Using Common Sense and Intel Real Sense Technology '이 Game Developers Conference 2014 (이하 GDC 2014) 3일째 2014년 3월 19일 열렸다. 세션을 담당한 것은 Intel에서 지각 컴퓨팅 (Perceptual Computing)의 연구 개발을 실시하는 엔지니어 Barry Solomon 씨. RealSense 실력이 엿보이는 세션의 개요를 보고하자.

IDF 2013 때의 동영상

2014년 1월에 발표된 리얼센스 3D 카메라 모듈

신형 3D 카메라와 RealSense SDK 인식 기능이 대폭 강화

　Intel은 이전부터 카메라를 사용한 3D 센서 기술로, 몸짓으로 PC를 조작 할 수있는 사용자 인터페이스 (이하 UI)를 연구하고 있었다. 이러한 UI를 탑재하는 시스템을, Intel은 " Using Common Sense "라고 칭하고 있다.
　RealSense는 Common Sense를 실현하는 기술의 하나다. 카메라 모듈의 RealSense 3D camera는 이미 장비 제조 업체에 출하를 시작하고 "2014년 중에 1만 이상의 장치에 내장 될 예정"(Solomon 씨) 이라는 것. 주요 탑재 제품은 노트북 PC 나 Ultrabook, All-in-One PC가 될 것 같다. 한편, 소프트웨어 개발자는 "Intel Perceptual Computing SDK"라고 하는 개발 키트가 배포되고 있다. 이 SDK는 조만간 내용을 재차, " Intel RealSense SDK '(이하 RealSense SDK)로 업데이트 될 예정이다. 다양한 새로운 기능이 추가되며, Unity 지원도 예정되어 있다고 한다.

2013 ~ 2014 년, RealSense 대한 변화를 나타낸 슬라이드. RealSense 3D camera가

출하 된것 외에도 SDK는 새로운 기능의 도입 및 개발자 리소스의 일원화,

Unity 대응 등이 예정되어 있다

　Solomon 씨의 세션에서 메인 항목이 RealSense SDK에서 추가 예정 기능이다. 아래에 게재한 슬라이드는 RealSense SDK의 기능을 나타낸 것으로, 오른쪽에 열거되어 있는 것이, 그 새로운 기능이다.

RealSense SDK의 주요 기능.

오른쪽의 노란색 테두리에 열거되어 있는 것이 새로 추가된 기능이다

　그러면, 기대의 새로운 기능을 살펴 보자. 먼저 Solomon 씨가 선보인 것은 손과 손가락의 인식 이다. "2013년 버전은 한손 7 포인트 밖에 인식하지 못했지만, 2014년판 에서는 양손 각각 22 점과 스컬 (뼈)의 인식이 가능하다"고 Solomon 씨는 말한다.
　데모의 모습을 동영상으로 올려 놨으니 꼭 보자. 손가락 관절 뼈의 움직임을 실시간으로 정밀하게 인식하고 있음을 알 것이다. Xbox one에 포함된 신형 "Kinect" 는, 손가락의 미세한 움직임도 인식 할 수있는 것이 장점의 하나인데, RealSense 도 그 문제에 관해서는 지지 않은 것 같다.

2013 년판과 2014 년판에서는 인식 수준에 상당한 차이가 있고,

손가락이나 관절, 뼈의 움직임까지 인식 할 수있게 되었다

RealSense SDK의 양손 손가락이나 관절의 인식 데모

얼굴 인식도 크게 향상 된다. 2013년 판은 간신히 얼굴을 인식 할 수 있다는 것 이지만, 2014년 판은 "얼굴의 방향이나 랜드 마크 (표적)의 인식이 가능해진다"(Solomon 씨). 눈 코와 입의 인식을 응용하여 표정을 인식하는 것까지 가능하게 되어 있다고 한다. 이쪽도 데모를 촬영한 동영상에서 확인하기 바란다. 얼굴 요소 및 얼굴의 방향을 거의 실시간으로 탐지 할 수 있는걸 알 수 있다.

RealSense SDK의 얼굴이나 표정 인식 데모

임펙트가 있는 신기능으로서 Solomon 씨는 " 3D 캡처 " 기능을 소개했다. 3D 카메라를 사용하여 물체의 형상을 디지털로 캡쳐하는 기능인 것이다. Solomon 씨는 "지금까지 많은 돈을 들이던 CG 캐릭터의 모델링이 이 기능을 이용해 간편하게 할 수 있게 되는 것은 아닐까? 개발자에게도 매우 효과적인 기능이다"라고 어필했다.

3D캡쳐의 기능은 게임 제작에도 도움이 되는 것은 아닌가? Solomon씨

또한 2014년 버전에서는 SDK가 처리된 데이터뿐 아니라 물체의 깊이에 대한 원시 데이터에 응용 프로그램이 액세스 할수 있게 된다. 사용법 나름 이겠지만 "응용 프로그램에서 새로운 응용이 가능하게 될 것"이라고 Solomon 씨는 이야기했다.

물체의 깊이에 대한 원시 데이터에 응용 프로그램이 액세스 가능해진다

Unity 플러그인 제공으로 게임 이용이 가속?

　큰 확장성을 실현한 RealSense 이지만 게이머에게 중요한 것은 RealSense에서 어떤 게임을 제공 할 수 있는가 여부다. 게임에 큰 영향이 될 것 같은 것은 서두에서도 언급 한 Unity의 지원일 것이다. RealSense SDK에는 Unity의 "Productivity Extension"(확장)이 포함되어 있다 라는 것으로, RealSense 기능을 Unity에서 개발하는 게임에 쉽게 도입 할 수 있게 된다. Unity에서 생성된 RealSense를 사용하여 게임의 데모를 동영상으로 올려 둔다. 화면의 왼쪽에서 오른쪽으로 이동하는 캐릭터를 RealSense 3D camera에서 가져온 손으로 운반하는 간단한 게임이지만, 이만큼의 기능이 복잡한 프로그래밍 없이도 사용할 수 있다고 하면 RealSense를 사용해 보고 싶은 게임 개발자도 많아지는 것은 아닐까?

Unity에서 RealSense 기능을 이용하기 위한

Productivity Extension이 RealSense SDK에서 제공

RealSense 3D camera를 사용 Unity 기반 게임 데모

그 외에 RealSense SDK에서 "Unity Web Socket '도 지원된다. 이것은 Web 응용 프로그램을 개발할 때 네트워크 소켓을 통해 RealSense에 액세스 할 수 있도록 하는 구조 다. 이것을 이용하면 JavaScript와 HTML5 같은 Web 프로그래밍 언어로, RealSense를 사용할 수 있는 것으로, 게임에 한정하지 않고 다양한 용도로 RealSense의 이용을 넓힐 수 있을 것 같다.

RealSense Intel이 2012년경 부터 진행하고 있는 프로젝트이지만, 처음에는 기능적으로도 빈약하고, "재미는 있지만, 실제로 응용 프로그램을 만들게 되면, 이것으로는 어려울 것이다"라고 느꼈을 것이다. 하지만 RealSense 3D camera와 RealSense SDK의 조합은 데모를 보았다면 손이나 얼굴 등을 정밀하게 인식 할 수 있어 "이것 이라면 대단한 일이 생길지도 모른다" 라고, 인식을 새롭게 했다 . 이것 이라면 게임 개발자에게도 받아 들여지는 것은 아닐까?

2014년 3월 22일 기사 입니다.

[분석정보] IDF 2013 베이징 Intel 프로세서에서 가능한 것은 Windows 만이 아니다