Kinect and its Application
Movement Research Lab
Kyungyong Yang
Overview

Kinect

Kinect in Research

Kinect in Medical
Controllers
XBOX 360 Kinect
Kinect Commercial

http://www.youtube.com/watch?v=T_QLguHvACs
Issues
Action
Object
Real World
Recognize
Computer
How to

3D Motion Capture

3D Surface Scan

Depth Camera

Etc…
Depth Camera
Depth Image
RGB Image
How Kinect Works
• Evaluate near-infrared reflection time
• Create accurate depth map
Depth Cube Display
Human Body Depth Image
• Can you recognize each body parts?
• Is it possible to computer?
Human Pose Recognition
Kinect Mainstream
Body Part Recognition

다양한 체형과 자세로 선행 학습
Human Joint Estimation


선행 학습한 데이터를 이용
새로 입력되는 데이터로 human pose 생성
Overview

Kinect

Kinect in Research

Kinect in Medical
Research

Issue

잘 동작하게 하기 위해서 많은 예제를 사전학습 해야 한다.

데이터를 무한정 늘릴 수 없으므로 선정이 중요하다.

중복되지 않으면서 부족한 예제가 없도록 만들자

Data의 uniform sampling이 필요
Research

앉는 동작 선행 학습

선 동작 선행 학습
Research

Labeling issue
Research

Joint estimation issue

Labeling에 많은 noise가 있을 경우 일부 body part가 없을
수 있다.

Labeling에 실패한 body part에 대한 처리 과정 필요
Research

Use bayesian estimation

P(X|Z) = max( P(X|X’)P(X’|Z’) ) P(Z|X) P(X)





P(X|Z) : Joint estimation X probability with given labeling Z
P(X|X’) : Transition probability from X’ to X
P(X’|Z’) : Last joint estimation probability
P(Z|X) : Labeling probability with given joint estimation X
P(X) : Joint estimation X probability with given model
Overview

Kinect

Kinect in Research

Kinect in Medical
Touchless Controller

http://www.youtube.com/watch?v=M-wLOfjVfVc
Medical Application

수술실에서 오염되지 않고 기기를 자유롭게 제어할 수
있다.

스페인 Tedesys 수술실

의사들이 손 동작을 통해 MRI 및 CAT 스캔 영상 제어.
Kinect in Operation Room

http://www.youtube.com/watch?v=ZEQcOydY2k8
Fitness Trainer Application

http://www.youtube.com/watch?v=2tSNsb7l0AM
홈 재활운동 트레이너

꾸준한 재활 운동이 필요한 환자

매일 의사나 전문가가 체크하기 어려움

Kinect를 이용한 자가 재활운동
Conclusion

At the research viewport


At the development viewport


Kinect is very strong depth input device.
Kinect is very strong motion controller.
At the medical viewport

Kinect is some aid.
Q/A
Thank You!