Kinect Server - Ebubekir Akgül

Bilgisayar Mühendisliği Bölümü
TRUE3D
BIL 496
Bitirme Projesi
Ebubekir AKGÜL
Danışman: Yrd.Doç.Dr. Yakup GENÇ
Haziran 2014
GYTE - Bilgisayar Mühendisliği Bölümü
İçerik
•
•
•
•
•
•
•
•
Sistem Mimarisi
Kinect Server
Konum Algılama
Hareket Algılama
3D Görüntü Oluşturma
Sahneler
Kullanılan Teknolojiler
Başarı Kriterleri
GYTE - Bilgisayar Mühendisliği Bölümü
BIL496
521Bitirme
Dönem Projesi
Projesi
Bil
2
Sistem Mimarisi
Kinect Server
Programlar
arası
haberleşme
Unity3D
Pozisyon
&
Hareket
Yöneticisi
Kalibrasyon
Sahne güncellemesi
Konum
Tespiti
Hareket
Tespiti
3D Görüntü Oluşturma
Görüntü Kullanıcıya Gösterilir
GYTE - Bilgisayar Mühendisliği Bölümü
BIL496
521Bitirme
Dönem Projesi
Projesi
Bil
3
Kinect Server
• Konum ve el hareketleri takibi yapar
• Multi-client mimarisi (IPC)
• Algılanan hareketler
–
–
–
–
–
–
El kaldırma(raise)
Elle Seçim(swipe)
El sallama(wave)
Yumruk Atma(punch)
Elle büyütme(zoom)
Zıplama(jump)
GYTE - Bilgisayar Mühendisliği Bölümü
BIL496
521Bitirme
Dönem Projesi
Projesi
Bil
4
Konum Algılama
Kinect Server
Abonelik
Unity3D
• Konum bilgisi isteyen
programlar kaydedilir
Abonelik
Başlatma
Analiz &
işlem
Bilgi
alışverişi
• Kullanıcı sağ elini kaldırıp
sistemi başlatır
• Aktif(en son elini kaldıran)
kullanıcının takibi yapılıp
konum bilgiler okunur.
• Konum bilgisi isteyen
uygulamaya bilgi gönderilir.
GYTE - Bilgisayar Mühendisliği Bölümü
Kalibrasyon
Sahne
Güncellemesi
BIL496
521Bitirme
Dönem Projesi
Projesi
Bil
• Pozisyon isteği
bilgisi Kinect
Server’a gönderilir.
• Alınan pozisyon
bilgisi kalibre edilir.
• Kullanıcının
konumuna göre
sahne güncellenir.
5
Hareket Algılama
Konum
bilgileri
saklanır
İskelet
takibi yapılır
Saklanan
bilgilerde
hareket
analizi
yapılır
Algılanan hareket
uygulamalara gönderilir
GYTE - Bilgisayar Mühendisliği Bölümü
BIL496
521Bitirme
Dönem Projesi
Projesi
Bil
6
3D Görüntü Oluşturma
• 2 Kamera kullanılır
• Bir noktaya odaklanılır
• Kameralardan alınan görüntüler işlenir
GYTE - Bilgisayar Mühendisliği Bölümü
BIL496
521Bitirme
Dönem Projesi
Projesi
Bil
7
3D Görüntü Oluşturma(II)
• Alınan görüntüler Anaglyph veya Side By Side
metodlarına göre işlenerek 3D TV’ye
gönderilir
Anaglyph Görüntü
Side By Side Görüntü
*3D model assetstore.unity.com sitesinden alınmıştır
GYTE - Bilgisayar Mühendisliği Bölümü
BIL496
521Bitirme
Dönem Projesi
Projesi
Bil
8
Stüdyo Sahnesi(I)
• Kullanıcının konumuna göre kamera 3D cismin etrafında
hareket eder
• Kullanıcı eğilerek cismin altını da görebilir
*3D model www.tf3dm.com sitesinden alınmıştır
GYTE - Bilgisayar Mühendisliği Bölümü
BIL496
521Bitirme
Dönem Projesi
Projesi
Bil
9
Stüdyo Sahnesi(II)
• Kullanıcının konumuna göre koltuklar ve kamera hareket
ettirilir
• Elle seçim(swipe) hareketi yapılarak koltuklar arasında geçiş
yapılır
Swipe
Swipe
*3D model www.tf3dm.com sitesinden alınmıştır
GYTE - Bilgisayar Mühendisliği Bölümü
BIL496
521Bitirme
Dönem Projesi
Projesi
Bil
10
Pencere Sahnesi(I)
• Kullanıcı konumuna göre kameralar sanal bir çember
üzerinde hareket ettirilir
Golden Gate Köprüsü (San Francisco)
GYTE - Bilgisayar Mühendisliği Bölümü
BIL496
521Bitirme
Dönem Projesi
Projesi
Bil
11
Pencere Sahnesi(II)
• Sahne sabit, sadece kamera hareket ediyor
• Shader ile görsel iyileştirme
*3D model www.tf3dm.com sitesinden alınmıştır
GYTE - Bilgisayar Mühendisliği Bölümü
BIL496
521Bitirme
Dönem Projesi
Projesi
Bil
12
Oyun Sahnesi
• Kullanıcı hareketleri ve konumu ile kontrol
• Animasyon & ses
• Fizik motoru
GYTE - Bilgisayar Mühendisliği Bölümü
BIL496
521Bitirme
Dönem Projesi
Projesi
Bil
13
Kullanılan Teknolojiler
• Unity 3D: Sahne ve oyun tasarımı
• Kinect SDK: Kinect sensor ile haberleşme
• C# : Kinect server programı ve Unity Scripts
• Blender & 3Dmax: 3D model düzenleme
GYTE - Bilgisayar Mühendisliği Bölümü
BIL496
521Bitirme
Dönem Projesi
Projesi
Bil
14
Başarı Kriterleri
 Pencere ve stüdyo sahnesi
 Her tür için 2 farklı senaryo
– 100k ve 1m triangle model karmaşıklığı
 Tepki süresi < 100ms
GYTE - Bilgisayar Mühendisliği Bölümü
BIL496
521Bitirme
Dönem Projesi
Projesi
Bil
15
Thanks…
Teşekkürler
GYTE - Bilgisayar Mühendisliği Bölümü
BIL496
521Bitirme
Dönem Projesi
Projesi
Bil
16