Düzey Kümelerini Kullanarak Renkli İmge Bölütleme Bekir DİZDAROĞLU Bilgisayar Mühendisliği Bölümü www.bekirdizdaroglu.com Düzey Kümeleriyle İmge Bölütleme 𝐈:  → ℝ3 ,  → ℝ2 bölgesinde tanımlı renkli bir imgeyi göstersin. 𝐈 imgesinin renk kanalları da ∀𝐩 = 𝑥, 𝑦 ∈  için 𝐼𝑖 𝐩 :  → ℝ, 1 ≤ 𝑖 ≤ 3 şeklinde ifade edilsin. Düzey Kümeleriyle İmge Bölütleme 1 ve 2 bölgeri arasında  fonksiyonuna ait sıfır düzey çevritiyle gösterilen bir eğri. Bu eğriye bağlı olarak bölütleme işlemi gerçekleştirilmektedir. Düzey Kümeleriyle İmge Bölütleme I. Düzey küme fonksiyonunu düzenlileştirme terim II. Sıfır düzey çevriti (eğri uzunluğunu) düzenlileştirme terimi III. Alan (bölütlenecek bölgelerinin ayrıştırılmasında kullanılan hız) terimi 𝐸  = 𝜇𝑅  + 𝐿  + 𝛼𝐴  . (I) (II) (III) Düzey Kümeleriyle İmge Bölütleme 1 −𝜀 +𝜀 𝑥 −𝜀 (a) (a) Heaviside fonksiyonu Hε +𝜀 (b) (b) Dirac delta fonksiyonu δε (c) Düzey küme fonksiyonu (başlangıçta) ∇ = 1 𝑥 Düzey Kümeleriyle İmge Bölütleme 2 >0 𝐶 = 𝜕1 Arkaplan =0 Sıfır düzey çevriti Nesne 1 <0 Alan 𝐴  =  𝐻𝜀 − 𝑑𝐩 Uzunluk 𝐿  =  𝛿𝜀  ∇ 𝑑𝐩 Kenar Tabanlı Yöntem 𝑅  = 𝑃  𝑑𝐩  𝐿  =  𝐴  =  g𝛿𝜀  ∇ 𝑑𝐩 g𝐻𝜀 − 𝑑𝐩 Düzey Kümeleriyle İmge Bölütleme • Enerji denkleminin minimize edilmesi: • Euler langrange – Gradient descent (Bayır inişi) -> İterasyonlu yaklaşım (Neumann sınır şartlarına bağlı olarak) min E       Isı denklemi 2 F    t 0    initial   F d F   d F   t     dx   dy  x y    𝑡+1 =  𝑡 + 𝜕 𝑡 /𝜕𝑡     2    xx   yy t Düzey Kümeleriyle İmge Bölütleme • Düzey küme fonksiyonu (DKF) iterasyon işleminde bozulmaya uğrayabilir. – DKFnu düzenlileştirme gerekiyor. – Bazı yaklaşımlarda düzenlileştirme yapılsa bile yine sorun çıkabiliyor. – Ayrıca türev alma işlemi de karmaşık (a) (b) (c) Düzey Kümeleriyle İmge Bölütleme • DKF nu düzenlileştirmek için yeter şart-> ∇ = 1 – Isı denklemi alınamaz: Düzenlileştirme yapar, ama en sonunda sıfır düzey çevriti yok olur -> ∇ – Potansiyel fonksiyonu 𝑃 ∇ = 12 ∇ 2 , 𝑖𝑙𝑘𝑙𝑒𝑛𝑑𝑖𝑟𝑚𝑒 = −𝑐0 0 bölgesinde 𝑐0 \0 bölgesinde Sabit bir sayi  𝑡=0 = 𝑖𝑛𝑖𝑡𝑖𝑎𝑙 𝜕𝑅 ∂2  ∂2  = 𝜇× + ∙ 𝜕𝑡 ∂𝑥 2 ∂𝑦 2 =0 Düzey Kümeleriyle İmge Bölütleme • Potansiyel fonksiyon olarak alınabilir. Ama yine sorun var. 𝑃 ∇ 𝜕𝑅 = 𝜇div 𝐷 ∇ ∇ = 𝜇 × ∇2  − div 𝜕𝑡 𝐷 𝑥 = 𝑥 −1 × 𝜕𝑃 𝑥 ∂𝑥 = 1 2 ∇ − 1 ∇ ∇ ∙ 2 Düzey Kümeleriyle İmge Bölütleme • En uygun potansiyel fonksiyon: 1 1 − cos 2π𝑥 if 𝑥 ≤ 1 2π 2 𝑃 𝑥 = 1 𝑥−1 2 if 𝑥 ≥ 1 ∙ 2 Düzey Kümeleriyle İmge Bölütleme Toplam Değişim Yöntemi • Enerji denklemi çözümlendiğinde: 𝜕 ∇ = 𝜇div 𝐷 ∇ ∇ + 𝜗𝛿𝜀  div g 𝜕𝑡 ∇ + 𝛼g𝛿𝜀  . Bu katsayının işaretine bağlı olarak sıfır düzey çevriti ya genişler (-) ya da daralır (+) =  g𝐻𝜀 − 𝑑𝐩 g = 1 + ∇(G𝜎 ∗ 𝐼) Kenar bildirici fonksiyon 2 −1 • Skaler Yöntem (Otomatik) 𝜇 × ∇2  − div ∇ ∇ + 𝜗𝛿𝜀  div ∇ s ∇ G 𝜎 ∗𝐼 −2 ∇ + 𝛼𝛿𝜀  ∇2 G𝜎 ∗ 𝐼 Ağırlıklı Toplam Değişim Yöntemi LoG Renkli İmge Bölütleme • Uzunluk teriminde, – renkli imgenin kenar bildirici fonksiyonu kanallarının birbirleriyle etkileşimleri dikkate alınarak hesaplandı • Alan teriminde, – iz tabanlı bir yöntem kullanılarak sıfır düzey çevritinin otomatik olarak nesne sınırlarına konumlandırılması sağlandı Renkli İmge Bölütleme • Uzunluk ve Alan terimleri yeniden düzenlendi. s ∇𝐈 𝜕 = 𝜇div 𝐷 ∇ ∇ + 𝜕𝑡 𝛿𝜀  div ∇ s ∇𝐈 −2 3 1 = − 2 2 + ∇𝐈 ∇ + 𝛼𝛿𝜀  trace 𝐓𝐇𝑖 . Ağırlıklı Toplam Değişim Yöntemine bağlı Uzunluk terimi İz Yaklaşıma bağlı Alan terimi Renkli İmge Bölütleme Bazen imgenin geometrik yapısı tam olarak elde edilemez. Renkli İmge Bölütleme (K)ırmızı, (Y)eşil ve (M)avi renk kanalları Renkli İmge Bölütleme Yapı tensörü k11 k12 𝐊= k21 k22 𝐾𝑥2 + 𝑌𝑥2 + 𝑀𝑥2 = 𝐾𝑦 𝐾𝑥 + 𝑌𝑦 𝑌𝑥 + 𝑀𝑦 𝑀𝑥 𝐾𝑥 𝐾𝑦 + 𝑌𝑥 𝑌𝑦 +𝑀𝑥 𝑀𝑦 , 2 2 2 𝐾𝑦 + 𝑌𝑦 + 𝑀𝑦 İki tane pozitif özdeğer, değişim miktarını verir 𝜆± Dikgen iki tane özvektör, yön bilgisini verir 𝜑± Renkli İmge Bölütleme 3 𝑁= 𝜆+. 𝑁− = 𝜆+ − 𝜆−. 𝑁+ = ∇𝐈 = 𝜆+ + 𝜆− = 𝐺σ ∗ ∇𝐼𝑖 2. 𝑖=1 g = 1 + ∇(G𝜎 ∗ 𝐈) 2 −1 Renkli İmge Bölütleme • Yayınım tensörü − + − − 𝐓 = s 𝜆 ,𝜆 𝜑 𝜑 −𝑇 + + − + + s 𝜆 ,𝜆 𝜑 𝜑 s − 𝜆+, 𝜆− = 1 + 𝜆+ + 𝜆− s + 𝜆+, 𝜆− = 1 + 𝜆+ + 𝜆− +𝑇 −𝑎 1 −𝑎 2 𝑎1 < 𝑎2 • Hessian Matrisi 2 2 𝜕 𝐼𝑖 𝜕𝑥 𝐇𝑖 = 2 𝜕 𝐼𝑖 𝜕𝑦𝜕𝑥 2 𝜕 𝐼𝑖 𝜕𝑥𝜕𝑦 𝜕 2 𝐼𝑖 𝜕𝑦2 1 𝐇 𝑘, 𝑗 = 3 3 𝐇𝑖 𝑘, 𝑗 , 𝑘, 𝑗 = 1, … ,2 𝑖=1 Optimize edilmesi gerekiyor Renkli İmge Bölütleme •İz tabanlı yaklaşımla, trace 𝐓𝐇 imge kenarında otomatik olarak işaret (+) ve (-) olarak değişiyor. Renkli İmge Bölütleme Skaler Yöntem (b) (a) (c) Önerilen Yöntem (f) (e) (d) Düzey fonksiyonu (g) (h) Renkli İmge Bölütleme (a) (a) Skaler Yöntem (b) (b) Önerilen Yöntem Renkli İmge Bölütleme (a) (a) Skaler Yöntem (b) (b) Önerilen Yöntem Renkli İmge Bölütleme Teşekkürler… Sorular ?