Dijital Görüntü İşleme Teknikleri Ders Notları, 2014 Doç. Dr. Fevzi Karslı Harita Mühendisliği Bölümü Mühendislik Fakültesi KTÜ 16 Ekim 2014 Perşembe 1 Ders Planı ve İçeriği 1. Hafta 2. Hafta 3. Hafta 4. Hafta Dijital Görüntü İşleme Fevzi Karslı, KTÜ Giriş, dersin kapsamı, temel kavramlar, kaynaklar. Dijital görüntünün temelleri, görüntü geometrisi. Görüntü sayısallaştırma, örnekleme. Dijital görüntü özellikleri, görsel algılama elemanları. 5. Hafta Görüntü işlemede veri yapıları. 6. Hafta Görüntü ön işleme, piksel parlaklık dönüşümleri, geometrik transformasyon, görüntü restorasyonu. 7. Hafta Kontrast iyileştirme, Lineer kontrast iyileştirme, görüntü eşikleme. 8. Hafta 1. Arasınav 16 Ekim 2014 Perşembe 2 Ders Planı ve İçeriği 9. Hafta 10. Hafta Dijital Görüntü İşleme Fevzi Karslı, KTÜ Histogram, Gri-düzey histogram, Lineer olmayan iyileştirme (Histogram eşitleme). Uzaysal iyileştirme, uzaysal filtreleme, gürültü giderme. 11. Hafta Frekans uzayında görüntü iyileştirme, alçak geçişli filtreler, yüksek geçişli filtreler. 12. Hafta Morfolojik görüntü işleme algoritmaları. 13. Hafta 14. Hafta 15. Hafta 16 Ekim 2014 Perşembe Görüntü segmentasyonu, geometrik dönüşümler. Görüntü sınıflandırma, detay görüntüleme ve tanıma. MATLAB yazılımı ile görüntü işleme uygulamaları. 3 Kaynaklar-Yazılım Dijital Görüntü İşleme Fevzi Karslı, KTÜ 1. Digital Image Processing http://www.engr.uiowa.edu/~dip/LECTURE/lecture.html 1. Lillesand, T.M , Kiefer, R.W., Remote Sensing and Image Interpretation, John Wiley Sons, USA, 1997. 1. Schowengerdt, R.A., Techniques for Image Processing and Classification in Remote Sensing, Academic Press, 1983. 2. Gonzalez, R. C., Woods, R. E., Eddins, S. L., Digital Image Processing Using Matlab, Prentice Hall, 2004. 3. Russ, C. J., Image.Processing.Handbook, CRC Press, Taylor & Francis, 2007. 4. MATLAB (Image Processing Toolbox) Post message: [email protected] Subscribe: [email protected] 16 Ekim 2014 Perşembe 4 Ölçme ve Değerlendirme Etkinlik Sayı Dijital Görüntü İşleme Fevzi Karslı, KTÜ Katkı Oranı Ara Sınav 1 % 30 Yarıyıl Sonu Sınavı 1 % 50 Ödev (Proje) 1 % 20 16 Ekim 2014 Perşembe 5 Bilgisayarda Görüşü (Computer Vision) nedir? Dijital Görüntü İşleme Fevzi Karslı, KTÜ “Görüş/görme nedir? Sağlıklı bir bireyin cevabı: “bakarak öğrenme”…. Görüntü ve videoların otomatik olarak anlaşılması veya anlamlandırılması - 3B gerçek dünyaya ilişkin özelliklerin görsel veriden hesaplanması (ölçme) - Algoritma ve bazı gösterimlerle bir bilgisayarın obje, insan veya herhangi bir detayı tanıması (algılama ve yorumlama). 16 Ekim 2014 Perşembe 6 Neden bilgisayarda görme?  Görüntü/görüntü uygulamaları açısından,      Dijital Görüntü İşleme Fevzi Karslı, KTÜ İnsan faktörünü azaltma, görev kolaylaştırma, İnsan kabiliyetini artırma: insan-bilgisayar etkileşimi, gösterim (visualization) Robotik algı/otomatik işlem Görsel içeriği organize etme/erişim Görüş/görme araştırma hedefi açısından,    Bilgisayara görüntüleri anlama kabiliyeti kazandırma, İnsan beynine anlama ve modelleme desteği verme, Görsel operasyonları otomatikleştirme. 16 Ekim 2014 Perşembe 7 Neden bilgisayarda görme? Kişisel fotoğraf İzleme/gözetim ve güvenlik 16 Ekim 2014 Perşembe Dijital Görüntü İşleme Fevzi Karslı, KTÜ Sinema, haber/gazete, spor Tıbbi ve bilimsel görüntü 8 İlgili disiplinler Yapay zeka Grafik Görüntü işleme Bilgisayarda görme Dijital Görüntü İşleme Fevzi Karslı, KTÜ Bilgisayarda öğrenme Bilişim Algoritma 16 Ekim 2014 Perşembe 9 Uygulama Alanları   Tıbbi görüntü analizi Güvenlik       Biyometrik Gözetim/izleme Takip/izleme Hedef tanıma Uzaktan algılama Robotik 16 Ekim 2014 Perşembe      Dijital Görüntü İşleme Fevzi Karslı, KTÜ Endüstriyel işleme, kalite kontrol Doküman analiz Multimedya İnsan-bilgisayar etkileşimi … 10 Tıbbi görüntü analizi 16 Ekim 2014 Perşembe Dijital Görüntü İşleme Fevzi Karslı, KTÜ 11 Tıbbi görüntü analizi 16 Ekim 2014 Perşembe Dijital Görüntü İşleme Fevzi Karslı, KTÜ 12 Tıbbi görüntü analizi 16 Ekim 2014 Perşembe Dijital Görüntü İşleme Fevzi Karslı, KTÜ 13 Tıbbi görüntü analizi 3B görüntü: MRI, CT 16 Ekim 2014 Perşembe Dijital Görüntü İşleme Fevzi Karslı, KTÜ Görüntü destekli tedavi 14 Tıbbi görüntü analizi Dijital Görüntü İşleme Fevzi Karslı, KTÜ Kanser tespiti ve sınıflandırma 16 Ekim 2014 Perşembe 15 Tıbbi görüntü analizi Dijital Görüntü İşleme Fevzi Karslı, KTÜ Akciğer kesiti 16 Ekim 2014 Perşembe 16 Biometrik 16 Ekim 2014 Perşembe Dijital Görüntü İşleme Fevzi Karslı, KTÜ 17 Gözetim ve izleme 16 Ekim 2014 Perşembe Dijital Görüntü İşleme Fevzi Karslı, KTÜ 18 Gözetim ve izleme 16 Ekim 2014 Perşembe Dijital Görüntü İşleme Fevzi Karslı, KTÜ 19 Gözetim ve izleme 16 Ekim 2014 Perşembe Dijital Görüntü İşleme Fevzi Karslı, KTÜ 20 Gözetim ve izleme Dijital Görüntü İşleme Fevzi Karslı, KTÜ Trafik detay/yoğunluğunu çıkarma 16 Ekim 2014 Perşembe 21 Gözetim ve izleme Dijital Görüntü İşleme Fevzi Karslı, KTÜ UAV (IHA) videosundan takip 16 Ekim 2014 Perşembe 22 Araç ve yaya koruma Dijital Görüntü İşleme Fevzi Karslı, KTÜ Şerit ihlal uyarımı, çarpışma uyarısı, trafik ışığı tanıma, yaya tanıma, kör nokta uyarısı 16 Ekim 2014 Perşembe 23 Orman yangını izleme sistemi Dijital Görüntü İşleme Fevzi Karslı, KTÜ Erken uyarı: orman yangını 16 Ekim 2014 Perşembe 24 Robotik 16 Ekim 2014 Perşembe Dijital Görüntü İşleme Fevzi Karslı, KTÜ 25 Robotik 16 Ekim 2014 Perşembe Dijital Görüntü İşleme Fevzi Karslı, KTÜ 26 Otomatik navigasyon 16 Ekim 2014 Perşembe Dijital Görüntü İşleme Fevzi Karslı, KTÜ 27 Otomatik navigasyon Dijital Görüntü İşleme Fevzi Karslı, KTÜ Michigan State Üniversitesi 16 Ekim 2014 Perşembe 28 Yüz belirleme ve tanıma 16 Ekim 2014 Perşembe Dijital Görüntü İşleme Fevzi Karslı, KTÜ 29 Endüstriyel otomasyon Dijital Görüntü İşleme Fevzi Karslı, KTÜ Otomatik meyve dizimi 16 Ekim 2014 Perşembe 30 Posta hizmet otomasyonu Dijital Görüntü İşleme Fevzi Karslı, KTÜ 16 Ekim 2014 Perşembe 31 Optik karakter tanıma Rakam tanıma 16 Ekim 2014 Perşembe Dijital Görüntü İşleme Fevzi Karslı, KTÜ Plaka tanıma 32 Doküman analizi 16 Ekim 2014 Perşembe Dijital Görüntü İşleme Fevzi Karslı, KTÜ 33 Sportif görüntü analizi Dijital Görüntü İşleme Fevzi Karslı, KTÜ Tenis izleme sisteki 16 Ekim 2014 Perşembe 34 Obje tanıma 16 Ekim 2014 Perşembe Dijital Görüntü İşleme Fevzi Karslı, KTÜ 35 Arazi örtüsü sınıflandırma 16 Ekim 2014 Perşembe Dijital Görüntü İşleme Fevzi Karslı, KTÜ 36 Arazi örtüsü sınıflandırma 16 Ekim 2014 Perşembe Dijital Görüntü İşleme Fevzi Karslı, KTÜ 37 Obje (arazi nesnesi) tanıma Dijital Görüntü İşleme Fevzi Karslı, KTÜ 16 Ekim 2014 Perşembe 38 Obje (arazi nesnesi) tanıma Dijital Görüntü İşleme Fevzi Karslı, KTÜ Bina ve bina gruplarını tanıma/tespit/belirleme 16 Ekim 2014 Perşembe 39 3B tarama ve model oluşturma Dijital Görüntü İşleme Fevzi Karslı, KTÜ 16 Ekim 2014 Perşembe 40 3B modelleme 16 Ekim 2014 Perşembe Dijital Görüntü İşleme Fevzi Karslı, KTÜ 41 Hareket algılama/yakalama 16 Ekim 2014 Perşembe Dijital Görüntü İşleme Fevzi Karslı, KTÜ 42 Hareket algılama/yakalama Dijital Görüntü İşleme Fevzi Karslı, KTÜ Microsoft XBox Kinect 16 Ekim 2014 Perşembe 43 Görüntü mozaiği 16 Ekim 2014 Perşembe Dijital Görüntü İşleme Fevzi Karslı, KTÜ 44 Görüntü mozaiği 16 Ekim 2014 Perşembe Dijital Görüntü İşleme Fevzi Karslı, KTÜ 45 Kritik konular/durumlar Dijital Görüntü İşleme Fevzi Karslı, KTÜ Görüntü üzerinde:  Hangi bilgiler çıkarılmalı?  Nasıl çıkarılabilir (bu bilgiler)?  Nasıl temsil edilebilir/gösterilebilir (bilgiler)?  Bilginin anlaşılması ve analizi için nasıl kullanılmalı? 16 Ekim 2014 Perşembe 46 Algılama ve gruplandırma Dijital Görüntü İşleme Fevzi Karslı, KTÜ Subjektif şekiller… 16 Ekim 2014 Perşembe 47 Algılama ve gruplandırma 16 Ekim 2014 Perşembe Dijital Görüntü İşleme Fevzi Karslı, KTÜ 48 Algılama ve gruplandırma Dijital Görüntü İşleme Fevzi Karslı, KTÜ Müller-Lyer Illusion 16 Ekim 2014 Perşembe 49 Bilgisayar ne elde eder (görüntüden)? Dijital Görüntü İşleme Fevzi Karslı, KTÜ 16 Ekim 2014 Perşembe 51 Zorluk 1: bakış açısı 16 Ekim 2014 Perşembe ©2012, Selim Aksoy Dijital Görüntü İşleme Fevzi Karslı, KTÜ 52 Zorluk 2: aydınlatma 16 Ekim 2014 Perşembe Dijital Görüntü İşleme Fevzi Karslı, KTÜ 53 Zorluk 3: oklüzyon (ölü bölge oluşumu) Dijital Görüntü İşleme Fevzi Karslı, KTÜ 16 Ekim 2014 Perşembe ©2012, Selim Aksoy 54 54 Zorluk 4: ölçek 16 Ekim 2014 Perşembe Dijital Görüntü İşleme Fevzi Karslı, KTÜ 55 Zorluk 1: deformasyon 16 Ekim 2014 Perşembe Dijital Görüntü İşleme Fevzi Karslı, KTÜ 56 Zorluk 1: arkaplan karışıklığı Dijital Görüntü İşleme Fevzi Karslı, KTÜ 16 Ekim 2014 Perşembe 57 Tanıma (recognition)  Dijital Görüntü İşleme Fevzi Karslı, KTÜ Renk (color), doku (texture), şekil (shape) ve hareket (motion) gibi işaretler tanıma için nasıl kullanılır?  Resmin hangi bölgeleri birlikte tanınmalıdır?  Detaylara odaklanmaksızın objeler nasıl tanınabilir?   Bağımsız parametreli objeler nasıl tanınabilir? … 16 Ekim 2014 Perşembe 58 Renk 16 Ekim 2014 Perşembe Dijital Görüntü İşleme Fevzi Karslı, KTÜ 59 Doku 16 Ekim 2014 Perşembe Dijital Görüntü İşleme Fevzi Karslı, KTÜ 60 Renk, doku ve yakınlık (proximity) Dijital Görüntü İşleme Fevzi Karslı, KTÜ 16 Ekim 2014 Perşembe 61 Segmentasyon (bölünme) Orjinal görüntüler 16 Ekim 2014 Perşembe Renk bölgeleri Doku bölgeleri Dijital Görüntü İşleme Fevzi Karslı, KTÜ Çizgi kümeleri 62 Segmentasyon 16 Ekim 2014 Perşembe Dijital Görüntü İşleme Fevzi Karslı, KTÜ 63 Şekil Dijital Görüntü İşleme Fevzi Karslı, KTÜ Tanınan objeler Model veritabanı 16 Ekim 2014 Perşembe 64 Belirleme/tespit 16 Ekim 2014 Perşembe Dijital Görüntü İşleme Fevzi Karslı, KTÜ 65 Belirleme/tespit 16 Ekim 2014 Perşembe Dijital Görüntü İşleme Fevzi Karslı, KTÜ 66 Belirleme/tespit 16 Ekim 2014 Perşembe Dijital Görüntü İşleme Fevzi Karslı, KTÜ 67 Tanıma 16 Ekim 2014 Perşembe Dijital Görüntü İşleme Fevzi Karslı, KTÜ 68 Parça/bölümler ve ilişkiler 16 Ekim 2014 Perşembe Dijital Görüntü İşleme Fevzi Karslı, KTÜ 69 İçerik 16 Ekim 2014 Perşembe Dijital Görüntü İşleme Fevzi Karslı, KTÜ 70 İçerik 16 Ekim 2014 Perşembe Dijital Görüntü İşleme Fevzi Karslı, KTÜ 71 İçerik 16 Ekim 2014 Perşembe Dijital Görüntü İşleme Fevzi Karslı, KTÜ 72 İçerik 16 Ekim 2014 Perşembe ©2012, Selim Aksoy Dijital Görüntü İşleme Fevzi Karslı, KTÜ 73 Bilgisayarda görme aşamaları Dijital Görüntü İşleme Fevzi Karslı, KTÜ  Alt-düzey görüntü  görüntü  Orta-düzey görüntü  detaylar (features / attributes) Görüntü analizi / görüntü anlama  Yüksek-düzey detaylar  “akla uygunlaştırma (making sense)”, tanıma 16 Ekim 2014 Perşembe 74 Düşük-düzey Dijital Görüntü İşleme Fevzi Karslı, KTÜ Keskinleştirme (sharpening) Bulanıklaştırma (blurring) 16 Ekim 2014 Perşembe 75 Düşük-düzey Dijital Görüntü İşleme Fevzi Karslı, KTÜ Canny orjinal görüntü Orta-düzey kenar görüntüsü Uzaysal Filtre kenar görüntüsü 16 Ekim 2014 Perşembe dairesel çizgi ve segmentler 76 Orta-düzey Dijital Görüntü İşleme Fevzi Karslı, KTÜ K-means kümeleme orjinal renkli görüntü 16 Ekim 2014 Perşembe bölge homojen renkli görüntü 77 Düşük-düzey’den yüksek-düzeye Dijital Görüntü İşleme Fevzi Karslı, KTÜ düşük-düzey Kenar görüntüsü Orta-düzey Yüksek-düzey 16 Ekim 2014 Perşembe düzenli çizgi kümesi 78 Görüntü oluşumu 16 Ekim 2014 Perşembe Dijital Görüntü İşleme Fevzi Karslı, KTÜ 79 Görüntü oluşumu Dijital Görüntü İşleme Fevzi Karslı, KTÜ Işık kaynağı Projeksiyon merkezi Obje görüntüsü 16 Ekim 2014 Perşembe 80 Görüntü oluşumu Ayrık sensor dizileri üzerine projeksiyon 16 Ekim 2014 Perşembe Dijital Görüntü İşleme Fevzi Karslı, KTÜ dijital kamera 81 Görüntü oluşumu Dijital Görüntü İşleme Fevzi Karslı, KTÜ Ortalama renk kaydı Örneklenmiş görüntü 16 Ekim 2014 Perşembe 82 Görüntü oluşumu Sürekli renk, ayrık lokasyon 16 Ekim 2014 Perşembe Dijital Görüntü İşleme Fevzi Karslı, KTÜ Ayrık gerçek renkli görüntü 83 Dijital Görüntü İşleme Fevzi Karslı, KTÜ Ayrık renler (çıkış) Dijital Görüntü oluşumu: Sayısallaştırma (Quantization) Sürekli renkler (giriş) 16 Ekim 2014 Perşembe 84 Örnekleme ve Sayısallaştıma Dijital Görüntü İşleme Fevzi Karslı, KTÜ pixel grid Gerçek görüntü 16 Ekim 2014 Perşembe örnekleme sayısallaştırma Örneklenmiş & sayısallaşmış görüntü 85 Dijital Görüntü Dijital Görüntü İşleme Fevzi Karslı, KTÜ Renkli görüntü her pikselde 3 değere; gri düzeyli görüntü ise 1 değere sahiptir. Her bir grid (piksel, resim elemanı) tek bir renge sahiptir. 16 Ekim 2014 Perşembe 86 Renkli görüntü l l l l Dijital Görüntü İşleme Fevzi Karslı, KTÜ 3 farklı banttan oluşur. Her bir bant temel renkleri temsil eder (red, green, or blue, or cyan, magenta, or yellow) ve gri düzeylidir. 3 bant birleşimi renkli görüntüyü oluşturur. Her piksel 3 elemanlı renk vektörü üretir. 16 Ekim 2014 Perşembe 87 Nokta işleme operasyonları Dijital Görüntü İşleme Fevzi Karslı, KTÜ - gamma - brightness orjinal + brightness + gamma histogram mod - contrast orjinal + contrast histogram EQ 16 Ekim 2014 Perşembe 88 Renkli algılama/renk algısı 16 Ekim 2014 Perşembe Dijital Görüntü İşleme Fevzi Karslı, KTÜ 89 Renkli algılama/renk algısı Dijital Görüntü İşleme Fevzi Karslı, KTÜ luminance Göz 3 tip foto alıcı görevi görür: RGB’ye duyarlıdır. hue saturation beyin foto alıcılar 16 Ekim 2014 Perşembe Beyin RGB’yi ayrık parlaklık ve renk kanllarına dönüştürür (LHS). Luminace: parlaklık, Hue: renk, Saturation: doygunluk. 90 Yeniden örnekleme (resampling) 16 Ekim 2014 Perşembe Dijital Görüntü İşleme Fevzi Karslı, KTÜ nearest neighbor nearest neighbor 8× 16× bicubic interpolation bicubic interpolation 91 Döndürme (rotation) Dijital Görüntü İşleme Fevzi Karslı, KTÜ Görüntü yürümesi. 16 Ekim 2014 Perşembe 92 Görüntü eğme (warping) 16 Ekim 2014 Perşembe Dijital Görüntü İşleme Fevzi Karslı, KTÜ 93 Uzaysal filtreleme blurred 16 Ekim 2014 Perşembe orjinal Dijital Görüntü İşleme Fevzi Karslı, KTÜ sharpened 94 Uzaysal filtreleme bandpass filter 16 Ekim 2014 Perşembe orjinal Dijital Görüntü İşleme Fevzi Karslı, KTÜ unsharp masking 95 Görüntü yürümesi regional Dijital Görüntü İşleme Fevzi Karslı, KTÜ vertical original zoom 16 Ekim 2014 Perşembe rotational 96 Gürültü giderme blurred image 16 Ekim 2014 Perşembe color noise Dijital Görüntü İşleme Fevzi Karslı, KTÜ color-only blur 97 Gürültü giderme blurred image 16 Ekim 2014 Perşembe color noise Dijital Görüntü İşleme Fevzi Karslı, KTÜ 5x5 Wiener filter 98 Tuz & Biber Gürültü + shot noise 16 Ekim 2014 Perşembe s&p noise Dijital Görüntü İşleme Fevzi Karslı, KTÜ - shot noise 99 Lineer olmayan filtre: Medyan Dijital Görüntü İşleme Fevzi Karslı, KTÜ original 16 Ekim 2014 Perşembe s&p noise median filter 100 Lineer olmayan filtre: Min ve Max Dijital Görüntü İşleme Fevzi Karslı, KTÜ + shot noise 16 Ekim 2014 Perşembe min filter maxmin filter 101 Lineer olmayan işleme: İkili Morfoloji “L” shaped SE Foreground: white pixels O marks origin Background: black pixels 16 Ekim 2014 Perşembe Dijital Görüntü İşleme Fevzi Karslı, KTÜ Cross-hatched pixels are indeterminate. 102 Lineer olmayan işleme original 16 Ekim 2014 Perşembe opened Dijital Görüntü İşleme Fevzi Karslı, KTÜ reconstructed 103 Görüntü birleştirme Dijital Görüntü İşleme Fevzi Karslı, KTÜ Prof. Peters in his home office. Needs a better shirt. 16 Ekim 2014 Perşembe 104 Görüntü birleştirme Dijital Görüntü İşleme Fevzi Karslı, KTÜ This shirt demands a monogram. 16 Ekim 2014 Perşembe 105 Görüntü birleştirme Dijital Görüntü İşleme Fevzi Karslı, KTÜ He needs some more color. 16 Ekim 2014 Perşembe 106 Görüntü birleştirme Dijital Görüntü İşleme Fevzi Karslı, KTÜ Nice. Now for the way he’d wear his hair if he had any. 16 Ekim 2014 Perşembe 107 Görüntü birleştirme Dijital Görüntü İşleme Fevzi Karslı, KTÜ He can’t stay in the office like this. 16 Ekim 2014 Perşembe 108 Görüntü birleştirme Dijital Görüntü İşleme Fevzi Karslı, KTÜ Where’s a hepcat Daddy-O like this belong? 16 Ekim 2014 Perşembe 109