Yüksek Çözünürlüklü Uydu Görüntüleri için Pankromatik Keskinleştirme Yöntemi Selçuk SÜMENGEN(a), Çağlar ŞENARAS(a), Ahmet ERDEM(a) (a) HAVELSAN AŞ., 06531, Ankara, [email protected] [email protected] [email protected] ÖZET Günümüzde gelişen teknolojiler ve maliyetlerin düşmesiyle birlikte birçok alanda uydu görüntüleri kullanılmaktadır. Mevcut fiziksel sınırlar uydular üzerine yerleştirilen sensörlerin belirli frekans aralıklarında belirli çözünürlüklerde görüntü yakalamasına izin vermektedir. Uzaktan algılama ve örüntü tanıma algoritmaları, yüksek uzamsal çözünürlükle birlikte detaylı renk ve doku özniteliğine sahip görüntülerde daha yüksek performans göstermektedir. Uzamsal ve spektral çözünürlüğü yüksek tek bir görüntü elde edebilmek amacıyla, aynı bölgeye ait çok bantlı spektral görüntülerle, uzamsal çözünürlüğü yüksek görüntünün birleştirilmesine ihtiyaç duyulur. Bu bildiride bu amaçla geliştirilmiş olan pankromatik keskinleştirme yöntemi anlatılmış, literatürdeki diğer algoritmalarla karşılaştırılmış ve örnek sonuçlar verilmiştir. Anahtar Kelimeler: Uzaktan Algılama, Görüntü İşleme, Sensör Füzyonu, Pan Keskinleştirme, Uydu Görüntüleri ABSTRACT Today, the emerging technologies in satellite imaging and reduced costs enables widespread use of satellite images. Sensors on satellites are capable of capturing images with limited spatial resolution and spectral bandwidth due to physical constraints. Remote sensing and pattern recognition algorithms perform effectively on images having high spatial resolution, detailed color, and texture attributes. There are many approaches for the fusion of low resolution Multi-Spectral and high resolution Panchromatic images in order to produce an image with high spatial and spectral resolution. In this paper, a pan-sharpening procedure is described to eliminate some of image registration errors, and the proposed method is compared with state of art techniques in the literature. Keywords: Remote Sensing, Pansharpening, Satellite Images Image Processing, Sensor Fusion, 1. GİRİŞ Günümüzde maliyetlerin düşmesiyle beraber ormancılıktan, şehir bölge planlamaya, savunmadan, eğlence amaçlı yazılımlara kadar birçok alanda uydu görüntüleri kullanılmaktadır. Ülkemizde uydu görüntüsü elde etme onusunda çalışmalar devam etmektedir. TÜBİTAK tarafından 2011 yılında gönderilmiş olan RASAT uydusu [1] ve şu an geliştirilmekte olan GÖKTÜRK uyduları ülkemizin uzaktan algılama konusunda attığı önemli adımlardır. Uydu görüntülerinin sensör bazında değişen karakteristikleri vardır. Fiziksel sınırlar uydular üzerine yerleştirilen sensörlerin belirli frekans aralıklarında belirli çözünürlüklerde görüntü yakalamasına izin vermektedir. Uydunun anlık görüş alanının görüntüde kaç piksel ile örneklendiği uzamsal çözünürlüğü belirler. Anlık görüş alanı sabit tutularak uzamsal ya da spektral çözünürlüğü farklı görüntüler elde edilebilir. Spektral çözünürlüğü yüksek tutmak için frekans bandı dar tutulduğunda sensör üzerine düşen foton sayısı azalmakta, sinyal gürültü oranı düşük çıkmaktadır. Dolayısıyla spektral çözünürlüğü artırmak için frekans bandı daraltıldığında uzamsal çözünürlük düşük tutulur[2]. Bu nedenle uydular üzerinde genellikle birden fazla sensör bulunmakta, tek bir sensörün uzamsal çözünürlüğü yüksekken diğer sensörlerin spektral çözünürlüğü yüksek tutulmaktadır. Uzamsal ve spektral çözünürlüğü yüksek tek bir görüntü elde edebilmek amacıyla, aynı bölgeye ait çok bantlı spektral görüntülerle, uzamsal çözünürlüğü yüksek görüntünün birleştirilmesine ihtiyaç duyulur. Görüntülerin füzyonu kavramsal olarak, piksel tabanlı, özellik tabanlı ve nesne tabanlı olmak üzere 3 gruba ayrılmıştır [3]. Pankromatik görüntü ile çok bantlı görüntünün piksel tabanlı olarak füzyonuna literatürde pankromatik keskinleştirme (pansharpening) işlemi denir. Pankromatik keskinleştirme yönteminde düşük çözünürlüklü çok bantlı bir görüntü ile daha yüksek çözünürlüklü pankromatik görüntü füzyon edilir ve yüksek çözünürlüklü ve çok bantlı görüntü elde edilir. Uzaktan algılama ve örüntü tanıma algoritmaları, yüksek uzamsal çözünürlükle birlikte detaylı renk ve doku özniteliğine sahip görüntülerde daha yüksek performans göstermektedir. Bu bildiride bu amaçla geliştirilmiş olan pankromatik keskinleştirme yöntemi anlatılmış, literatürdeki diğer algoritmalarla karşılaştırılmış ve örnek sonuçlar verilmiştir. 2. MEVCUT TEKNİKLER ve YAKLAŞIMLAR Pankromatik keskinleştirme için zaman içerisinde geliştirilen pek çok yöntemden en popüler ve etkin olanları bileşenlerin değiştirilmesi, dolaylı spektral katkı yöntemi, görüntü istatistiğine dayalı yöntemler, dalgacık (wavelet) tabanlı füzyon ve yüksek frekans enjeksiyonudur. Bileşenlerin değiştirilmesi ile elde edilen Pankromatik keskinleştirme tekniklerinden en bilinenleri Yeğinlik-Renk-Doyum (IHS) [4] ve Temel Bileşen Analizi (PCA)’dir [5]. IHS’de RGB renk uzayından IHS renk uzayına görüntü dönüştürülür. I bandının pankromatik görüntüye eş düştüğü varsayılarak, pankromatik görüntü ile değiştirilir. Ters IHS dönüşümü ile yüksek çözünürlüklü çok bantlı görüntü elde edilir. PCA’de birbirleriyle korelasyonu olan spektral bantlar temel bileşenlere dönüştürülür. İlk bileşen yüksek çözünürlüklü pankromatik görüntünün özelliklerini taşır. Bu bant pankromatik görüntü ile yer değiştirilir. Ters PCA yöntemi sonucu pankromatik görüntünün çok bantlı görüntü ile füzyonu sağlanmış olur.Literatürde yaygın olarak kullanılan bir başka kategori ise Dolaylı Spektral Katkı ya da diğer adıyla aritmetik kombinasyonlardır. Brovey Dönüşümü[6], Sentetik Değişken Oranı(SVR) ve Oran Artırma (RE) teknikleri[2] bunlar arasındadır. Brovey dönüşümünde her spektral bant yüksek çözünürlüklü Pan bandı ile çarpılır ve spektral bantların toplamına bölünür. SVR ve RE yöntemleri de benzerdir fakat MS toplamı için daha komplike yöntemler kullanırlar. Görüntü istatistiğine bağlı yöntemler sonuç görüntü ile düşük çözünürlüklü görüntü arasında lineer ilişki olduğu varsayımına dayalıdır. Yüksek uzamsal çöznürlüğe sahip görüntünün altörnekleme (downsampling) yapıldıktan sonra üstörnekleme (upsampling) yapılarak elde edilmiş kopyasının gerçek pankromatik görüntü ile olan farkı düşük uzamsal çözünürlüklü görüntünün üstörnekleme yöntemi ile elde edilmiş kopyasına eklenerek yüksek uzamsal ve spektral çözünürlüklü görüntü elde edilir[6]. Dalgacık (Wavelet) füzyonu literatürde çoklu çözünürlük analizi (MRA) metotları altında da incelenmektedir. Dalgacık füzyonunda yüksek çözünürlüklü pankromatik görüntü bir grup düşük çözünürlüklü görüntüye ve dalgacık katsayılarına dönüştürülür. Üstörnekleme (upsampling) yapılmış MS görüntü de dalgacık dönüşümü (Wavelet Transform) yapılarak düşük çözünürlüklü görüntüye ve dalgacık katsayılarına dönüştürülür. MS görüntünün dalgacık katsayıları pankromatik görüntünün dalgacık katsayılarıyla yer değiştirilir. Daha sonra MS görüntü ters dalgacık dönüşümü (Inverse Wavelet Transform) yapılarak yüksek uzamsal çözünürlüklü MS görüntü elde edilir. Yüksek frekans enjeksiyonu prensibiyle çalışan metotlar temel olarak ikiye ayrılır. Yüksek frekans ekleme (HFA) metodunda MS görüntü bantları üzerine pankromatik görüntünün yüksek geçer filtreden (high pass filter) elde edilmiş yüksek frekanslı bileşenleri doğrudan eklenir. Yüksek frekans modülasyonunda (HFM) ise, yüksek frekanslı bileşenlere sahip pankromatik görüntü, düşük geçer filtresi (low pass filter) ile filtrelenmiş haline bölünerek modülasyon değeri elde edilir. MS görüntünün her bir bandı bu modülasyon değeri ile çarpılarak MS görüntüye pankromatik görüntüden yüksek çözünürlüklü değerler katılmış olur, dolayısıyla spektral değerler muhafaza edilerek uzamsal çözünürlük artar. SFIM[6] metodu bu kategoride yaygın olarak kullanılan yöntemlerden biridir. 2.1 Pankromatik Keskinleştirme Sorunları Pankromatrik keskinleştirme öncesi en önemli işlemlerden biri bu iki görüntünün düzgün olarak çakıştırılmasıdır. Pankromatik ve spektral bantların birbirleriyle çakıştırılması esnasında görüntülerde oluşan kayma sonuçta üretilen görüntüde bulanıklığa neden olabilmektedir. Bu kaymaların temel nedenleri ise: Sensörlerin çekim zamanları arasında 0.5 saniyeye kadar fark bulunabilmektedir. Bu fark hareketli nesnelerin farklı yerde görüntülenmesine, uydunun hareketi de göz önüne alındığında sabit nesnelerin dahi çakışmamasına yol açmaktadır. İlaveten sensörlerin anlık görüş alanı tamamen üst üste oturmayabilir. Ayrıca veri sağlayıcı tarafından ortorektifikasyon yöntemiyle birleştirilen çoklu görüntülerde çakıştırma hataları söz konusu olabilmektedir. Bunun yanı sıra, spektral görüntünün uzamsal çözünürlüğünün pankromatrik görüntüden düşük olması nedeniyle pankromatrik keskinleştirme öncesi üst örnekleme yapılması gerekmektedir. Bu işlem sırasında kullanılan ara değerleme (interpolation) metodu pankromatrik keskinleştirme kalitesini doğrudan etkiler. Hızlı ara değerleme metodu olan en yakın komşuluk (nearest neighborhood) ara değerlemesinde, sonuç görüntüdeki bir piksel için orjinal görüntüdeki en yakın pikselin değerini atanır. Lineer ara değerleme yönteminde ise sonuç görüntüdeki bir pikselin değeri olarak, orjinal görüntüde o pikselin komşularının ağırlıklı ortalaması alınarak elde edilen değer atanır. Bu yöntemde üst örneklenmiş spektral görüntüde yumuşak geçişler oluşurken kenar bilgisi azalır. Kübik ara değerleme yönteminde ise sonuç görüntüdeki bir pikselin değeri olarak, orjinal görüntüde o pikselin komşularının değerlerinin kübik polinom ağırlıklı ortalaması atanır. Bu yöntem üst örneklemiş spektral görüntüde kenar bilgilerinin öne çıkmasını sağlar fakat çakışması düzeltilmemiş görüntülerde iyi sonuç vermez. 3. ÖNERİLEN YÖNTEM Uygulanan yöntem literatürde yüksek frekans modülasyonu (HFM) olarak sınıflandırılan ve SFIM (Smoothed Filter Intensity Modulation) olarak bilinen metoda yakındır. Bu metot pankromatik görüntünün, averaj filtresi uygulanması sonucu elde edilen haline bölünmesi ile ortaya çıkan modülasyon değerlerini spektral görüntüye yüksek frekanslı komponentlerin enjekte edilmesi maksadıyla kullanır. SFIM metodu literatürde spektral değerleri iyi muhafaza eden, fakat görüntülerin çakışmadığı durumlarda belirgin kalıntılar oluşturan bir teknik olarak bilinir. Önerilen yöntemde geleneksel SFIM metodundan farklı olarak pankromatik görüntü ile spektral görüntünün çakıştırılması işlemi özgün bir yaklaşımla yapılmaktadır. 3.1 Üst Örnekleme ve Kayma Düzeltme MS görüntüye üst örnekleme yapıldıktan sonra bir önceki bölümde değindiğimiz sorunlardan ötürü pankromatrik görüntü ve MS görüntü arasındaki çakışma hatasını bulmak ve buna göre MS görüntüyü kaydırmak gerekmektedir. Buradaki varsayımımız, pankromatik görüntünün geniş spektral frekans aralığı spektral bantların frekans aralıklarını kapsadığından, spektral görüntüden elde edilen yeğinlik değerlerinin histogramı ile pankromatik görüntünün histogramının benzer dağılımlarda olmasıdır. Örneğin, spektral bantları kırmızı, yeşil ve mavi olan bir uydu görüntüsünün bantları belirli katsayılar ile toplandığında elde edilen gri tonlama, pankromatik görüntünün gri tonlamasına benzer. Burada dikkat edilecek nokta, elde edilen görüntünün histogram değer aralığı ile pankromatik görüntünün histogram değer aralıklarının aynı olmayabileceğidir. Bu sebeple histogram eşleme (histogram matching) yöntemi kullanılarak, her iki görüntünün içerdiği aynı nesneler için de hemen hemen aynı piksel değerlerine sahip olması sağlanır. Doğru çakışmış görüntülerde, bu piksellerin üst üste gelmesi beklenir. Bu beklentiyle metodumuz elde edilen MS görüntüyü piksel düzleminde hareket ettirerek, pankromatik görüntü ve MS görüntü piksel değer farklılıklarını en aza indiren kayma miktarını bulmayı hedefler. Bu işlem için pankromatik görüntü ortadan 4 parçaya bölünür ve her bir parçanın merkezinden boyutları, resmin boyutunun 1/16'sına denk gelecek ve tek bir boyutu en fazla 2048 piksel olan toplam 4 örnek alt görüntü elde edilir. Kesilmiş olan MS görüntünün ilk 3 bandı kullanılarak, yeni bir gri tonlu görüntü elde edilir. Daha sonra her bir örnek alt görüntü aynı kordinatlardaki gri ölçekli görüntü ile karşılaştırılır ve 2 eksende kaydırılırılarak karşılaştırmalar tekrarlanır. Bu karşılaştırmalarda histogram eşleme yapıldıktan sonra, görüntülerin yeğinlik farkına bakılır. Alt görüntülere ait yeğinlik farkını en aza indiren kayma miktarları, ağırlıklandırılarak en uygun genel kayma miktarı bulunur. 3.2 Görüntü Kesme Çakıştırma işlemine ihtiyaç duyulmasına sebep olan görüntü çekim zaman farklılıkları ve sensörlerin farklı alanları görüntülemesi nedeniyle MS ve pankromatik görüntülerin sadece birinde piksel değerlerinin bulunmadığı sınır alanlar ortaya çıkmaktadır. MS ve pankromatik görüntünün çakışmayan bölümleri kesilerek görüntünün sadece çakışan bölümleri kullanılır. 3.3 Görüntülerin Füzyonu Bu çalışmada Yüksek Frekans Modülasyonu ile pankromatik ve MS görüntülerin füzyonu yapılmıştır. Görüntülerin çakıştırılmasından sonra, pankromatik görüntü düşük geçer filtre ile filtrelenir. Daha sonra MS görüntüdeki her pikselin değeri pankromatik görüntüdeki karşılık gelen piksel değeri ile çarpılır ve düşük geçer filtre ile filtrelenmiş pankromatik görüntünün piksel değerine bölünür. Elde edilen değer sonuç görüntüsüne yazılır. (1) Düşük geçer filtre olarak SFIM algoritmasında olduğu gibi averajlama metodu kullanılmıştır. Çekirdek (kernel) değerleri hesaplanırken çekirdek maskesinin altındaki tüm pikselleri aynı ağrılıkta kullanarak ortalama değerleri hesaplanmıştır. Bu sayede çekirdek boyutundan ufak uzamsal alanda gözlenen varyasyonlar yüksek frekanslı bileşen olarak filtrelenmiş, düşük frekanslı bileşenler muhafaza edilmiştir. Geliştirilmiş olan füzyon metodunda, elde ettiğimiz deneysel sonuçlardan yaptığımız çıkarımlara dayanarak SFIM algoritmasından farklı olarak kare çekirdek yerine disk çekirdek kullanılmıştır. Böylece ortalama değer hesaplanırken karenin köşelerindeki pikselleri hesaplamaya katmak yerine sadece Öklitsel uzayda belirli bir mesafenin altındaki pikseller ele alınmıştır. SFIM metodunda belirtildiği üzere [7], teorik olarak çekirdek büyüklüğünü MS görüntünün pankromatik görüntünün oranına eşit almak yeterli olmalıyken, daha geniş çekirdekler pankromatik görüntünün yüksek frekanslı bileşenlerinin katkısını artırarak daha keskin görüntü elde edilmesini sağlamaktadır. Farklı uydular için farklı genişlikte çekirdek kullanımı önerilmektedir. Çekirdek genişliğini belirlerken, elde edilen görüntünün pankromatik ve MS görüntü ile en yüksek korelasyonunu veren ölçüyü almak esastır. Geoeye uydusundan sağlanmış örnek görüntülerde elde edilen sonuç (Şekil 1)’de verilmiştir. Şekil 1 Füzyon Sonucu (A: MS Görüntü, B:Pankromatik Görüntü, C:Pan Keskinleştirme Sonucu) 4. GERÇEKLEŞTİRİM DETAYLARI Uygulamada IKONOS, Geoeye, Worldview uydularından elde edilen 4 bantlı MS (1m ve 2m çöznürlükte) ve tek bantlı pankromatik görüntüler (0.5m ve 1m çözünürlükte) kullanılmıştır. Uzaktan algılama maksadıyla kullanılmak üzere herhangi bir sıkıştırma işlemine tutulmamış görüntülerin fiziksel boyutları 12 gb’a kadar ulaşabilmekte, bu da yaklaşık 400000x400000 lik piksel büyüklüğüne denk gelmektedir. Bu büyüklükte görüntülerin standart yöntemler kullanılarak bütün halinde işlenmesi hafıza sorunlarına neden olmaktadır. Dolayısıyla görüntülerin bloklar halinde işlenmesine imkan sağlayacak yöntemler kullanılmılştır. Görüntülerin yüklenmesinde ve işlenmesinde GDAL kütüphanesinden yararlanılmıştır. Uygulanması gereken işlemler sırasıyla ayrı ayrı çıktılar oluşturduğunda, büyük boyutlu dosyaların diske yazma ve okuma süreleri verimi düşürmektedir. Performansı artırmak üzere bazı operasyonlar boru hattı (pipelining) mantığı ile ara çıktıları diske kaydedilmeden ardışık olarak uygulanmaktadır. 5. KARŞILAŞTIRMA SONUÇLARI Pankromatik keskinleştirme algoritmalarının sonuçlarını karşılaştırırken uzamsal ve spektral niteliğe göre değişik metrikler kullanılmaktadır. Uzamsal nitelik için kenarların keskinliği önemliyken, spektral nitelikte renklerin doğru eşlenmesi göz önünde bulundurulur. Spektral niteliği ölçmek için Sentezdeki Göreceli Boyutsuz Global Hata (ERGAS), Spektral Açı Eşleyici (Spectral ANgle Mapper-SAM), Göreceli Ortalama Spektral Hata (RASE), Evrensel Görüntü Kalite Indeksi (UIQI), Korelasyon Katsayısı (CC), Ortalama Hata Karesinin Kökü (RMSE) ve Spektral Bilgi Sapması (SID) metrikleri kullanılmıştır. Uzamsal niteliği ölçmek için pankromatik görüntünün yüksek frekanslı verisi, füzyon olmuş görüntünün yüksek frekanslı verisi ile karşılaştırılmıştır [8]. Mevcut yaklaşımlar ve SFIM metodunun farklı çekirdek büyüklüklerinde performansı karşılaştırılmıştır. Pan keskinleştirilmiş görüntü ile aynı uzamsal ve spektral çözünürlüğe sahip işlenmemiş görüntü bulunmadığı için, karşılaştırma MS görüntü ile yapılabileceği gibi, performans ölçümleri amacıyla örneklenmiş görüntüler kullanılarak spektral değerlerdeki bozulmayı gözlemleyebilmek mümkündür. Referans olarak 3 bantlı bir uydu görüntüsü üzerine gürültü eklendikten sonra bire dört oranında alt örneklendirilerek MS eşdeğer bir görüntü sentezlenmiş ve aynı referans görüntünün gri tonlama çevrimi ise pankromatik görüntü olarak alınmıştır. (Şekil 2)’de verilen metotlarla ve SFIM için çekirdek büyüklükleriyle pan keskinleştirme yapılmıştır. Pan keskinleştirme çıktıları daha sonra referans görüntü ile doğrudan karşılaştırılarak, farklı metriklerle aşağıdaki sonuçlar elde edilmiştir. Görüldüğü üzere SFIM metodu birçok metriğe göre başarılı olmuş, farklı çekirdek büyüklüklerine izin veren esnekliğe sahiptir. Şekil 2: Referans görüntü ile sentezlenmiş MS ve Pankromatik görüntülerden elde edilen pan keskinleştirilmiş görüntülerin farklı metriklere göre karşılaştırması. 6. SONUÇ ve DEĞERLENDİRME Bu çalışmada MS ve pankromatik görüntülerin füzyonunu esas alan pankromatik keskinleştirme metotları incelenmiştir. Denenen algoritmaların performansları incelendiği zaman yapılacak olan çakıştırma stratejisinin başarısı için oldukça kritik bir rol oynadığı görülmüştür. Yüksek verim elde edilen SFIM metodu, özgün çakıştırma stratejisi ile iyileştirilerek üç farklı uyduya ait görüntülerde denenmiştir. Değişik metriklerle yaptığımız karşılaştırmalar, çıktıların ticari yazılımlarla eşdeğer ve uzaktan algılama algoritmalarında kullanılabilecek kalitede olduğunu teyit eder niteliktedir. Elde edilen sonuçlar ihtiyaçlar dahilinde yeterli olmakla beraber, çakıştırma stratejisinde iyileştirme çalışmaları uzun vadede sürdürebilir. Özellikle ortorektifikasyonu iyi yapılmamış görüntülerde, tek düzlemde aynı oranda kaydırma yapmak yerine alt alanların lineer olmayan transformasyonları daha iyi sonuç verebilir. Bununla beraber geliştirilmiş olan algoritma yapısı gereği paralelleştirmeye çok uygun olduğu için GPU üzerinde çalışacak hale getirilebilir. KAYNAKÇA [1] RASAT, http://rasat.uzay.tubitak.gov.tr. [2] Y. Zhang, “Understanding image fusion,” Photogrammetric engineering and remote sensing, vol. 70, no. 6, pp. 657–661, 2004. [3] V. Vijayaraj, N. H. Younan, and C. G. O’Hara, “Quantitative analysis of pansharpened images,” Optical Engineering, vol. 45, p. 046202, 2006. [4] Tu, T.M., Huang, P.S., Hung, C.L. and Chang, C.P., 2004, “A Fast Intensity-Hue-Saturation Fusion Technique With Spectral Adjustment for IKONOS Imagery”. IEEE Geoscience and Remote Sensing Letters, 309-312. [5] Shettigara, V.K. (1992) “A generalized component substitution technique for spatial enhancement of multispectral images using a higher resolution data set.” Photogrammetry Engineering and Remote Sensing, Vol. 58, pp. 561-567 [6] AR Gillespie, AB Kahle, RE Walker, “Color enhancement of highly correlated images. II. Channel Ratio and “Chromaticity” Transformation Techniques”. Remote Sensing Of Environment. 22, 343–365 (1987). [7] Liu J. G., "Smoothing Filter-based Intensity Modulation: a spectral preserve image fusion technique for improving spatial details," International Journal of Remote Sensing, vol. 21, pp. 3461-3472, 2000. [8] I. Amro, J. Mateos, M. Vega, R. Molina, and A. K. Katsaggelos, “A survey of classical methods and new trends in pansharpening of multispectral images,” EURASIP Journal on Advances in Signal Processing, p. 79, 2011.
© Copyright 2024 Paperzz