close

Enter

Log in using OpenID

buradan

embedDownload
KARAR AĞAÇLARI
ALGORİTMALARI
J48 - C5.0 - LOJISTIK - MLP - ID3 - BAYES - IB1 – IBK - KSTAR
Hazırlayan;
Caner FINDIKLI
J48 Algoritması
Temel olarak Weka'nın sınıflandırma algoritmalarından. C4.5 decision
tree algoritmasını kullanır. Her satır ağaçtan bir düğümü; alt satırlar üst
satırın child düğümlerini kullanır. Algoritma, basit olarak dataset
içerisindeki düğümler ile oluşturulur. Bu düğümler, doğru ve yanlış
gösterilenler diye ayrılır ve üzerinde çalışılan dataset içerisindeki
vakalardır. Algoritmaya göre sırayla data mining yapıldıkça machine
learning yapılmış oluyor. Bu bağlamda J48, sınıflandırma algoritmaları
içinde en hızlı ve yüksek yüzdeyle ve doğru çalışan karar ağaçlarından
birisidir diyebiliriz.
J48 Algoritması
Karışıklık Matrisi:
a
40629
6849
b <-- Öngörülen Sınıf
1459
12011
|
|
a=1
b=2
J48 Algoritması
Karşılaştırma Ölçütleri:
KStar Algoritması
NaiveBayes Algoritması
Doğruluk Kesinlik
%85.21
%85.80
Duyarlılık
F-Ölçütü
%94.15
%89.78
Doğruluk Kesinlik
%85.44
%85.36
%86.30
Duyarlılık
F-Ölçütü
%93.66
%89.83
%98.00
F-Ölçütü
%90.28
J48 Algoritması
Lojistik Regresyon Algoritması
Doğruluk Kesinlik
%83.70
Duyarlılık
Doğruluk Kesinlik
%86.36
%85.57
Duyarlılık
F-Ölçütü
%96.53
%90.72
J48 Sonuç ve Öneriler
Sonuç ve Öneriler:
Çalışma sonuçları incelendiğinde J48 algoritmasının model testine ait %86.36 doğruluk
derecesiyle en iyi sonucu ürettiği söylenebilir. Doğruluk ölçütü oldukça basit ve önemli bir
kriterdir. Bu ölçüte göre J48 algoritmasını sırasıyla KStar, Lojistik Regresyon ve NaiveBayes
algoritmaları izlemektedir.
Kesinlik ölçütü bakımından lojistik regresyon en iyi sonucu oluşturmuş olup, diğer
algoritmalar bu ölçüte göre NaiveBayes, J48 ve KStar şeklinde sıralanabilir. Ancak kesinlik
ölçütü tek başına yorumlanırsa değerlendirme yanlış sonuçlara götürebilir. Bu ölçütü
duyarlılık ölçütüyle beraber ele almak gerekir. Tablodan görüleceği üzere algoritmalar,
duyarlılık ölçütüne göre KStar, J48, NaiveBayes ve Lojistik Regresyon olarak sıralanabilir.
Görüleceği üzere, kesinlik ölçütü ve duyarlılık ölçütü birbiriyle zıt bir sıralama ortaya
koymuştur.
J48 Sonuç ve Öneriler
Kesinlik ve duyarlılık ölçütlerini beraber değerlendirmek için, her iki değerin harmonik ortalaması
olan F-Ölçütüne baktığımızda sıralamanın J48, KStar, Lojistik Regresyon ve NaiveBayes şeklinde
olduğunu görüyoruz. Bu sıralamanın yine doğruluk kriter sıralamasıyla birebir aynı olduğu
görülmektedir.
Veri madenciliğinde bilgiye erişmede farklı metotlar kullanılmaktadır. Bu metotlara ait pek çok
algoritma vardır. Bu algoritmalardan hangisinin daha üstün olduğu üzerine pek çok çalışma
yapılmış, yapılan bu çalışmalarda farklı sonuçlar elde edilmiştir. Bunun en önemli sebebi, işlem
başarımının, kullanılan veri kaynağına, veri üzerinde yapılan önişleme, algoritma parametrelerinin
seçimine bağlı olmasıdır. Farklı kişiler tarafından, farklı veri kaynakları üzerinde, farklı parametrelerle
yapılan çalışmalarda farklı sonuçlar oluşması doğaldır. Ancak, yaptığımız çalışma, “benzer veri
kümelerinde belli yöntemlerin daha başarılı olduğu” şeklindeki çıkarıma[5] uygun olarak, diğer
çalışmalarla[12,13] benzer sonuç vermiştir. Göğüs kanseri vakalarının farklı yıllarını içeren SEER veri
kaynağının kullanıldığı her iki çalışmada da, bir karar ağacı algoritması olan C4.5 algoritmasının
diğer algoritmalardan daha iyi sonuç ürettiği sonucuna ulaşıldığı belirtilmiştir[12,13]. Bu çalışmada
da, yapılan karşılaştırma sonucunda, C4.5 algoritmasının Weka implementasyonu olan J48 karar
ağacı algoritması, benzer şekilde diğer algoritmalara göre daha başarılı bulunmuştur.
J48 Sonuç ve Öneriler
Bu çalışmada, modellerin oluşturulması için ücretsiz bir yazılım olan Weka aracı
kullanılmıştır. Var olan diğer veri madenciliği araçları üzerinde aynı algoritmalar
çalıştırılarak farklı araçların benzer sonuçlar üretip üretmediği kontrol edilebilir.
Algoritmaların veri kaynağı üzerinde çalıştı-rılması sırasında algoritma parametreleri
olarak her algoritmanın o parametre için varsayılan değeri kullanılmıştır. Her algoritma ve
her veri kaynağı için başarım derecesini maksimize edecek parametre değerleri tespit
ederek bu parametrelerle algoritma sonuçlarını karşılaştırmak farklı sonuçlara
götürebilecektir. Ancak, böyle bir karşılaştırmada yanlılık oluşabilecektir.
Bu çalışmada, algoritmaların ürettiği modellerin başarım sonuçları karşılaştırılmıştır. Benzer
şekilde, algoritmaların hızı ve hafıza kullanımı da karşılaştırılarak algoritmaların performans
karşılaştırması yapılabilir.
C5.0 Algoritması
Karar ağaçlarını oluşturmak için CART (classification and
regression trees), C4.5, C5.0, CHAID (chi_squared automatic
interaction detection) gibi farklı algoritmalar kullanılabilir.
Algoritmaya bağlı olarak her düğüm 2 ya da daha fazla
dala ayrılabilir. Binory ağaç olan CART' da, her düğüm 2 dal
içerir. C 4.5, C5.0 algoritmalarında bir düğüm 2 den fazla
dala sahip olabilir. Bu tip ağaçlara multiway tree denir.
C5.0 Algoritması
Bu yöntemler temel olarak karar ağacını oluştururken
farklı özellikleri seçmeleri ile birbirinden ayrılmaktadırlar. Bir
çok çalışmada C4.5 algoritmasının gelişmiş yeni şekli olan
C5.0 sınıflandırma yöntemi kullanılmıştır.
C5.0 Algoritması
C5.0 algoritması denetimli bir sınıflandırma algoritması
olup, öncelikle hedef değişkenin bilindiği bir veri kümesi
ile karar ağacı eğitilip bir model oluşturulmakta, daha
sonra oluşturulan bu model bağımlı değişkenin
belirtilmediği yeni bir veri kümesi üzerinde test edilerek
modelin performansı ölçülmektedir.
C5.0 Algoritması
Sınıflama ile ilgili olarak literatürde, farklı bir yaklaşım da söz konusudur.
Bu yaklaşıma göre sınıflama; tam sınıflama ve kısmi sınıflama olmak üzere
ikiye ayrılmaktadır. Buradaki tam sınıflama kavramı veri içindeki tüm sınıflar
ve örnekleri kapsayan modeller ile ilgilidir. Bunlara örnek olarak, yapay sinir
ağları, C&RT, CHAID, C4.5, C5.0 ve diğer karar ağaçları gibi akıllı teknikler
ile diskriminant analizi gibi istatistiksel araçlar verilebilir. Kısmi sınıflamada,
tam sınıflamada olduğu gibi veri sınıflarının özellikleri gösterilmektedir.
Ancak kısmi sınıflandırma modellerinde tüm sınıflar veya verilen sınıfın tüm
örnekleri kapsanmayabilir. Bu modellerden biri olarak birliktelik kuralları
verilebilir.
C5.0 Algoritması Özellikleri
 Her
düğümden çıkan çoklu dallar ile ağaç oluşturur.
 Dalların
 Tek
sayısı tahmin edicinin kategori sayısına eşittir.
bir sınıflayıcıda birden çok karar ağacını birleştirir.
 Ayırma
işlemi için bilgi kazancı kullanır.
 Budama
işlemi her yapraktaki hata oranına dayanır.
Lojistik Regrasyon Algoritması
 Lojistik regresyon, diğer bir adıyla Logit model, son yıllarda kullanımı giderek artan ileri
düzey bir regresyon yöntemidir. Sosyal bilimlerde oldukça yoğun bir şekilde kullanılan
lojistik regresyon bir ya da birden çok bağımsız değişken ile bağımlı değişken arasındaki
ilişkiyi modellemeyi amaçlamaktadır.
 Lojistik regresyonun yoğun olarak kullanılmasının önemli bir sebebi bağımlı değişkenin
kategorik bir değişken olduğu durumlarda bağımlı değişkenin modellenmesini
sağlamasındandır. Bağımsız değişkenler ise sürekli özellikte olabilirler.
 Lojistik regresyon analizi ile gözlemlerin bağımlı değişkenin kategorilerine göre
ayrılabilmekte ve yeni gözlemlerin hangi kategoriye gireceği değerlendirmeleri
yapılabilmektedir.
Lojistik Regrasyon Çeşitleri
 Lojistik regresyonda bağımlı değişken metrik
olmayan
değişkenlerden
oluşmaktadır.
Bağımsız değişken ise metrik ve metrik
olmayan değerler alabilir.
 Bağımlı ve bağımsız değişkenlerin sayısına
göre değişen “Lojistik Regresyon Çeşitleri”
aşağıdaki tablo da yer almaktadır.
Lojistik Regrasyon Kullanım Nedenleri
 Bağımlı değişken kategorik (kesikli, süreksiz) olmakla birlikte, bağımsız değişkenler sürekli
veya kategorik olabilir.
 Lojistik modelin parametreleri kolaylıkla yorumlanabilmekte ve matematiksel olarak
kullanımı kolay olan fonksiyonlar üretilmektedir.
 Lojistik modele dayalı analizleri yapabilmeyi sağlayan çok sayıda bilgisayar paket
programı (SPSS, SAS vb.) mevcuttur.
 Bağımsız değişkenlerin olasılık fonksiyonlarının dağılımı üzerinde kısıt olmaması (yari
parametrik) nedeni ile çeşitli testler uygulanabilmektedir.
 Lojistik regresyonda tüm olasılık değerleri pozitiftir ve 0 ile 1 arasında değişir.
 Lojistik regresyon bağımlı değişkene ilişkin verilerin dağılımının bir ya da daha fazla
bağımsız değişkenle doğrusal olmayan ilişki gösterdiğinin bilinmesi ya da beklenmesi
durumunda özellikle yaralıdır.
Lojistik Regrasyon Algoritması
 Lojistik regresyon, diğer bir adıyla Logit model, son yıllarda kullanımı giderek artan ileri
düzey bir regresyon yöntemidir. Sosyal bilimlerde oldukça yoğun bir şekilde kullanılan
lojistik regresyon bir ya da birden çok bağımsız değişken ile bağımlı değişken arasındaki
ilişkiyi modellemeyi amaçlamaktadır.
 Lojistik regresyonun yoğun olarak kullanılmasının önemli bir sebebi bağımlı değişkenin
kategorik bir değişken olduğu durumlarda bağımlı değişkenin modellenmesini
sağlamasındandır. Bağımsız değişkenler ise sürekli özellikte olabilirler.
 Lojistik regresyon analizi ile gözlemlerin bağımlı değişkenin kategorilerine göre
ayrılabilmekte ve yeni gözlemlerin hangi kategoriye gireceği değerlendirmeleri
yapılabilmektedir.
Multilayer Perceptron (MLP)
Çok Katmanlı Algılayıcı
Konuşmacı ayırt etme problemini çözmek için
yapay sinir ağları yapısını kullanmaya karar verdik. Bu
seçimi yapmamızın nedenleri
arasında,
eğitim
aşamasının uzun sürmesine rağmen test aşamasının
oldukça hızlı gerçekleşmesi ve hata yüzeyi üzerinde
minimum
hatayı
bulmaya
çalışırken
bölgesel
minimumlara takılma oranının çok düşük olması
sayılabilir ki her iki sebep de son derece önemlidir.
Ayrıca seçtiğimiz çok katmanlı algılayıcılar üzerinde
çalışan ileri beslemeli geri yayılımlı algoritma, yönetimli
bir metot olup, sisteme girdi olarak hangi sesin hangi
konuşmacıya ait olduğunu bilgisini de vermemize
olanak sağlamaktadır. Sonuç olarak seçilen yapı ve
algoritma
“bunu
söyleyen
kim”
sorusunu
cevaplandırmaya olanak sağlayan bir yöntemdir.
Multilayer Perceptron (MLP)
Çok Katmanlı Algılayıcı
Yapay sinir ağını çok katmanlı algılayıcılar üzerinde ileri
beslemeli geri yayılımlı algoritmayı çalıştıracak şekilde
kurguladık. Standart geri yayılım algoritması aslında
hata yüzeyi üzerinde minimum noktaya ulaşabilmek için
eğimli bir inişin öngörüldüğü bir yöntemdir. Bunu
sağlayabilmek için de her adımda ağırlık değerleri
güncellenir. Öngördüğümüz sınıflandırıcı yapay sinir ağı
bir giriş katmanı, iki gizli katman ve bir çıkış katmanı
olmak üzere 4 katmandan oluşmaktadır. Giriş
katmanındaki nöron sayısı her bir ses dosyasından
çıkarılan öznitelik sayısına eşit, çıkış katmanınınki
konuşmacı sayısına eşit olup, gizli katmanlardaki nöron
sayıları bağımsız olarak değiştirilebilmektedir. Tüm
katmanlarda
etkinleştirme
fonksiyonu
olarak
‘HyperTansig’ kullanılmıştır. Ayrıca nöronların ilk ağırlıkları
da rastsal olarak atanmıştır.
Multilayer Perceptron (MLP)
Çok Katmanlı Algılayıcı
MLP Yapay Sinir Ağları
 4 Katman
 1 Giriş
 1 Çıkış
 2 Gizli
 Geriye Yayılım Algorithması
 HyperTansig
 Rastsal İlkleme
Multilayer Perceptron (MLP)
Çok Katmanlı Algılayıcı
Multilayer Perceptron (MLP)
Çok Katmanlı Algılayıcı
Özellikleri;

Multilayer Perceptron (MLP) ya da Radial Basis Function
(RBF) prosedürünü kullanarak gizli ilişkiler için veri
madenciliği yapılabilir.

Değişkenleri belirleyerek başlangıçtan sonuna
kadar süreçler denetlenebilir.

Daha fazla öngörü için diğer istatistiksel prosedürlerle ya
da tekniklerle bir araya getirilebilir.
ID3 Sınıflama Tekniği

Matematiksel algoritma karar ağacını oluşturmak içindir.

1979’ ta J. Ross Quinlan tarafından icat edilmiştir.

Bilgi edinme teorisi 1948 yılında Shannon tarafından bulundu.

Tepe aşağı üç yapılar gerilemeden bilgi kazanımın kullanımı,
sınıflandırmada en kullanışlı niteliği seçmek içindir.
ID3 Sınıflama Tekniği
Bilgi Edinim:

Bilgi edinim bir niteliğin söylenmesinden sonra entropinin azalmasına dayanır.

Çoğu homojen branşlarda hangi nitelikler oluşur.

İlk entropi tüm data setin hesaplanmasıdır.

Data set farklı niteliklere bölünür.


Entropi her branşın hesaplanması içindir. Sonra bu orantılı olarak eklenir, bölmek
için tüm entropi alınır.
Sonuçta oluşan entropi bölmeden önceki entropiden çıkarılır.
ID3 Sınıflama Tekniği
Bilgi Edinim:

Sonuç bilgi edinmedir ya da entropinin azalmasdır (düşmesidir).

Nitelik, düğüm (ağ) karar verimi için seçilen en geniş bilgi edinim kazancıdır.

Dal bir yaprak düğümü olan sıfırın entropisiyle kurumudur.
Aksi takdirde dal daha sonra data setleri sınıflandırmak için bölmeye ihtiyaç
duyar.

ID3 algoritması yapraksız alanlarda kendi kendine tekrar çalışabilir , datalar
sınıflandırılana kadar.
ID3 Sınıflama Tekniği
Entropi:

ID3 algoritması diğer değişkenler içerisinde sınıflamada en ayırıcı özelliğe sahip
değişkeni bulurken entropi kavramından yararlanır. Entropi kavramı, eldeki bilginin
sayısallaştırılmasıdıkavramı, sayısallaştırılmasıdır.
Entropi beklentisizliğin maksimumlaşmasıdır. Dunham entropinin bir veri kümesi
içindeki
belirsizlik, şaşkınlık ve rastgeleliği ölçmek için kullanıldığını söyler.

Eldeki bütün veriler tek bir sınıfa ait olsaydı, örneğin herkes aynı futbol takımını
tutsaydı, herhangi bir kişiye tuttuğu takımı sorduğumuzda alacağımız yanıt bizi
şaşırtmayacaktı; bu durumda entropi sıfır (O) olacaktı. Entropi 0-1 arasında bir
değer alır. Bütün olasılıklar eşit olduğunda entropi maksimum değerine ulaşacaktır.
ID3 Sınıflama Tekniği
ID3 Algoritmasının Kullandığı Kazanç Şu Şekilde Hesaplanır:
Verilerin ham halinin entropisi ile yani başlangıçtaki entropiyle her
bir alt bölümün entropilerinin ağırlıklı toplamı arasındaki fark alınır. Bu
fark hangi alt bölüm için büyükse o alt bölüme doğru dallanma
yapılır.
ID3 Sınıflama Tekniği
ID3 kullanım Avantajları:

Anlaşılabilir tahmin kuralları eğitme verileri tarafından oluşturulur.

En hızlı ağacı oluştur.

Kısa ağaç oluştur.

Sadece yeterli nitelikler bütün data sınıflandırılana kadar gereklidir.

Yaprak düğümleri bulmak test sayılarını azaltmak için test verilerini
budamayı mümkün kılar.

Bütün data set ağaç oluşturmak için araştırılır.
ID3 Sınıflama Tekniği
ID3 kullanımı Dezavantajları:

Eğer küçük örnekler test edildiyse data başarısız çıkmıştır veya çok
doludur.

Aynı zamanda sadece bir yükleme test edilebilir bir karar verilirken
veri sınıflandırması çok pahalıya gelebilir , ve bunu engellemek için
sürekli bir kırılmaya ihtiyaç vardır.
Bayes Sınıflandırması

İstatistiksel bir sınıflandırıcıdır. Sınıf üyelik olasılıklarını öngörür.

İstatistikteki bayes teoremine dayanır.

Basit bir yöntemdir.

Bayes Sınıflayıcı Bayes teoremine göre istatistiksel kestirim yapar.

Bir örneğin sınıf üyelik olasılığını kestirir.

Naïve Bayesian sınıflandırıcı oldukça başarılı bir sınıflayıcıdır.
Bayes Sınıflandırması
Bayes Kuralı:

p(x|Cj)
: Sınıf j’den bir örneğin x olma olasılığı

P(Cj)
: Sınıf j’nin ilk olasılığı

p(x)
: Herhangi bir örneğin x olma olasılığı

P(Cj|x)
: x olan bir örneğin sınıf j’den olma olasılığı (son olasılık)
Bayes Sınıflandırması

Girdi : Öğrenme seti

C1, C2, …, Cm adlı m sınıfımız olsun.

Sınıflandırma maksimum posteriori olasılığını bulmaya dayanır.

P(X) is bütün sınıflar için sabittir.
P(X | C )P(C )
i
i
P(C | X) =
i
P(X)
n
P ( X | C i ) = ∏ P ( x | C i ) = P ( x | C i ) × P ( x | C i ) × ... × P ( x | C i )
k
1
2
n
k =1

Yeni bir örnek X, maximum P(X|Ci)*P(Ci)
değerine sahip olan sınıfa atanır.
olasılığının maksimum değeri bulunmalıdır.
P(C | X) = P(X | C )P(C )
i
i
i
Bayes Sınıflandırması

Niteliklerin altkümesinin birbiri ile bağımsız olduğunu varsayıyor.

Yönlü çevrimsiz çizge (directed acyclic graph) ve koşullu olasılık tablolarından oluşur.

Her değişken A için bir tablo var.
niteliğin ebeveynlerine olan koşullu olasılıkları





düğümler: rasgele değişkenler
ayrıtlar: olasılıklı bağlılık
X ve Y , Z değişkeninin ebeveyni
Y, P değişkeninin ebeveyni
Z ve P arasında bağ yok
Bayes Sınıflandırması
Bayes Ağlarının Eğitilmesi:

Ağ yapısı ve tüm değişkenler biliniyorsa koşullu

olasılıklar hesaplanır

Ağ yapısı belli ancak bazı değişkenler eksik ise yinelemeli öğrenme
uygulanır.

Gradient descent algoritması
IB1
En yakın komşu sınıflandırıcısı kullanır. Verilen test
örneğine en yakın eğitim örneğini bulmak için
standartlaştırılmış öklit mesafesi kullanır ve bu eğitim
örneğiyle aynı sınıfın kestirimini yapar. Eğer birden çok
örnek test örneğine aynı (en küçük) mesafeye sahipse, ilk
bulunan kullanılır
IBK
En yakın K-Komşu (K-Nearest Neighbors)
algoritmasıdır. Bu algoritma sınıflandırma için
kullanılır. K tabanlı komşuların uygun değerini
çağraz doğrulama ile seçebilir. Ayrıca mesafe
ağırlıklandırabilir.
KSTAR
Cleary ve Trigg (1995) K*’ın Örnek tabanlı (IB)
sınıflandırıcı olduğunu göstermiştir. Bazı benzerlik
fonksiyonlarıyla belirlendiği gibi, eğitim örnekleriyle
aynı olan sınıfa istinaden, test örneğinin sınıfıdır.
Diğer örnek tabanlı öğrenenlerden entropi tabanlı
mesafe fonksiyonu kullanması yönüyle farklıdır.
KARAR AĞAÇLARI ALGORİTMALARI
DİNLEDİĞİNİZ İÇİN TEŞEKKÜRLER…
Author
Document
Category
Uncategorized
Views
2
File Size
1 387 KB
Tags
1/--pages
Report inappropriate content