Bayesian Θεωρία Αποφάσεων

∆ΗΜΟΚΡΙΤΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΡΑΚΗΣ
Αναγνώριση Προτύπων
Baysian Θεωρία Αποφάσεων
ΕΠΙΣΚΟΠΗΣΗ-ΑΣΚΗΣΕΙΣ
Χριστόδουλος Χαμζάς
Τα περιεχόμενο της παρουσίασης βασίζεται στο βιβλίο: “Introduction to Pattern Recognition A Matlab Approach”, S. Theodoridis, A. Pikrakis, K. Koutroubas, D. Caboyras, Academic Press,
2010
Τμήμα Ηλεκτρολόγων Μηχανικών & Μηχανικών Υπολογιστών
∆ΗΜΟΚΡΙΤΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΡΑΚΗΣ
Μπευζιανή θεωρία αποφάσεων
Στα προηγούμενα μάθηματα συζητήσαμε τις τεχνικές βασιζόμενοι στη θεωρία αποφάσεων Bayes και παρουσιάστηκαν οι
θεωρητικές
ρη
ς αποδείξεις
ξ ς των σχετικών
χ
αλγορίθμων.
γ ρ μ
Οι περισσότεροι
ρ
ρ από τουςς αλγόριθμους
γ ρ μ ς είναι απλοί τόσο στη
η δομή
μή
όσο και στην φυσική αιτιολόγηση τους.
Σε μια εργασία ταξινόμησης (αναγνώρισης προτύτου), μας δίνεται ένα ΠΡΟΤΥΠΟ και θέλουμε να το κατατάξουμε σε μία
από C κλάσεις (κατηγορίες) ωi. Ο αριθμός των κλάσεων, C, θεωρείται ότι είναι γνωστός εκ των προτέρων.
Κάθε πρότυπο
Κάθ
ό
αντιπροσωπεύεται
ύ
από
ό ένα
έ σύνολο
ύ λ χαρακτηριστικών,
ώ x (i),
(i) i = 1,
1 2,.
2 . ., d,
d το οποίο
ί κάνει
ά
τον dd
Τ
d
διάστατο χαρακτηριστικό διάνυσμα x = [x (1), x (2),. . . , x (d)] Є R
Υποθέτουμε ότι κάθε πρότυπο είναι μοναδικό και εκπροσωπείται από ένα μόνο χαρακτηριστικό διάνυσμα και ότι μπορεί
να ανήκει σε μία μόνο κατηγορία ωi.
∆εδομένου x Є Rd και ένα σύνολο κατηγοριών C, ωi , i = 1, 2,. . . , C, η θεωρία Bayes δηλώνει ότι
P (i | x) 
p( x | i ) P(i )
C
 p( x |  ) P( )
i 1
i

p ( x | i ) P(i )
p( x)
i
Όπου P (ωi ) είναι η εκ των προτέρων (a priori) πιθανότητα της κλάσης ωi : i = 1, 2,. . . C,
P (ωi | x) είναι η εκ των υστέρων πιθανότητας (aposteriori) της κλάσης ωi δεδομένης του x
p (x) είναι η συνάρτηση πυκνότητας πιθανότητας (pdf) του x
και p (x|ωi), i = 1 = 2,. . . , C, είναι η υπο συνθήκη pdf του x δεδομένου ωi (μερικές φορές καλείται η δεσμευμένη
πιθανότητα
θ ό
του x ως προς ωi ή η πιθανοφάνεια
θ
ά
(lik
(likelihood)
lih d) του ωi σε σχέση
έ με το x.
Σημείωση: Με P(.) συμβολίζουμε πιθανότητες ενώ με p(.) συναρτήσεις πυκνότητας πιθανότητας (pdf)
Τμήμα Ηλεκτρολόγων Μηχανικών & Μηχανικών Υπολογιστών
∆ΗΜΟΚΡΙΤΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΡΑΚΗΣ
Κανόνας απόφασης Bayes
Το πρότυπο x,
x το ταξινομούμε στην κλάση
που έχει τη μεγαλύτερη εκ των
υστέρων πιθανότητα !!!
∆ηλαδή έαν x={x1, x1, …, xd} τότε το x αναγνωρίζεται ότι ανήκει στην
κλάση
η ωi εάν
P(ωi |x)≥ P(ωj |x) για όλα τα j=1,2,…,C
και
Pe =P(error)=
P(
) 1
1- max [P(ω
P( 1 |x),
| ) P(ω
P( 2 |x),…,
| )
P(ω
P( c |x)
| )]
Η επιλογή αυτή είναι βέλτιστη υπο την έννοια ότι ελαχιστοποιεί την ολική
πιθανότητα λάθους
Τμήμα Ηλεκτρολόγων Μηχανικών & Μηχανικών Υπολογιστών
∆ΗΜΟΚΡΙΤΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΡΑΚΗΣ
Κανονική Κατανομή (Gauss)
Η Gaussian pdf, χρησιμοποιείται ευρέως στην αναγνώριση προτύπων, λόγω της μαθηματικής ευκολίας χειρισμού της
καθώς και λόγω του κεντρικού οριακού θεωρήματος, το οποίο δηλώνει ότι το pdf του αθροίσματος μιας σειράς
στατιστικά ανεξάρτητων τυχαίων μεταβλητών τείνει στην κατανομή Gauss καθώς ο αριθμός των τυχαίων μεταβλητών
τείνει στο άπειρο. Στην πράξη, αυτό περίπου ισχύει και για έναν αρκετά μεγάλο αριθμό
των τυχαίων μεταβλητών.
Η πολυδιάστατη Gaussian pdf έχει τη μορφή
1
p( x) 
d
2
(2 ) 
Όπου
1
2
 1

exp   ( x   )  1 ( x   ) 
 2

μ=E(x)
μ
( ) είναι η μμέσηη τιμή
μή του διανύσματος
μ
ςx
Και Σ ο πίνακας συνδιασποράς (covariance)
  E x   x   
T

  11  12

 22
  21
 


 D1  D 2
  1D 
  1D 

 

  DD 
Συχνά αναφερόμαστε στην Gaussian κατανομή σαν κανονική κατανομή και την συμβολίζουμε με το Ν(μ, Σ).
Για την περίπτωση της μιάς διάστασης, δηλαδή το x ϵ R, έχουμε Ν(μ, σ) ή Ν(μ, σ2 ) με σ2 την διασπορά του x.
Εάν δεν είναι προφανές από τον συμβολισμό τότε θεωρούμε ότι χρησιμοποιείται το Ν(μ, σ2 )
Τμήμα Ηλεκτρολόγων Μηχανικών & Μηχανικών Υπολογιστών
∆ΗΜΟΚΡΙΤΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΡΑΚΗΣ
1 D Κανονική Κατανομή (Gauss)
N (  ,  )  p( x) 
E1 
1
e
 2

x   2

2 2

 p( x)dx  1

Ex 

 xp( x)dx  


  x    p( x)dx 
E x    
2

2
2

Pr  x       0.68, Pr  x    2   0.95, Pr  x    3   0.997,
Τμήμα Ηλεκτρολόγων Μηχανικών & Μηχανικών Υπολογιστών
∆ΗΜΟΚΡΙΤΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΡΑΚΗΣ
Τμήμα Ηλεκτρολόγων Μηχανικών & Μηχανικών Υπολογιστών
∆ΗΜΟΚΡΙΤΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΡΑΚΗΣ
Τμήμα Ηλεκτρολόγων Μηχανικών & Μηχανικών Υπολογιστών
∆ΗΜΟΚΡΙΤΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΡΑΚΗΣ
Τμήμα Ηλεκτρολόγων Μηχανικών & Μηχανικών Υπολογιστών
∆ΗΜΟΚΡΙΤΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΡΑΚΗΣ
Τμήμα Ηλεκτρολόγων Μηχανικών & Μηχανικών Υπολογιστών
∆ΗΜΟΚΡΙΤΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΡΑΚΗΣ
Τμήμα Ηλεκτρολόγων Μηχανικών & Μηχανικών Υπολογιστών
∆ΗΜΟΚΡΙΤΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΡΑΚΗΣ
Τμήμα Ηλεκτρολόγων Μηχανικών & Μηχανικών Υπολογιστών
∆ΗΜΟΚΡΙΤΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΡΑΚΗΣ
Τμήμα Ηλεκτρολόγων Μηχανικών & Μηχανικών Υπολογιστών
∆ΗΜΟΚΡΙΤΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΡΑΚΗΣ
Τμήμα Ηλεκτρολόγων Μηχανικών & Μηχανικών Υπολογιστών
∆ΗΜΟΚΡΙΤΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΡΑΚΗΣ
Τμήμα Ηλεκτρολόγων Μηχανικών & Μηχανικών Υπολογιστών
∆ΗΜΟΚΡΙΤΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΡΑΚΗΣ
Τμήμα Ηλεκτρολόγων Μηχανικών & Μηχανικών Υπολογιστών
∆ΗΜΟΚΡΙΤΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΡΑΚΗΣ
Τμήμα Ηλεκτρολόγων Μηχανικών & Μηχανικών Υπολογιστών

Download Report