Κβαντικη Θεωρια και Υπολογιστες Πληροφορια και Εντροπια Χειμερινο Εξαμηνο Iωαννης E. Aντωνιου Τμημα Μαθηματικων Aριστοτελειο Πανεπιστημιο 54124, Θεσσαλονικη [email protected] http://users.auth.gr/iantonio Πληροφορια και Εντροπια Τι ειναι Πληροφορια? Eντροπια Boltzmann-Shannon Κβαντικη Πληροφορια Τι ειναι Πληροφορια? Ποση Πληροφορια λαμβανω Παρατηρωντας το Συστημα? H Θεωρια Πληροφοριας ειναι το Μαθηματικο Μοντελο της Επικοινωνιας Συστημα Επικοινωνιας Η μεταδοση τής πληροφορίας απαιτεί: Τον Διαυλο Επικοινωνιας ενα φυσικό συστημα-φορεα πού συνδέει στό χώρο καί στό χρόνο την Πηγη της Πληροφοριας με τον Αποδεκτη της Πληροφοριας. SOURCE ΠΗΓΗ TRANSMITTER ΠΟΜΠΟΣ CHANNEL ΔΙΑΥΛΟΣ MESSAGE ΜΗΝΥΜΑ RECEIVER ΔΕΚΤΗΣ MESSAGE ΜΗΝΥΜΑ ΘΟΡΥΒΟΣ ΠΑΡΕΜΒΟΛΕΣ Εξουσιοδοτημενες Μη Εξουσιοδοτημενες Spies, Hackers DESTINATION ΠΡΟΟΡΙΣΜΟΣ SOURCE Nature Show Αuthor Orchestra Painter Genotype People TRANSMITTER Observable Events TV Station Editor Amplifier Painting DNA PC CHANNEL Experimental Devise EM Field Distribution Network Concert Hall Exhibition Hall Biomolecular Web Internet RECEIVER Voltmeter Thermometer Tηλεσκοπιο TV-Receiver Eyes, Brain MESSAGE Changes of Variables DESTINATION Scientist Images,Sounds Text Τηλεθεατης Ears,Eyes, Brain Musical Piece Eyes, Brain Image Phenotype Bio-Information PC People People People Organism Email,Text,Image,Video People Eντροπια Boltzmann-Shannon Shannon in his revolutionary and groundbreaking paper [Shannon C. ,Weaver W. 1949, The Mathematical Theory of Communication, Univ. Illinois Press, Urbana] introduced the qualitative and quantitative model of communication as a statistical process underlying information theory, opening with the assertion that “Τhe fundamental problem of communication is that of reproducing at one point, (DESTINATION) either exactly or approximately, a Message selected at another point (SOURCE) Frequently the messages have meaning; that is they refer to or are correlated according to some system with certain physical or conceptual entities. These semantic aspects of communication are irrelevant to the engineering problem. The significant aspect is that the actual message is one selected from a set of possible messages. The system must be designed to operate for each possible selection, not just the one which will actually be chosen since this is unknown at the time of design.” Shannon Information Theory is Syntactic Information Theory The Meaning of Symbols is not considered The 5 Basic theorems of Information Theory The 5 Basic theorems of Information Theory 1. Source Coding Theorem= Data Compression Theorem= =Shannon-McMillan-Breiman Thm = Ergodic Thm =Asymptotic Equipartion Thm Find shortest sequences to code messages 2. Channel Coding Theorem Reliable Information Transmission over Unreliable (Noisy) Channels Error Correction Codes 3. Rate Distortion Theorem Min Distortion 4. Sampling Theorem How to Transform Continuous (Functions) Messages to Discrete (Functions) Messages 5. Cryptography Theorem Min Information Rate for Max (Unconditional) Security Πληροφορια Προελευση Εφαρμογες Εντροπια Θερμοδυναμικη Στατιστικη Μηχανικη Boltzmann, Gibbs Στατιστικη Φυσικη Επενδυτικα Χαρτοφυλακια Βιοιατρικη Μηχανες Αναζητησης Γλωσσολογια Διαυλοι Επικοινωνιας Υπολογιστες, Ορια Υπολογισιμοτητας Εκτιμησεις Πολυπλοκοτητας Προσεγγισεις Αποφασεις Internet, WWW Koινωνιολογια, Πολεμος, Απατη Eπικοινωνια Shannon Πολυπλοκοτητα Επεξεργαστων Kolmogorov Στατιστικες Εκτιμησεις Fisher Δικτυα Information and Communication Technology is Application of Information Theory PC, CD-ROM, DVD, GSM, GPS, WWW [ Negroponte N. 1995, Being Digital, Hodder London. Ελλην. Μεταφρ. Eκδ. Καστανιώτης, Αθηνα, 2000 Dertouzos M. 1997, What Will Be? How the World of Information Will Change Our Lives, Harper Collins, New York. Ελλην. Μεταφρ. Eκδ. Γκοβοστη 1998. Dertouzos M. 2001, The Unfinished Revolution : How to Make Technology Work for Us--Instead of the Other Way Around, Harper Collins, New York. Ελλην. Μεταφρ. Eκδ. Λιβανη, Αθηνα, 2001 ] Berners-Lee T, Fischetti M. 1997, Weaving The Web , Harper Collins, New York. Ελλην. Μεταφρ. Eκδ. Γκοβοστη , Αθηνα, 2002. Berners-Lee T, Hall W., ea 2006, A Framework for Web Science, Found. Trends in Web Science 1, 1-130. Ελλην. Μεταφρ. Βαφοπουλος, Hyperconsult 2007 Shadbolt N., Hall W., Berners-Lee T. 2006, The Semantic Web Revisted ] Knowledge Processing 21st Century Meta-Data Feature Selection Νοημα, Σημασια, Σημασιoλογικη Επεξεργασια. Οντολογιες Semantic Web Mind, Consciousness Πληροφορια (Συντακτικη) Shannon Πληροφορια Γεγονοτος/Μηνυματος Ξ ∈ B[Y] Εστω (Y, ℬ[Y]) Μετρησιμος Χωρος. Εστω p κατανομη Πιθανοτητος στα Μετρησιμα Υποσυνολα (της ℬ[Y]). Η p προκυπτει απο Στατιστικη Εκτιμηση ειτε απο Θεωρητικη Υποθεση H Πληροφορια [Ξ] του Γεγονοτος / Μηνυματος Ξ, για καθε Ξ στην ℬ[Y] ειναι μια εκτιμηση της Αβεβαιοτητας που αιρεται μετα την προσληψη του μηνυματος / παρατηρησης του Ξ 𝒾[Ξ] εξαρταται απο τον αριθμο των δυνατοτητων που περιοριζονται μετα την προσληψη του μηνυματος/παρατηρησης του Ξ 𝒾[Ξ] εξαρταται απο τον αριθμο των δυνατων περιπτωσεων που αντιστοιχουν στο μηνυμα / παρατηρηση του Ξ H Πληροφορια των Στοιχειωσων Γεγονοτων ειναι Συνολο-συναρτηση (Set Function) στην Αλγεβρα Boole ℬ[Y] Ορισμος Shannon για την 𝒾[Ξ] 𝒾[Ξ] ο ελαχιστος αριθμος των ανεξαρτητων ισοπιθανων Δυαδικων (ΝΑΙ/ΟΧΙ) αποφασεων που απαιτουνται για να πληροφορηθει καποιος, οτι το γεγονος Ξ πραγματοποιηθηκε, χωρις αλλη εκ των προτερων (a priori) πληροφορια p[Ξ] = 1 𝒾[Ξ] � � 2 ⟺ 1 p[Ξ] = 2𝒾[Ξ] ⟺ 𝒾[Ξ] = −log2 p[Ξ] = −ld p[Ξ] ΠΑΡAΔΕΙΓΜΑ: Koρωνα-Γραμματα 1 δυαδικη ισοπιθανη αποφαση 1 p[K]= 2 1 1 =� � 2 ⟹ 𝒾[K]=1bit 𝒾[Ξ]=−ldp[Ξ] p[Ξ] The 20 Questions Game Del Lungo A. Louchard G.ea 2005 , The Guessing Secrets Ρroblem: a Ρrobabilistic Αpproach, Journal of Algorithms 55, 142–176 Μπορω να αναγω ολα τα Ερωτηματα σε Στοιχειωσεις Ερωτησεις? σε δυαδικες Αποφασεις? ΝΑΙ Eαν Τοτε 1 ν1 p[Ξ]= � � α 1 ν2 � � β … 1 ν1 ldα 1 ν2 ldβ p[Ξ]= � � � � … 2 2 Υπομν. α=2ldα = 1 ν1 ldα+ν2 ldβ+⋯ � � 2 Πληροφορια Moναδες Μετρησης 1Byte=1B=23 bits=8bits 1KB=210 B=1024B 1MB=210 KB=1024KB=1048576B 1GB=210 MB=1024MB=1048576MB=1073741824KB ≅ 1.1x1012B ≅ 8.8 x1012bits Ποσα Πληροφοριας TV Image ld10414720bits =1.4 x 106 bits (576 lines , 720 columns) = 414720 px and 10 luminosity scales 1 chromosome ld4100000bits = 2 x 105 bits DΝΑ as 4 Symbol Message Information in Bacteria Memory Cells, E. Coli (2011) Cells in the Human Body Brain Neurons Brain Synaptic Links Brain Memory Cyberspace 2007: Cyberspace 2012: Cyberspace Indexed Google 0.004% Atoms in 12gr C Universe Chess GO Eternity II 900000 GB > 1014 ~1011 ~1015 2.5 PetaBytes = 1048576 GB ≈ 8.8 x 1018 bits ≈ 300 years of TV recording ! 281 billion GB=281x109GB≅2.5x1021bits 3.6 x 1022 bits 1018 bits 2007 1.4 x 1018 bits 2012 6,022 x 1023 10100 bits 1043 bits 10200 bits ? 10550 bits Ο. Πληροφορια (Shannon) της TM Α ειναι η Πληροφορια (Shannon) της Διαμερισης ξ={Ξν, ν=1,2,…,n}, n∈ℕ που οριζει η ΤΜ A Εστω (Y, ℬ[Y]) Μετρησιμος Χωρος. Εστω p κατανομη Πιθανοτητος στα Μετρησιμα Υποσυνολα (της ℬ[Y]). Η p προκυπτει απο Στατιστικη Εκτιμηση ειτε απο Θεωρητικη Υποθεση A(y)=∑Ν 𝜈=1 𝛼𝜈 1𝛯𝜈 (𝑦) Πληροφορια της ΤΜ Α (ως προς την p) = Εντροπια της ΤΜ Α (ως προς την p) ℐ= ℐ[Α] = − ∑nν=1 p(Ξν )ld𝑝[Ξν ] = − ∑nν=1 pν ldpν Η Πληροφορια ειναι ιδιοτητα της κλασσης των ΤΜ A(y)=∑Ν 𝜈=1 𝛼𝜈 1𝛯𝜈 (𝑦) που ειναι μετρησιμες ως προς τoν υποχωρο < 1𝛯1 , … , 1𝛯𝛮 > μετρησιμες ως προς τη διαμεριση ξ = {Ξν} Η Πληροφορια ειναι η αυτη για οιαδηποτε ΤΜ της μορφης A(y)=∑Ν 𝜈=1 𝛼𝜈 1𝛯𝜈 (𝑦) 𝑛 𝑛 ℐ[Α] = � 𝑝(𝛢 = 𝛼𝜈 )𝒾[𝑝(𝛢 = 𝛼𝜈 )] = � 𝑝𝜈 𝒾[𝑝𝜈 ] ν=1 𝑛 ν=1 𝑛 ℐSHANNON [Α] = − � 𝑝(𝛢 = 𝛼𝜈 )ld[𝑝(𝛢 = 𝛼𝜈 )] = − � 𝑝𝜈 ld𝑝𝜈 ν=1 ν=1 Θ. ΙΔΙΟΤΗΤΕΣ ΤΗΣ ΠΛΗΡΟΦΟΡΙΑΣ Διαμερισης 1) 0 ≤ ℐ[ξ]≤ld n H Πληροφορια ειναι θετικος αριθμος μικροτερος η ισος απο την τιμη ld Ν 2) ℐ(ξ)=ld n ⇔ pν=p[Ξν ] =1/n, ∀ ν=1,2,…,n Δηλαδη η ισοπιθανη διαμεριση εχει την μεγιστη Πληροφορια απο τις διαμερισεις Ν κελλιων Ισοδυναμα η ισοπιθανη ΣΜ εχει την μεγιστη Πληροφορια απο τις ΣΜ που παιρνουν Ν-τιμες 3) ℐ(ξ) ≤ ℐ(η) , εαν ξ < η ξ<η⟺καθε κελλι Ηλ της η περιεχεται σε καποιο κελλι Ξκ της ξ Δηλαδη: Λεπτοτερες Διαμερισεις εχουν μεγαλυτερη Πληροφορια TΜ που λαμβανουν περισσοτερες τιμες περιεχουν περισσοτερη Πληροφορια διοτι η μετρηση τους παρεχει περισσοτερη Πληροφορια Μετρησεις μεγαλυτερης ακριβειας παρεχουν περισσοτερη Πληροφορια Αποδ 1) 2) ℐ[ξ]−ldn= − ∑n𝜈=1 pν ldpν − ldn =− ∑n𝜈=1 pν ldpν − �∑n𝜈=1 pν �ldn =− ∑n𝜈=1 pν ld�pν n� = − ∑n𝜈=1 pν ld pν qν , qν= 1 n ------------------------- ΛΗΜΜΑ: Ανισοτητα Gibbs: ------------------------- ∑nν=1 pν ld pν qν ∑N 𝜈=1 pν ld pν qν ≥0 = 0 ⟺ pν = q ν Logarithmic Inequality lnx ≤ x−1 lnx = x−1 ⟺ x=1 Gibbs Inequality N For any pn , qn ≥0, ∑N 𝑛=1 pn = 1 , ∑𝑛=1 q n = 1 : 1) ∑N 𝑛=1 pn ln 2) ∑N 𝑛=1 pn ln 1) ∑N 𝑛=1 pn ld 2) ∑N 𝑛=1 pn ld lnx=ln2 ldx pn qn pn qn pn qn pn qn N ≥ 0 ⟺ ∑N 𝑛=1 pn lnpn ≥ ∑𝑛=1 pn lnq n = 0 ⟺ pn = qn N ≥ 0 ⟺ ∑N 𝑛=1 pn ldpn ≥ ∑𝑛=1 pn ldq n = 0 ⟺ pn = qn , ln2=0.693147180559945 Proof 1 The Logarithmic Inequality is rewritten as: −lnx≥1−x −lnx = 1−x ⟺x=1 N N N qn qn pn � pn ln = � pn �−ln � �� ≥ � pn �1 − � �� = 0 qn pn pn 𝑛=1 N 𝑛=1 N 𝑛=1 qn qn qn � pn �−ln � �� = � pn �1 − � �� ⟺ =1 pn pn pn 𝑛=1 𝑛=1 Proof 2 From Jensen Inequality Cover T.,Thomas J. 2006, Elements of Information Theory, Wiley, New York {EΡΓ 0.1} + {0.1 Jensen Inequality} 2 Καλπες με Λευκους,Μαυρους, Κοκκινους βωλους [Y 51] Η Καλπη Α περιεχει 10 λευκους, 5 μαυρους, 5 κοκκινους Βωλους (20) Η Καλπη Β περιεχει 8 λευκους, 8 μαυρους, 4 κοκκινους Βωλους (20) Επιλεγω (τυχαια) ενα Βωλο απο καθε Καλπη Ποια Επιλογη ειναι πιο Αβεβαια? Θα στοιχηματισω στην πιο βεβαια Επιλογη Πιο Βεβαια η Επιλογη Μικροτερης Πληροφοριας 1 1 1 1 ℐΑ = −pλ,Ald (pλ,A) –pμ,A ld (pμ,A)− pκ,A ld (pκ,A) = − 𝑙𝑑 − 𝑙𝑑 − 1 pλ,A= 2 1 pμ,A= 4 2 1 pκ,A= 4 2 2 2 2 2 4 1 4 1 4 1 4 1 1 1 1 𝑙𝑑 = ∙ 1 + ∙ 2 + ∙ 2 = 1.5bits 4 2 1 4 4 ℐΒ= −pλ,Β ld(pλ,Β) –pμ,Β ld(pμ,Β)− pκ,Β ld(pκ,Β)= − 5 𝑙𝑑 5− 5 𝑙𝑑 5 − 5 𝑙𝑑 5 ≅ 5 ∙ 1,32 + 5 ∙ 2,32 ≅ 1.52bits 2 pλ,A= 5 ℐΑ < ℐΒ 2 pμ,A= 5 1 pκ,A= 5 EΡΓ Απαντηστε με Θεωρια Πιθανοτητων 0.3 Ο. Η Κοινη Πληροφορια των ΤΜ Α και Β (Joint Information, Common Information) Η Πληροφορια απο την μετρηση των ΤΜ Α,Β ℐ[Α,Β] = Ε[𝒾(A,B)] = ∑𝛼,𝛽 𝜌(𝑎, 𝑏)𝒾(𝛼, 𝛽) ℐSHANNON [Α,Β] = − ∑𝛼,𝛽 𝜌(𝑎, 𝑏)𝑙𝑑𝜌(𝛼, 𝛽) Η Πληροφορια απο την μετρηση των ΤΜ Α1,Α2 ,..., ΑΝ ℐ[Α1,Α2 ,..., ΑΝ]= Ε[𝒾(Α1,Α2 ,..., ΑΝ)] = ∑𝛼1,𝛼2,…,𝛼𝛮 𝜌(𝛼1 , 𝛼2 , … , 𝛼𝛮 )𝒾(𝛼1 , 𝛼2 , … , 𝛼𝛮 )] ℐS[Α1,Α2 ,..., ΑΝ] = − ∑𝛼1,𝛼2,…,𝛼𝛮 𝜌(𝛼1 , 𝛼2 , … , 𝛼𝛮 )𝑙𝑑(𝛼1 , 𝛼2 , … , 𝛼𝛮 )] Θ. 1) 2) 3) ℐ[A ,B] = ℐ[Β ,Α] ℐ[A ,B] ≤ ℐ[A] + ℐ[B] ℐ[A1 , A2 ,..., Aν] ≤ ℐ[A1] + ℐ[A2] +...+ ℐ[Aν] ℐ[A,B] = ℐ[A] + ℐ[B] ⟺ Α,Β ανεξαρτητες ΤΜ Αποδ. 2) {0.2} , 3) {0.2} ΠΟΡΙΣΜΑ Απο τις 2),3) φαινεται οτι η Εντροπια αλληλοεξαρτωμενων ΤΜ ειναι μικροτερη απο το αθροισμα των επι μερους Εντροπιων τους ⟺ Οι αλληλοεξαρτηση μειωνει την Εντροπια Δεσμευμενη Πληροφορια Ο. Δεσμευμενη Πληροφορια του συνολου Ξ απο το συνολο Η 𝒾[Ξ|Η] 𝒾SHANNON [Ξ|Η] = −ldp(Ξ|Η) O. Δεσμευμενη Πληροφορια της TΜ Α απο το συνολο H ℐ[A|Η] = ∑n𝛼=1 𝑝[𝛢 = 𝛼|𝛨] 𝒾[𝐴 = 𝛼|𝛨] ℐS [Α|Η] = − ∑nα=1 𝑝[𝛼|𝛨]𝑙𝑑 𝑝[𝛼|𝛨] Ο. Δεσμευμενη Πληροφορια της TΜ Α απο την TΜ Β 𝓘[A|B] (Conditional Information οf the RV A by the RV B, Equivocation=Aοριστια) = The uncertainty about the RV A after observing another RV B ℐ[Α|Β]= ∑𝛼,𝛽 𝜌(𝑎, 𝑏)𝒾(𝛼|𝛽) ℐS [Α|Β]= − ∑𝛼,𝛽 𝜌(𝑎, 𝑏)𝑙𝑑𝜌(𝛼|𝛽) ρ(α,β)= η κοινη πιθανοτητα των ΤΜ Α,Β ρ(α|β)= η δεσμευμενη πιθανοτητα της ΤΜ Α απο την ΤΜ Β Θ. ΙΔΙΟΤΗΤΕΣ ΔΕΣΜΕΥΜΕΝΗΣ ΠΛΗΡΟΦΟΡΙΑΣ 1) ℐ[A|B]≥0 ℐ[A|B]=0 ⇔ ξ =η 2) ℐ[Α|Β] ≠ ℐ[Β|Α] 𝓘[A|B]= 𝓘[Β|Α]+𝓘[A]−𝓘[Β] ℐ[A|B]= ℐ[Β|Α] ⇔ ℐ[A]=ℐ[Β] ΠΟΡ. Η ℐ[ξ|η] δεν οριζει αποσταση στην Αλγεβρα των ΤΜ 3) ℐ[A|B] ≤ ℐ[A] ,δηλ Evidence Decreases Uncertainty ℐ[A|B] = ℐ[A] ⇔ Α , Β Ανεξαρτητες ΤΜ 4) Kανων Αλυσσου: ℐ[A , B] = ℐ[A]+ ℐ[Β|Α] = ℐ[Β] +ℐ[A|Β] H Κοινη Πληροφορια των ΤΜ Α,Β ειναι το αθροισμα της Πληροφοριας της Α και της Δεσμευμενης Πληροφοριας της Β δεδομενης της μετρησης της Α ℐ[A1 , A2] = ℐ[A2|A1] +ℐ[A1] ℐ[A1 , A2 , A3] = ℐ[A3|A2 , A1] +ℐ[A2 , A1]= ℐ[A3|A2 , A1] + ℐ[A2|A1] +ℐ[A1] ℐ[A1 , A2 ,..., Am] = ℐ[Am|Am-1 , ... , A1] +∙∙∙+ℐ[A1] 5) ℐ[A1 , A2|B] ≤ ℐ[A1|B] +ℐ[A2|B] ℐ[Α| Β1 , Β2] ≤ ℐ[Α|Β1] +ℐ[Α|Β2] Αποδ 1) Aνισοτητα Gibbs 3) {0.3}, 4) ℐSHANNON [ξ|η] = ℐSHANNON [ξ,η]− ℐSHANNON [η] Κ 𝛮 𝑝[𝛯𝜈 ∩ 𝛨𝜅 ] � ℐ [ξ|η] = − � � 𝑝[𝛯𝜈 ∩ 𝛨𝜅 ]𝑙𝑑 � 𝑝[𝛨𝜅 ] κ=1 ν=1 m ∑𝑛 𝛮 [ ] [ ] ∑ ∑ = − ∑Κ 𝑝 𝛯 𝑙𝑑𝑝 𝛯 ∩ 𝛨 ∩ 𝛨 − (− 𝜈 𝜅 𝜈 𝜅 κ=1 ν=1 κ=1 ν=1 𝑝[𝛯𝜈 |𝛨𝜅 ] 𝑝[𝛨𝜅 ] 𝑙𝑑𝑝[𝛨𝜅 ]) 𝑚 𝑚 = ℐ[ξ, η] − �− � 𝑝 �� 𝛯𝜈 �𝛨𝜅 � 𝑝[𝛨𝜅 ]𝑙𝑑𝑝[𝛨𝜅 ]� κ=1 m 𝜈=1 = ℐ[ξ, η] − �− � p[Υ|Ηκ ]p[Ηκ ]ldp[Ηκ ]� κ=1 m = ℐ[ξ, η] − �− � p[Ηκ ]ldp[Ηκ ]� κ=1 Γενικευεται εαν 𝓲[pq]= 𝓲[p] + 𝓲[q] 5) {0.3}, = ℐ[ξ , η] − ℐ[η] ΚΑΛΠΕΣ Eπιλεγω 2 βωλους απο Καλπη που περιεχει n βωλους, m μαυρους και n - m λευκους. Α=η επιλογη του πρωτου βωλου Β=η επιλογη του δευτερου βωλου 1) Ποια Επιλογη ειναι πιο Αβεβαια? 2) Πως αλλαζουν οι Αβεβαιοτητες καθε επιλογης αν εχει πραγματοποιηθει η αλλη επιλογη? 3) Υπολογιστε τις Δεσμευμενες Πληροφοριες ℐ(B|A) και ℐ(Α|Β) [Υ 67] 𝑚 𝑛−𝑚 𝑚 𝑛−𝑚 Η Α εχει 2 ενδεχομενα (μ, λ) με πιθανοτητες pA(μ)= , pA(λ)= n Η B εχει 2 ενδεχομενα (μ, λ) με πιθανοτητες pB(μ)= , pB(λ)= 1) ℐ(Α)=ℐ(B)=− 𝑚 n ld 𝑚 n − 𝑛−𝑚 n ld 𝑛−𝑚 n n n n . Οι Επιλογες εχουν την αυτη αβεβαιοτητα 2) Θα συγκρινουμε τις Δεσμευμενες Πληροφοριες ℐ(B|A) , ℐ(Α|Β) ℐ[A|B]= ℐ[Β|Α] , επειδη ℐ[A|B]= ℐ[Β|Α]+ℐ[A]−ℐ[Β] και ℐ(Α)= ℐ(B) Οι Αβεβαιοτητες καθε επιλογης δεν αλλαζουν αν εχει πραγματοποιηθει η αλλη επιλογη 3) Υπολογισμος της Δεσμευμενης Πληροφοριας ℐ(B|A) ℐ(B|A) = pA(μ)ℐ(B|Α=μ)+ pA(λ)ℐ(B|Α=λ) 𝑚−1 ℐ(B|Α=μ) = ℐ(Β=μ| Α=μ) + ℐ(Β=λ|Α=μ)= − n−1 𝑙𝑑 𝑚−1 n−1 ℐ(Β=μ| Α=μ)=−p(B=μ|Α=μ)ld p(B=μ|Α=μ)=− 𝑚−1 𝑙𝑑 𝑚−1 ℐ(Β=λ| Α=μ)=−p(B=λ|Α=μ)ld p(B=λ|Α=μ)=− 𝑛−𝑚 𝑙𝑑 𝑛−𝑚 p(B=μ|Α=μ)= p(B=λ|Α=μ)= n−1 𝑚−1 n−1 𝑛−𝑚 n−1 ℐ(B|Α=λ) = ℐ(Β=μ| Α=λ) + ℐ(Β=λ|Α=λ) = − ℐ(Β=μ| Α=λ)=−p(B=μ|Α=λ)ld p(B=μ|Α=λ) = − p(B=μ|Α=λ) = − 𝑚 n−1 𝑙𝑑 𝑚 n−1 n−1 𝑚 n−1 𝑚 n−1 − 𝑛−𝑚 n−1 𝑙𝑑 𝑛−𝑚 n−1 n−1 n−1 𝑙𝑑 𝑙𝑑 𝑚 n−1 𝑚 n−1 − 𝑛−𝑚−1 n−1 𝑙𝑑 𝑛−𝑚−1 n−1 𝑛−𝑚−1 ℐ(Β=λ| Α=λ)=−p(B=λ|Α=λ)ld p(B=λ|Α=λ)=− p(B=λ|Α=λ)= n−1 ℐ(B|A) = pA(μ)ℐ(B|Α=μ)+ pA(λ)ℐ(B|Α=λ) =�− n−1 𝑛−𝑚−1 m n ld =Ι(Β) �− m n − m−1 n−1 ℐ(B|A) ≤ ℐ(Β) γενικα n−m ld n ld m−1 n−1 n−m − n � �− n−m n−1 ld m−1 n−1 n−m n−1 ld 𝑙𝑑 m−1 �+ n−1 n−m n 𝑛−𝑚−1 n−1 − n−m n−1 �− ld n−m−1 n−1 n−m n−1 ld �+ n−m n−m−1 n−1 � n �− n−m−1 n−1 ld n−m−1 n−1 � Ο. Η Aμοιβαια Πληροφορια των TΜ Α και Β (διαμερισεων ξ και η) (Μutual Information=Τransinformation=Transmitted Information) Ειναι: ℐ[A] + ℐ[B] ≥ ℐ[A , B] ℐ[A] + ℐ[B] = ℐ[A , B] ⟺ Α,Β ανεξαρτητες ΤΜ Συνεπως: ℐ[A] + ℐ[B] − ℐ[A , B] η Πληροφορια της Αμοιβαιας Εξαρτησης των ΤΜ Α,Β Ο ℐ[A;B] = ℐ[A] + ℐ[B] - ℐ[A,B] = ℐ[A] - ℐ[A|B] = ℐ[Β] - ℐ[Β|Α] Η Αμοιβαια Πληροφορια των ΤΜ Α,Β Η ΑΠ ειναι ποσοτικη εκτιμηση της Αμοιβαιας εξαρτησης των ΤΜ Α,Β Η ΑΠ μας λεει ποσο αποκλινει η προσεγγιση ανεξαρτητων ΤΜ απο την κοινη Πληροφορια Θ. ΑΜΟΙΒΑΙΑ ΠΛΗΡΟΦΟΡΙΑ Ιδιοτητες 1. 2. 3. 4. ρ(α|β) ℐ[Α;Β]= − ∑α,β ρ(a, b)ld ρ(α)ρ(β) ℐ[A ;B] ≥ 0 ℐ[A ;B] = 0 ⇔ Α , Β Ανεξαρτητες ΤΜ ℐ[A ;B] = ℐ[Β;Α] Συμμετρια ℐ[A ;Α] = ℐ[A] 5. Η Αμοιβαια Πληροφορια δεν οριζει αποσταση στην Αλγεβρα των ΤΜ D1. d(Α,Β)≧0 ισχυει D2. d(Α,Β)=0 ⟺ Α=Β δεν ισχυει D3. d(Α,Β)= d(B,Α) ισχυει D4. d(Α,Β)≦ d(Α,H)+ d(H,Β), ∀ ΤΜ Η ? Αποδ {ΕΡΓ 0.3} Eφαρμογες Αμοιβαιας Πληροφοριας Μελετη Εξαρτησεων, Αναλυση Συμβολικων Ακολουθιων (DΝΑ,Μουσικη) Word Nearness Search Engines Second Order Co-occurrence-Pointwise Mutual Information (SOC-PMI) Method ΒΙΒΛΙΟΓΡΑΦΙΑ Cover T.,Thomas J. 2006, Elements of Information Theory, Wiley, New York Gray R. 1990, Entropy and Information Theory, Springer, New York. Khinchin A. (1957) Mathematical Foundations of Information Theory, Dover, New York. Kolmogorov A.N. 1933, Foundations of the Theory of Probability, 2nd English Edition, Chelsea, New York 1956. Κολυβα-Μαχαιρα Φ. (1998) Μαθηματικη Στατιστικη 1 Εκτιμητικη, Εκδ. Ζητη, Θεσσαλονικη. Li M.,Vitanyi P. (1993) An Introduction to Kolmogorov Complexity and its Applications, Springer.New York MacKay D. (2003) Information Theory, Inference, and Learning Algorithms, Cambridge ,UK. Renyi A. (1984) A Diary in Information Theory,Wiley, New York. Reza F. 1961, An Introduction to Information Theory, McGraw-Hill, New York ; Dover Reprint (1994) Shannon C. ,Weaver W. 1949, The Mathematical Theory of Communication, Univ. Illinois Press, Urbana. ΠΛΗΡΟΦΟΡΙΑ Διαυλου ΠΗΓΗ Α=Ψ � Β=Ψ ΔΙΑΥΛΟΣ ΛΑΘΗ ΘΟΡΥΒΟΣ ΠΑΡΕΜΒΟΛΕΣ Α=Ψ η TM Εισοδου στον Διαυλο � η TM Εξοδου από τον Διαυλο Β=Ψ ΔΕΚΤΗΣ Eστω ℐ[A] η Πληροφορια που εστειλε η Πηγη και ℐ[B] η Πληροφορια που ελαβε ο Δεκτης (μεσω του Διαυλου Επικοινωνιας) Τοτε: ℐ[A,B] = η Πληροφορια του ολου Συστηματος Επικοινωνιας ρ(α,β)= ρ(β) ρ(α|β) = η πιθανοτης να εσταλη το μηνυμα α και να εληφθη το μηνυμα β ℐ[A|B] = η Πληροφορια που εσταλη εαν ειναι γνωστο ότι εληφθη Πληροφορια ℐ[Β] {δειχνει ποσο ευκολα ανακταται το Μηνυμα που εσταλη απο το Μηνυμα που εληφθη λογω της επιδρασης του Διαυλου Επικοινωνιας} ℐ[B|Α] = η Πληροφορια που εληφθη εαν ειναι γνωστο ότι η Πηγη εστειλε Πληροφορια ℐ[A] {δειχνει την επιδραση του Διαυλου Επικοινωνιας} ℐ[A ; B] = ℐ[A] −ℐ[A|Β]= ℐ[B] −ℐ[B|A]= ℐ[A] + ℐ[B] −ℐ[A,B]=R Θ = Transmission Rate οf the Channel [Shannon 1949, 20] = η Πληροφορια που εισαγει ο Διαυλος Επικοινωνιας ως αμοιβαια εξαρτηση Πηγης - Δεκτη ℐ[A ,B] = ℐ[A|B] + ℐ[Β|Α] + ℐ[A ;B] [Reza F. 1961, An Introduction to Information Theory, McGraw-Hill, New York ; Dover Reprint (1994), σ.98] Κβαντικη Πληροφορια Μετρηση του Παρατηρησιμου Μεγεθους (ΠM) Α Α Τελεστης στον Χωρο Hilbert ℋ, Στην απλουστερη περιπτωση: ℋ=ℂΝ 𝜜 = ∑𝜨 𝒂=𝟏 𝛂ℙ𝒂 το Φασματικο Αναπτυγμα του τελεστη A ℙα : ℋ ⟶ℋα = ο Τελεστης Προβολης στον α-ιδιοχωρο ℋα του ℋ 𝒑𝒂 = � ,ℙ𝜶 𝛙 �> <𝛙 � ∥𝟐 ∥𝛙 = η Πιθανοτητα η ψ να ανηκει στον α-ιδιοχωρο ℋα του ℋ Πληροφορια Shannon απο την Μετρηση του Α στην κατασταση ψ ℐ(Α, ψ) = n − � ρα ldρα = − α=1 n < 𝛙, ℙ𝜶 𝛙 > < 𝛙, ℙ𝜶 𝛙 > � ld ∥ 𝛙 ∥𝟐 ∥ 𝛙 ∥𝟐 α=1 Αν η διαθεσιμη πληροφορια για την κατασταση του Συστηματος ειναι οι πιθανοτητες w1 , w2 ,..., wn το διανυσμα ψ να κειται στους αξονες u1 , u2 ,..., un αντιστοιχα, n ≤ dim 𝒴 wα = |<ψ , uα>|2 = |<ψ |α >|2 Γνωριζουμε τις πιθανοτητες wα , αλλα δεν γνωριζουμε τις συντεταγμενες (πλατη πιθανοτητος) <ψ , uα> = <ψ |α > Τοτε η Πληροφορια Shannon απο την Μετρηση του Α ειναι: ℐ(Α; ρ) = − � 𝑡𝑟(𝜌ℙα )ld[𝑡𝑟(𝜌ℙα )] α=1 ρ= ∑𝑛𝜈=1 𝑤𝜈 ℙ𝜈 o Τελεστης Πυκνοτητος του Μειγματος (wν , φν), ν=1,2,…,n ℙi = <ui , > ui : ο Τελεστης Προβολης στην κατευθυνση του ui (1-dim ΔY του ℋ) tr (ρ ℙα )= η πιθανοτητα η ψ να κειται στον Υποχωρο ℙα , δεδομενων των (ρ1 , ρ2 ,..., ρΝ ) ∑𝑛𝛼=1 tr (ρ ℙ𝛼 ) = 𝑡𝑟 𝜌 ∑𝑛𝛼=1 ℙ𝛼 = tr ρ =1 Για αλλο ΠΜ Β ειναι: ℐ(Β; ρ) = − � 𝑡𝑟�𝜌ℙβ �ld[𝑡𝑟�𝜌ℙβ �] 𝛽=1 H κοινη Πληροφορια των ΠΜ Α,Β,…, οριζεται αν και μονον αν τα Α,Β,… μετατιθενται: [Α,Β]=0. Πως να χαρακτηρισω την Πληροφορια του Κβαντικου Συστηματος για ολα τα ΠΜ? Ως Πληροφορια του Κβαντικου Συστηματος προτεινεται η μεγιστη Πληροφορια από ολες τις Παρατηρησεις: Θ. ℐ(ρ) = inf ℐ(Α; ρ) 𝐴∈𝒜 ℐ (ρ) = inf ℐ (Α; ρ) = 𝐴∈𝒜 −𝑡𝑟(𝜌ld𝜌) ℐ(ρ) = − ∑nν=1 𝑤ν ldwν , αν οι πιθανοτητες w1 , w2 ,..., wn είναι ιδιοτιμες του Τελεστη Πυκνοτητος ρ Η Πληροφορια Von Neuman- Shannon Staszewski P. 1978, On The Characterization of the Von Neumann Entropy via the Entropies of Measurements, Rep. Math. Physics 13, 67-71
© Copyright 2024 Paperzz
