ΣΤΑΤΙΣΤΙΚΗ ΑΝΑΛΥΣΗ ΠΛΗΡΟΦΟΡΙΑΣ 4. ΠΛΗΡΟΦΟΡΙΑ και ΕΝΤΡΟΠΙΑ Ioannis E. Antoniou Mathematics Department Aristotle University 54124,Thessaloniki,Greece [email protected] http://users.auth.gr/iantonio Θερμοδυναμικη Εντροπια Εντροπια Βοltzmann. Παρατηρηση Moριακης Καταστασης Συστηματος Εντροπια Shannon. Mεση Πληροφορια Παρατηρησης Εφαρμογες Eντροπιας Eντροπια Κατανομων Πιθανοτητας Κατανομες Μεγιστης Εντροπιας Εντροπια Μοναδικοτης Εντροπια και Πιθανοτητα Οι 3 Ορισμοι της Εντροπιας Θερμοδυναμικη Εντροπια Εντροπια Βοltzmann Παρατηρηση Moριακης Καταστασης Συστηματος Εντροπια Shannon Mεση Πληροφορια Παρατηρησης Θερμοδυναμικη Eντροπια H Θερμοδυναμικη Eντροπια της Kαταστασης (κ) οριζεται από τoν τυπο Clausius 1860: ℐΘ = S = S(κ) = Q0,1 T0 + Q1,2 T1 + ⋯+ Qn−1,n T𝑛−1 = Qν,ν+1 n−1 ∑ν=0 T για οποιαδηποτε Αναστρεψιμη Διαδικασια: ν κ dQ = ∫0 T κ0 → κ1 → κ2 → … → κn−1 → κ ≡ κn από την κατασταση Αναφορας κ0 προς στην κατασταση κ≡ κn μεσω n βηματων με ενδιαμεσες καταστασεις: κ1 , κ2 , … , κn−1. Qα,β η θερμότητα που εισερχεται στο σύστημα απο το περιβάλλον του, Κατά την μεταβολή α→β Τα η θερμοκρασία υπό την οποία συμβαίνει η μεταβολή α→β ΕΜΠΕΙΡΙΚΗ Υποθεση: 1) Κάθε φυσικη κατασταση κ είναι προσβασιμη από την κατασταση αναφορας “0” μεσω τουλαχιστον μιας Αναστρεψιμης Διαδικασιας, κατά την οποια ανταλλασσεται μονο Θερμοτητα μεταξυ Συστηματος - Περιβαλλοντος 2) Οιεσδηποτε φυσικες καταστασεις κ,λ είναι προσβασιμες η μια από την αλλη μεσω τουλαχιστον μιας Αναστρεψιμης Διαδικασιας κατά την οποια ανταλλασσεται μονο Θερμοτητα μεταξυ Συστηματος - Περιβαλλοντος 3) Για μια οποιαδηποτε Μη Αναστρεψιμη Διαδικασια: κ → λ: ΔS = S(λ) – S(κ) ≥ ∑n−1 ν=0 Η Εντροπια αυξανει (2η Αρχη Θερμοδυναμικης) Qν,ν+1 Tν ≥0 ΑΝΑΦΟΡΕΣ Pauli W. 1973, Thermodynamics and the Kinetic Theory of Gases, Vol. 3 of Pauli Lectures on Physics, MIT Press Massachusetts Kondepudi D., Prigogine I. 1998, Modern Thermodynamics: From Heat Engines to Dissipative Structures, Wiley, New York Entropy is the Αverage Information necessary to reproduce the state-situation from some reference state (equilibrium) Entropy increases in the Future 2nd Principle of Thermodynamics [Clausious 1850s] Statistical Thermodynamic Equilibrium Scotch on the Rocks Order Inhomogeneity Far From Equilibrium Dis-Order Homogeneity Equilibrium Gas Mixing Order Inhomogeneity Far From Equilibrium Dis-Order Homogeneity Equilibrium Εντροπια Βοltzmann. Παρατηρηση Moριακης Καταστασης Συστηματος Τι σημαινει η Εντροπια Clausius στο Μοριακο Επιπεδο? Πως ερμηνευεται η Αυξηση Εντροπιας στο Μελλον? Ορισμος Eντροπια Boltzmann της Παρατηρουμενης Μεταβλητης ℐBOLTZMANN = S = kln𝒲 k=σταθερος αριθμος εξαρτωμενος απο την μοναδα μετρησης 𝒲 = Wahrscheinlichkeit = thermodynamic probability ο αριθμος των δυνατων μοριακων καταστασεων που αντιστοιχουν- οδηγουν-είναι συμβατες με το αποτελεσμα της Παρατηρησης της Μεταβλητης ο αριθμος των Complexions The Entropy Formula was proposed by Boltzmann between 1872 to 1875. Boltzmann L. 1898, Lectures on Gas Theory, Translation of Vorlesungen tiber Gastheorie , by S. G. Brush. Berkeley: Univ. of California Press, 1964. Παρατηρηση Αεριου Πειραματικη Διαταξη Y = o Δειγματοχωρος = το συνολο των δυνατων καταστασεων (θεσεις, ορμες) των μοριων του αεριου ℬ τα Παρατηρησιμα Ενδεχομενα, Γεγονοτα τα Μετρησιμα Συνολα, οι παρατηρησιμες τιμες των καταστασεων πχ οι μετρησιμες τιμες ε1 , ε2 , ... , εn της Κινητικης Ενεργειας των μοριων οριζουν την διαμεριση ξ του Y στα κελλια Ξ1 , Ξ2 , ... , Ξn . Τα μορια με Κινητικη Ενεργεια εν ανηκουν στο κελλι Ξν , ν=1,2,…,n { Ξ1 , Ξ2 , ... , Ξn } αδρη περιγραφη (coarse grained description) {y} λεπτομερης περιγραφη (fine grained description) Αποτελεσμα Μετρησης η Θεωρητικης Εκτιμησης Eπειδη συνηθως δεν ειναι γνωστη η μοριακη κατασταση y, Εκτιμουμε πιθανολογικα p κατανομη Πιθανοτητος στα Μετρησιμα Υποσυνολα Ξ1 , Ξ2 , ... , Ξn Η p προκυπτει απο Στατιστικη Εκτιμηση των Παρατηρησεων ειτε απο Θεωρητικη Υποθεση Hypothesis: Τhe molecules are independently distributed in the cells Ξ1 , Ξ2 , ... , Ξn , with corresponding probabilities p1 , p2 , ... , pn Maxwell – Boltzmann Energy distribution: pν = 𝜀 − 𝜈 𝑒 𝑘𝑇 𝑍𝑛 , ν=1,2,…,n 𝜀𝜈 ∑𝑛𝜈=1 𝑒 − 𝑘𝑇 𝑍𝑛 = function) the normalization constant (partition Maxwell – Boltzmann Speed distribution: p(υ) = 1 𝛼3 � 2 𝜋 𝜐2 − 𝜐 2 𝑒 2𝛼2 Τhe Boltzmann Entropy of the Ideal Gas of m molecules. The Observation of the n values ε1 , ε2 , ... , εn of the Kinetic Energy of the m molecules gives: m1 molecules with Kinetic Energy ε1 m2 molecules with Kinetic Energy ε2 ... mn molecules with Kinetic Energy εn m1 , m2 , ... , mn are the numbers of molecules in the cells Ξ1 , Ξ2 , ... , Ξn m1 + m2 + ... + mn = m 𝒲 [m1 , m2 , ... , mn] = m! m1 !m2 !…mn ! Θεωρημα ℐB (m1 , m2 , ... , mn) ≅ m [−𝒌 ∑𝐧𝐚=𝟏 𝐩𝐚 𝐥𝐧 𝐩𝐚 ] , m With the Hypotheses: pa≅ a and m large m Αποδ ℐB = kln[m1 , m2 , ... , mn] = kln� = k [ln(m!) − ∑na=1 ln(ma !)] m! �= m1 !m2 !…mn ! , Stirling Formula: lnx!≅xlnx-x , x large, error estimation {EΡΓ 0.2} ≅ k [𝑚𝑙𝑛(𝑚) − 𝑚 − ∑na=1 ma ln(ma ) + ∑na=1 ma ] = k [𝑚𝑙𝑛(𝑚) − ∑na=1 ma ln(ma )] = k [𝑚𝑙𝑛(𝑚) − ∑na=1(mpa ) ln(mpa ) ] , pa≅ ma m , m large = k [𝑚𝑙𝑛𝑚 − ∑na=1(mpa ) ln(pa ) − ∑na=1(mpa ) ln(m) ] = m [−𝑘 ∑na=1 pa ln pa ] ℐB (8, 0) = −k8(1ln1+0ln0) = 0 𝟔 𝟔 𝟐 𝟐 𝟓 𝟓 𝟑 𝟑 𝟒 𝟒 𝟒 𝟒 ℐB (6, 2) = −k8( ln + ln ) =−8k(−0.216−0.347) = 8k 0.563 𝟖 𝟖 𝟖 𝟖 ℐB (5, 3) = −k8( ln + ln ) =−8k(−0.293−0.368) = 8k 0.661 𝟖 𝟖 𝟖 𝟖 ℐB (4, 4) = −k8( ln + ln ) = 8k 0.693 𝟖 𝟖 𝟖 𝟖 Υπολογιστε την Eντροπια Boltzmann για 4 καταστασεις αεριου 2Ν Μοριων 1) 2Ν μορια στο κελλι Ξ1 , 0 μορια στο κελλι Ξ2 2) 2Ν-λ μορια στο κελλι Ξ1 , λ μορια στο κελλι Ξ2 3) 2Ν-λ-1 μορια στο κελλι Ξ1 , λ+1 μορια στο κελλι Ξ2 4) Ν μορια στο κελλι Ξ1 , Ν μορια στο κελλι Ξ2 Τι διαπιστωνετε? Eργασια 0.5 Υπολογιστε την Eντροπια Boltzmann για 4 καταστασεις αεριου 2Ν λευκων Μοριων και 2Ν μαυρων Μοριων 1) 2Ν μαυρα μορια στο κελλι Ξ1 , 0 μαυρα μορια στο κελλι Ξ2 0 λευκα μορια στο κελλι Ξ1 , 2Ν λευκα μορια στο κελλι Ξ2 2) 2Ν-μ μαυρα μορια στο κελλι Ξ1 , μ μαυρα μορια στο κελλι Ξ2 λ λευκα μορια στο κελλι Ξ1 , 2Ν-λ λευκα μορια στο κελλι Ξ2 3) 2Ν-μ-1 μαυρα μορια στο κελλι Ξ1 , μ+1 μαυρα μορια στο κελλι Ξ2 λ+1 λευκα μορια στο κελλι Ξ1 , 2Ν-λ-1 λευκα μορια στο κελλι Ξ2 4) Ν μαυρα μορια στο κελλι Ξ1 , Ν μαυρα μορια στο κελλι Ξ2 Ν λευκα μορια στο κελλι Ξ1 , Ν λευκα μορια στο κελλι Ξ2 Τι διαπιστωνετε? Eργασια 0.5 Παραδειγμα: Ριψη 2 Ζαριων Δειγματοχωρος (𝟏, 𝟏), (𝟏, 𝟐), (𝟏, 𝟑), (𝟏, 𝟒), (𝟏, 𝟓), (𝟏, 𝟔) ⎧(𝟐, 𝟏), (𝟐, 𝟐), (𝟐, 𝟑), (𝟐, 𝟒), (𝟐, 𝟓), (𝟐, 𝟔)⎫ ⎪ ⎪ (𝟑, 𝟏), (𝟑, 𝟐), (𝟑, 𝟑), (𝟑, 𝟒), (𝟑, 𝟓), (𝟑, 𝟔) 𝜰= ⎨(𝟒, 𝟏), (𝟒, 𝟐), (𝟒, 𝟑), (𝟒, 𝟒), (𝟒, 𝟓), (𝟒, 𝟔)⎬ ⎪(𝟓, 𝟏), (𝟓, 𝟐), (𝟓, 𝟑), (𝟓, 𝟒), (𝟓, 𝟓), (𝟓, 𝟔)⎪ ⎩(𝟔, 𝟏), (𝟔, 𝟐), (𝟔, 𝟑), (𝟔, 𝟒), (𝟔, 𝟓), (𝟔, 𝟔)⎭ Kαταστασεις y= (κ,λ), κ,λ =1,2,3,… Μετρηση Sum RV 2 3 4 5 6 7 8 9 10 11 12 Observable Events Μετρησιμα Συνολα Ξ2 ={ (1,1)} Ξ3 ={ (1,2), (2,1)} Ξ4 ={ (2,2), (1,3),(3,1)} Ξ5 ={ (1,4), (2,3),(3,2), (4,1)} Ξ6 ={ (1,5), (2,4),(3,3), (4,2), (5,1)} Ξ7 ={ (1,6), (2,5),(3,4), (4,3), (5,2), (6,1)} Ξ8 ={ (2,6), (3,5),(4,4), (5,3), (6,2)} Ξ9 ={ (3,6), (4,5),(5,4), (6,3)} Ξ10 ={ (4,6), (5,5),(6,4)} Ξ11 ={ (5,6), (6,5)} Ξ12 ={ (6,6)} Probability 1/36=3% 2/36=6% 3/36=8% 4/36=11% 5/36=14% 6/36=17% 5/36=14% 4/36=11% 3/36=8% 2/36=6% 1/36=3% Eντροπια Boltzmann m ριψεων των 2 Ζαριων η Eντροπια παρατηρησης m Ισονομων και Ανεξαρτητων Tυχαιων Mεταβλητων Αποτελεσμα: m2 φορες το αθροισμα 2 m3 φορες το αθροισμα 3 … m12 φορες το αθροισμα 12 ℐB (m1 , m2 , ... , mn) ≅ m �−𝒌 ∑𝟏𝟐 𝐚=𝟐 𝐩𝐚 𝐥𝐧 𝐩𝐚 � 1 2 2 3 3 4 4 5 5 6 6 1 = 𝒎𝒌 �−𝟐 𝒍𝒏 − 𝟐 𝒍𝒏 − 𝟐 𝒍𝒏 − 𝟐 𝒍𝒏 − 𝟐 𝒍𝒏 − 𝒍𝒏 � 36 36 36 36 36 36 36 36 36 36 36 36 1 1 1 5 36 1 1 = 𝒎𝒌 � 𝒍𝒏𝟑𝟔 + 𝒍𝒏𝟏𝟖 + 𝒍𝒏𝟏𝟐 + 𝒍𝒏𝟗 + 𝒍𝒏 + 𝒍𝒏𝟔� 9 6 8 18 5 6 18 = 𝒎𝒌 � 1 1 1 5 1 1 𝟑. 𝟓𝟖𝟑𝟓 + 𝟐. 𝟖𝟗𝟎𝟒 + 𝟐. 𝟒𝟖𝟒𝟗 + 𝟐. 𝟏𝟗𝟕𝟐 + 𝟏. 𝟗𝟕 + 𝟏. 𝟕𝟗𝟏𝟖� 9 6 8 18 6 18 = 𝒎𝒌 (𝟎. 𝟏𝟗𝟗𝟎 + 𝟎. 𝟑𝟐𝟏𝟏 + 𝟎. 𝟒𝟏𝟒𝟏 + 𝟎. 𝟐𝟕𝟒𝟔 + 𝟎. 𝟓𝟒𝟕𝟐 + 𝟎. 𝟐𝟗𝟖𝟔) 𝓘𝐁 (𝐦𝟏 , 𝐦𝟐 , . . . , 𝐦𝐧 ) ≅ 𝒎𝒌 𝟐. 𝟎𝟓𝟒𝟔 Eντροπια Boltzmann ανα Μοριο 𝑱𝑩𝑶𝑳𝑻𝒁𝑴𝑨𝑵𝑵 (𝒎𝟏 ,…,𝒎𝒏 ) 𝐦 ≅ 𝐦 [−𝒌 ∑𝐧 𝐚=𝟏 𝐩𝐚 𝐥𝐧 𝐩𝐚 ] 𝐦 =−𝒌 ∑𝐧𝐚=𝟏 𝐩𝐚 𝐥𝐧 𝐩𝐚 Planck M. 1900, Verh. Deutsch. Phys. Ges., 2, 237 Planck M. 1930, Vorlesungen über Thermodynamik, De Gruyter Berlin, English Translation Dover 1945. "the logarithmic connection between Entropy and Probability was first stated by L. Boltzmann in his kinetic theory of gases." Gibbs Entropy is a generalization of Boltzmann Entropy Eντροπια Gibbs 1878 ℐG= −𝑘 ∑a pa ln pa , for discrete microstates ℐG= −k∫V dy p(y) ln p(y) , for continuous microstates Gibbs J. 1902, Elementary Principles of Statistical Mechanics Yale Univ. Press; Dover Reprint, New York. (Shannon) Entropy as Average Information of Observation Εντροπια Shannon από την Εντροπια Boltzmann Shannon Entropy (Information) of the Message (ψ1, ψ2 , ... , ψm) of size m prepared from n symbols {σ1, σ2, ... σn} Each term in the message may be any of the symbols {σ1, σ2, ... σn} p1 , p2 , ... , pn the probabilities of occurrence of the symbols {σ1, σ2, ... σn} in the Message ℐSHANNON = − ∑𝒏𝒂=𝟏 𝒑𝒂 𝒍𝒐𝒈𝟐 𝒑𝒂 = Boltzmann Molecule Gas of m Molecules Cell = ObservableMeasurable state of each Molecule of the Gas 𝟏 𝒍𝒏𝟐 𝓘𝑩𝑶𝑳𝑻𝒁𝑴𝑨𝑵𝑵 𝒎 = Boltzmann’s Entropy per Molecule Shannon Term in a Message Message of m Terms Symbol = ObservableRegistrable state of each Term of the Message Probability Theory Random Variable m Random Variables Cell of the Partition of The Random Variable ℐSHANNON = ∑𝒏𝒂=𝟏 𝒑𝒂 [−𝒍𝒐𝒈𝟐 𝒑𝒂 ] = the average of [−𝒍𝒐𝒈𝟐 𝒑𝒂 ] [−𝒍𝒐𝒈𝟐 𝒑𝒂 ] = 𝓲𝒂 the Information of the Event Ξα Entropy as Average Information Εντροπια ως μεση Πληροφορια Πληροφορια Γεγονοτος Ξ ∈ 𝓑[Y] Y o Δειγματοχωρος, τα Δυνατα Αποτελεσματα ℬ = ℬ[Y] μια σ-Αλγεβρα συλλογη υποσυνολων του Υ που αποτελουν τα Μετρησιμα Συνολα, Ενδεχομενα, Γεγονοτα p κατανομη Πιθανοτητος στα Μετρησιμα Υποσυνολα Η p προκυπτει απο Στατιστικη Εκτιμηση των Παρατηρησεων ειτε απο Θεωρητικη Υποθεση H Πληροφορια του Γεγονοτος / Μηνυματος Ξ, για καθε μετρησιμο συνολο Ξ ∈ ℬ ειναι μια εκτιμηση της Αβεβαιοτητας που αιρεται μετα την προσληψη του μηνυματος / παρατηρησης του Ξ 𝒾[Ξ] εξαρταται απο τον αριθμο των δυνατοτητων που περιοριζονται μετα την προσληψη του μηνυματος/παρατηρησης του Ξ 𝒾[Ξ] εξαρταται απο τον αριθμο των δυνατων περιπτωσεων που αντιστοιχουν στο μηνυμα / παρατηρηση του Ξ Information Axioms Requirements for the Information Function of Events 𝒾 is a real (set) function of the Events: 𝓲 : 𝔖 ⟶ ℝ: Ξ ⟼ 𝒾[Ξ] : (1) (2) (3) 𝒾[Ξ] = 0, εαν p[Ξ] =1, για καθε Ξ ∈ ℬ 𝒾[Ξ] ≥ 𝒾[Η], εαν p[Ξ] ≤ p[Η] , για καθε Ξ, Η ∈ ℬ 𝒾[Ξ∩H] = 𝒾[Ξ] + 𝒾[Η] , εαν Ξ, Η independent: p[Ξ∩H] = p[Ξ] p[Η] Θεωρημα (4) (5) 𝒾[Ξ] ≥ 0 , για καθε Ξ ∈ 𝔖[Y] 𝒾[Ν] = +∞ , εαν p[Ν] = 0 , Ν ∈ ℬ [Y] Proof Staightforward from (1), (2) (4) 𝒾[Ξ] ≥ 𝒾[Y]=0 , για καθε Ξ ∈ ℬ (5) εαν p[Ν] = 0 , Ν ∈ ℬ, τοτε 𝒾[Ν] ≥ 𝒾[Ξ], για καθε Ξ ∈ 𝔖[Y] με p[Ξ] > 0 Συνεπως πρεπει: 𝒾[Ν] = +∞ , εαν p[Ν] = 0 , Ν ∈ 𝔖[Y] Απαιτησεις για την Συναρτηση Πληροφοριας των Γεγονοτων ως συναρτηση της Πιθανοτητος p ∈ [0,1] (1) 𝒾[1] = 0 (2) 𝒾[p1] ≥ 𝒾[p2], εαν p1 ≤ p2 (3) 𝒾[p] ≥ 0 , για καθε p (4) 𝒾[0] = +∞ (5) 𝒾[p1 p2] = 𝒾[p1] + 𝒾[p2] Η (Λογαριθμικη) Συναρτησιακη Εξισωση Cauchy Θεωρημα Για συνεχεις συναρτησεις 𝒾[p] η Λυση είναι η Λογαριθμικη Συναρτηση: 𝒾[p]=−logbp, b>0, b≠1 Αποδ. Ασκηση 0.1 Ορισμος Shannon για την 𝒾[Ξ] 𝒾[Ξ] ο ελαχιστος αριθμος των ανεξαρτητων ισοπιθανων Δυαδικων (ΝΑΙ/ΟΧΙ) αποφασεων που απαιτουνται για να πληροφορηθει (πιστοποιησει) καποιος, οτι το γεγονος Ξ πραγματοποιηθηκε, χωρις αλλη εκ των προτερων (a priori) πληροφορια p[Ξ] = 1 𝒾[Ξ] � � 2 ⟺ 1 p[Ξ] = 2𝒾[Ξ] ⟺ 𝒾[Ξ] = −log2 p[Ξ] = −ld p[Ξ] b=2 log2p = the minimal number of independent equiprobable (YES/NO) - Decisions necessary to verify the event with probability p The 20 Questions Game Del Lungo A. Louchard G.ea 2005 , The Guessing Secrets Ρroblem: a Ρrobabilistic Αpproach, Journal of Algorithms 55, 142–176 ΠΑΡAΔΕΙΓΜΑ: Ξ = επιλεγω ενα απο n συμβολα, 1) παιζω Κορωνα/Γραμματα n=2 Koρωνα-Γραμματα 1 δυαδικη ισοπιθανη αποφαση 1 p[K]= 2 1 1 =� � 2 ⟹ 𝒾[K]=1bit 1 𝒾[Κορωνα] = −log2 = 1 2 2) Τραβαω ενα χαρτι απο την τραπουλα. Αποτελεσμα: (Κουπα), (Ασσος), (Ασσος Κουπα) 1 𝒾[Κουπα] = −log2 p[Κουπα] = −log2 = 2 𝒾[Ασσος] = −log2 p[Ασσος] = −log2 4 1 13 = 3.70 𝒾[Ασσος Κουπα] = −log2 p[Ασσος Κουπα] = −log2 1 4∙13 = 5.70 𝒾[Ασσος Κουπα] = 𝒾[Κουπα] + 𝒾[Ασσος] = 5.70, διοτι ειναι ανεξαρτητα Μπορω παντα να συζητω με δυαδικες Αποφασεις? ΝΑΙ Eαν p[Ξ] 1 ν1 1 ν2 =� � � � α β Τοτε p[Ξ] … 1 ν1 ldα 1 ν2 ldβ =� � � � … 2 2 Υπομν. α=2ldα = 1 ν1 ldα+ν2 ldβ+⋯ � � 2 ΛΗΜΜΑ: Computation of Dyadic logarithms ldx = log 2 x = ldx = log 2 x = log10 x log10 2 log𝑒 x log𝑒 2 = = 𝑙𝑔𝑥 𝑙𝑔2 𝑙𝑛𝑥 𝑙𝑛2 = = 𝑙𝑔𝑥 0.30102995 𝑙𝑛𝑥 0.69314718 ΛΗΜΜΑ: Change logarithm basis Formula log β x = log𝛼 x log𝛼 β , x, α, β > 0 , α≠1, β ≠1 b=2 Shannon Information units are bits (from ’binary’) b=3 units are trits (from ’trinary’) b=e units are nats (from ’natural logarithm’) ln(x) = loge(x) b=10 units are Hartleys, or bans Πληροφορια Moναδες Μετρησης 1Byte=1B=23 bits=8bits 1KB=210 B=1024B=8142 bits 1MB=210 KB=1024KB=1048576B=8337408 bits 1GB=210 MB=1024MB=1048576KB=1073741824B ≅ 1.1x109B ≅ 8.8 x109bits 1TB=210 GB=1024GB=1048576MB=1073741824KB ≅ 1.1x1012B ≅ 8.8 x1012bits Information Amounts 1 Text Character TV Image 1 chromosome DΝΑ as 4 Symbol Message Information in Bacteria Memory Cells, E. Coli (2011) Cells in the Human Body Brain Neurons Brain Synaptic Links Brain Memory Cyberspace 2007: Cyberspace 2012: Cyberspace Indexed Google 0.004% Atoms in 12gr C Universe Chess GO Eternity II Borges Βabel Library 1 Byte = 8 bits ld10414720bits =1.4 x 106 bits (576 lines , 720 columns) = 414720 px and 10 luminosity scales ld4100000bits = 2 x 105 bits 900000 GB > 1014 ~1011 ~1015 2.5 PetaBytes = 1048576 GB ≈ 8.8 x 1018 bits ≈ 300 years of TV and Audio recording ! 281 billion GB=281x109GB≅2.5x1021bits 3.6 x 1022 bits 1018 bits 2007 1.4 x 1018 bits 2012 6,022 x 1023 10100 bits 1043 bits 10200 bits ? 10550 bits 2.6 x101834103 Bytes How much the Information of the Internet Weighs? As 3 Strawberries! http://socialtimes.com/how-much-does-the-internet-weigh-video_b82851 Αποθηκευση ως αλλαγη στις Ενεργειακες σταθμες των ηλεκτρονιων των Ατομων Ορισμος Εντροπια (Shannon) της Mεταβλητης Α Η Αναμενομενη (Μεση) Πληροφορια απο την Παρατηρηση της Mεταβλητης Α Εστω {α1, α2,…, αn} το φασμα τιμων της ΤΜ Α Ξ1 το Γεγονος Α= α1 με πιθανοτητα p[Ξ1] = p1 Ξ2 το Γεγονος Α= α2 με πιθανοτητα p[Ξ2] = p2 … Ξn το Γεγονος Α= αn με πιθανοτητα p[Ξn] = pn ξ = {Ξν, ν=1,2,…,n}, n∈ℕ η Διαμεριση που οριζει η ΤΜ A A(y)=∑Ν 𝜈=1 𝛼𝜈 1𝛯𝜈 (𝑦) Καθε κελλι Ξν, ν=1,2,…,n , αντιστοιχει στο συμβολο αν, ν=1,2,…,n που χρησιμοποιειται για την συνταξη μηνυματων Η Πιθανοτητα p προκυπτει απο Στατιστικη Εκτιμηση ειτε απο Θεωρητικη Υποθεση Εντροπια (Shannon) της Μεταβλητης Α ως προς την κατανομη p ℐ= ℐ[Α,p] = − ∑nν=1 p(𝛢 = αν )ld𝑝[𝛢 = αν ] = − ∑nν=1 pν ldpν Εντροπια (Shannon) της Διαμερισης ξ ως προς την κατανομη p ℐ= ℐ[ξ,p] = − ∑nν=1 p(Ξν )ld𝑝[Ξν ] = − ∑nν=1 pν ldpν ΣΧΟΛΙΑ 1) When Shannon realized the importance of the expression ℐ = − ∑a pa ln pa , he consulted John von Neumann about a suitable name for it. Von Neumann's response (reported by Myron Tribus) was as follows: “You should call it “Entropy” and for two reasons: first, the function is already in use in thermodynamics under that name; second, and more importantly, most people don't know what entropy really is, and if you use the word 'entropy' in an argument, you will win every time!” 2) Η Εντροπια δεν εξαρταται από τις τιμες της μεταβλητης Οι Μεταβλητες της μορφης A(y)=∑Ν 𝜈=1 𝛼𝜈 1𝛯𝜈 (𝑦) εχουν την αυτή Εντροπια Η Εντροπια ειναι ιδιοτητα της κλασσης των Μεταβλητων A(y)=∑Ν 𝜈=1 𝛼𝜈 1𝛯𝜈 (𝑦) που ειναι μετρησιμες ως προς τη διαμεριση ξ = {Ξν} δηλαδη ανηκουν στoν υποχωρο < 1𝛯1 , … , 1𝛯𝛮 > 3) Η Εντροπια ειναι ενας θετικος αριθμος που εκχωρειται σε καθε διαμεριση ξ = {Ξ1, Ξ2 ,..., ΞΝ} του Y και σε καθε κατανομη Πιθανοτητος p του Y 4) Η Εντροπια μπορει να θεωρηθει ως ιδιοτητα της κατανομης πιθανοτητας p1 ,..., pn δηλαδη ως απεικονιση ℐ: 𝒫n →[0,+∞) : (p1 ,..., pn) ↦ ℐ(p1 ,..., pn) = − ∑𝑛ν=1 𝑝𝜈 ld𝑝𝜈 𝒫n = η Αλγεβρα των κατανομων πιθανοτητος {p1 ,..., pΝ} στο Συνολο {1,2,...,n} 5) Η Εντροπια γενικευεται για απειρες (Μετρησιμες) διαμερισεις Rohlin V. 1967, Lectures on the Entropy Theory of Measure Preserving Transformations, Russ. Math. Surv. 22, No 5,1-52 Kakihara Y. 1999, Abstract Methods in Information Theory, World Scientific, Singapore 6) Για Συνεχεις Μεταβλητες (Kατανομες Πιθανοτητας) χρησιμοποιειται η Εντροπια Gibbs 𝓘[A] = 𝓘G [A] =−∫dα ρ(α) lnρ(α) ρ(α) η κατανομη πιθανοτητος της Μεταβλητης Α Παραδειγμα: Ριψη 2 Ζαριων Δειγματοχωρος Υ={y|y= (1,1), (1,2), (1,3), (1,4), (1,5), (1,6), (2,1), (2,2), (2,3), (2,4), (2,5), (2,6), (3,1), (3,2), (3,3), (3,4), (3,5), (3,6), (4,1), (4,2), (4,3), (4,4), (4,5), (4,6), (5,1), (5,2), (5,3), (5,4), (5,5), (5,6), (6,1), (6,2), (6,3), (6,4), (6,5), (6,6) } Tυχαια Mεταβλητη: Z(y) = y, το Αποτελεσμα της ριψης των 2 ζαριων 𝟑𝟔 𝟏 𝟏 𝓘[𝜡] = − � � 𝒍𝒅 � = 𝒍𝒅𝟑𝟔 ≅ 𝟓. 𝟏𝟕 𝟑𝟔 𝟑𝟔 𝝂=𝟏 Tυχαια Mεταβλητη: Α(y) = το Αθροισμα των Ενδειξεων των 2 Ζαριων Α(y)=2∙1𝛯2 (y)+ 3∙1𝛯3 (y)+ 4∙1𝛯4 (y)+ 5∙1𝛯5 (y)+ 6∙1𝛯6 (y)+ 7∙1𝛯7 (y)+ + 8∙1𝛯8 (y)+ 9∙1𝛯9 (y)+ 10∙1𝛯10 (y)+ 11∙1𝛯11 (y)+ 12∙1𝛯12 (y) Η Διαμεριση της ΤΜ Α: ξ = { Ξ2 , Ξ3 , Ξ4 , Ξ5 , Ξ6 , Ξ7 , Ξ8 , Ξ9 , Ξ10 , Ξ11 , Ξ12 } Cell Ξ2 ={ (1,1)} Ξ3 ={ (1,2), (2,1)} Ξ4 ={ (2,2), (1,3), (3,1)} Ξ5 ={ (1,4), (2,3),(3,2), (4,1)} Ξ6 ={ (1,5), (2,4),(3,3), (4,2), (5,1)} Ξ7 ={ (1,6), (2,5),(3,4), (4,3), (5,2), (6,1)} Ξ8 ={ (2,6), (3,5),(4,4), (5,3), (6,2)} Ξ9 ={ (3,6), (4,5),(5,4), (6,3)} Ξ10 ={ (4,6), (5,5),(6,4)} Ξ11 ={ (5,6), (6,5)} Ξ12 ={ (6,6)} Probability 1 36 2 36 3 36 4 36 5 36 6 36 5 36 4 36 3 36 2 36 1 36 𝓘[𝑨] = − �𝟐 1 36 𝒍𝒅 36 𝓘[𝑨] = � 𝓘[𝑨] = � 1 1 18 1 18 +𝟐 2 36 𝒍𝒅 𝒍𝒅𝟑𝟔 + 𝟓. 𝟏𝟕 + 1 9 1 9 2 36 +𝟐 𝒍𝒅𝟏𝟖 + 𝟒. 𝟏𝟕 + 3 36 1 6 1 6 𝒍𝒅 3 36 +𝟐 𝒍𝒅𝟏𝟐 + 𝟑. 𝟓𝟖 + 1 8 1 8 4 36 𝒍𝒅 𝒍𝒅𝟗 + 𝟑. 𝟏𝟕 + 4 36 5 18 5 18 +𝟐 𝒍𝒅 36 36 5 5 + 𝟐. 𝟖𝟓 + 𝒍𝒅 1 6 1 6 5 36 + 𝒍𝒅𝟔� 6 36 𝟐. 𝟓𝟖� 𝒍𝒅 6 � 36 𝓘[𝑨] = (𝟎. 𝟐𝟖𝟕 + 𝟎. 𝟒𝟔𝟑 + 𝟎. 𝟓𝟗𝟕 + 𝟎. 𝟒𝟔𝟐 + 𝟎. 𝟕𝟗𝟐 + 𝟎. 𝟒𝟑𝟎) 𝓘[𝑨] = 𝟑. 𝟎𝟑𝟏 Tυχαια Mεταβλητη: Β(y) = η απολυτη τιμη της Διαφορας των ενδειξεων των 2 Ζαριων Β(y)=0∙𝟏𝜢𝟎 (y)+ 1∙𝟏𝜢𝟏 (y) )+ 2∙𝟏𝜢𝟐 (y) + 3∙𝟏𝜢𝟑 (y)+ 4∙𝟏𝜢𝟒 (y)+ 5∙𝟏𝜢𝟓 (y) Η Διαμεριση της ΤΜ Β: η = { Η0 , Η1 , Η2 , Η3 , Η4 , Η5 } Cell Η0 ={ (1,1), (2,2),(3,3), (4,4), (5,5),(6,6)} Η1 ={ (1,2), (2,3), (3,4), (4,5), (5,6), (6,5), (5,4), (4,3),(3,2), (2,1)} Η2 ={ (1,3), (2,4), (3,5), (4,6), (6,4), (5,3),(4,2), (3,1)} Η3 ={ (1,4), (2,5), (3,6), (6,3), (5,2),(4,1)} Η4 ={ (1,5), (2,6), (6,2), (5,1)} Η5 ={ (1,6), (6,1)} Probability 6 36 10 36 8 36 6 36 4 36 2 36 𝓘[𝑩] = − �𝟐 6 36 𝒍𝒅 1 𝓘[𝑩] = � 1 𝓘[𝑩] = � 3 3 6 36 + 36 5 𝒍𝒅𝟔 + 𝟐. 𝟓𝟖 + 10 18 5 18 𝓘[𝑩] = (𝟎. 𝟖𝟔 𝒍𝒅 𝒍𝒅 10 36 36 10 + + 𝟏. 𝟖𝟓 + 8 36 2 9 2 9 𝒍𝒅 𝒍𝒅 𝟗 𝟐 8 36 + 𝟐. 𝟏𝟕 + + 1 9 1 9 4 36 𝒍𝒅 𝒍𝒅𝟗 + 4 36 1 18 𝟑. 𝟏𝟕 + + 2 36 𝒍𝒅 𝒍𝒅𝟏𝟖� 1 18 2 � 36 𝟒. 𝟏𝟕� + 𝟎. 𝟓𝟏 + 𝟎. 𝟒𝟖 + 𝟎. 𝟑𝟓 + 𝟎. 𝟐𝟑) 𝓘[𝑩] = 𝟐. 𝟒𝟑 𝓘[𝜠𝝂𝜹𝜺𝜾𝝃𝜼 𝜡𝜶𝝆𝜾𝝎𝝂] > 𝓘[𝑨𝜽𝝆𝝄𝜾𝝈𝝁𝜶 𝜡𝜶𝝆𝜾𝝎𝝂] > 𝓘[𝜟𝜾𝜶𝝋𝝄𝝆𝜶 𝜡𝜶𝝆𝜾𝝎𝝂] Θεωρημα. ΙΔΙΟΤΗΤΕΣ ΕΝΤΡΟΠΙΑΣ (E1) 0 ≤ ℐ[Α] ≤ ld n H Πληροφορια ειναι θετικος αριθμος μικροτερος η ισος απο την τιμη ld n Ορισμος ld n− ℐ(Α) Πλεονασμος Redundancy της ΤΜ A = ld n the relative difference between ℐ(Α) and its maximum possible value ldn 𝟏 (E2) ℐ(A)=ld n ⇔ pν=p[A=αν] = p[Ξν] = , ∀ ν=1,2,…,n 𝒏 Δηλαδη η ισοπιθανη διαμεριση εχει την μεγιστη Εντροπια απο ολες τις διαμερισεις n κελλιων η ισοπιθανη Μεταβλητη εχει την μεγιστη Εντροπια απο τις Μεταβλητες που παιρνουν n-τιμες η ομοιομορφη κατανομη εχει την μεγιστη Εντροπια απο τις διακριτες κατανομες n-τιμων (E3) ℐ(A) = 0 ⟺ A is Deterministic RV: A(y)=∑𝒗 𝒂𝒗 𝟏𝜩𝝂 (𝒚), with p(𝜩𝝂 ) = δνλ Η Παρατηρηση της Βεβαιας Μεταβλητης είναι η τιμη ακ με πιθανοτητα 1 ΣΧΟΛΙΟ Η Παρατηρηση της Ισοπιθανης Μεταβλητης παρεχει μεγιστη Πληροφορια Η Παρατηρηση της Βεβαιας Μεταβλητης δε παρεχει Πληροφορια Uniform RV are the most Random with maximum Entropy Deterministic RV have no Randomness and no Entropy Αποδειξη Τα (E1), (E2) αποδεικνυονται με 2 τροπους με βαση τις Ανισοτητες Jensen και Gibbs αντιστοιχα. ΛΗΜΜΑ: Ανισοτητα Jensen For any strictly Convex, Real function f , λν ≥0 , ∑𝑛𝜈=1 𝜆𝜈 = 1 : 𝑓 (∑n𝜈=1 λν yν ) ≤ ∑n𝜈=1 λν f(yν ) 𝑓 (∑n𝜈=1 λν yν ) = ∑n𝜈=1 λν f(yν ) ⟺ y1 = y2 =…= yn Rudin W. 1970, Real and Complex Analysis. McGraw-Hill, London Αποδειξη (E1), (E2) με την Ανισοτητα Jensen H συναρτηση f(x)=xlnx, x>0 είναι αυστηρα κυρτη, διοτι 𝑓 ′′ ( 𝑥) = 1 𝑥 >0 1 Ανισοτητα Jensen για yν = pν , λν =𝑛 1 1 �∑n𝜈=1 pν � ln �∑n𝜈=1 pν � ≤ ∑n𝜈=1 𝑛 1 𝑛 1 �∑n𝜈=1 pν � ln �∑n𝜈=1 pν � = ∑n𝜈=1 𝑛 1 1 � � ln � � ≤ ∑n𝜈=1 𝑛 1 𝑛 1 � � ln � � = ∑n𝜈=1 𝑛 𝑛 1 1 𝑛 1 𝑛 𝑛 𝑛 1 𝑛 pν lnpν pν lnpν ⟺ p1 = p2 =…= pn pν lnpν pν lnpν ⟺ p1 = p2 =…= pn ln � � ≤ ∑n𝜈=1 pν lnpν 𝑛 1 1 ln � � = ∑n𝜈=1 pν lnpν ⟺ p1 = p2 =…= pn 𝑛 ΛΗΜΜΑ: Ανισοτητα Gibbs ∀ pν , qν ≥0, ∑n𝜈=1 pν = 1 , ∑n𝜈=1 qν = 1 : ∑𝒏𝝂=𝟏 𝐩𝛎 𝐥𝐧 ∑𝐧𝛎=𝟏 𝐩𝛎 𝐥𝐧 𝐩𝛎 𝐪𝛎 𝐩𝛎 𝐪𝛎 ≥0 = 𝟎 ⟺ pν = qν Αποδειξη Ανισοτητας Gibbs από την Λογαριθμικη Ανισοτητα και 1 1− ≤ lnx ≤ x−1 x lnx = x−1 ⟺ x=1 Ειναι: −lnx ≥ 1−x −lnx = 1−x ⟺ x=1 q q Συνεπως: ∑𝑛𝜈=1 pν ln pqν = ∑n𝜈=1 pν �−ln �pν�� ≥ ∑n𝜈=1 pν �1 − pν� = ∑n𝜈=1 pν − ∑n𝜈=1 qν = 0 ν qν ν qν ∑n𝜈=1 pν �−ln � �� = ∑n𝜈=1 pν �1 − � �� ⟺ pν pν qν pν ν =1 Αποδειξη Ανισοτητας Gibbs από την Ανισοτητα Jensen p Η Ανισοτητα Jensen για λν = qν , yν = 𝑞ν : ν �∑n𝜈=1 qν p qν pν p � ln �∑n𝜈=1 qν ν � qν qν p qν ≤ ∑n𝜈=1 qν �∑n𝜈=1 qν ν� ln �∑n𝜈=1 qν ν � ≤ ∑n𝜈=1 qν pν qν p ∑n𝜈=1 pν ln ν qν 0 ≤ ∑n𝜈=1 pν ln Πρεπει pν qν 0= ⟺ q1 𝑝1 = q2 𝑝2 pν pν ln qν qν =…= qn 𝑝n p = 1, ν=1,2,…n, για να είναι: 0 = ∑n𝜈=1 pν ln qν ν pν pν ln qν qν ⟺ q1 𝑝1 = q2 𝑝2 =…= qn 𝑝n Αποδειξη (E1), (E2) με την Ανισοτητα Gibbs Η διαφορα ldn − ℐ[ξ] γραφεται: ldn − ℐ[ξ] = ldn – (− ∑n𝜈=1 pν ldpν ) =(∑n𝜈=1 pν )ldn + ∑n𝜈=1 pν ldpν =∑n𝜈=1 pν ld(pν n) = ∑n𝜈=1 pν ld pν qν , με qν = 1 n Το αποδεικτεο προκυπτει από την Ανισοτητα Gibbs και την σχεση: lnx=ln2 ldx Ονομασια Ορων της Ανισοτητας Gibbs ∑n𝜈=1 pν ld pν qν = ℐ [p: q] the Kullback – Leibler Entropy of p with respect to q − ∑n𝜈=1 pν ldqν = ℐC [p: q] the Cross Entropy of p with respect to q Αποδειξη (Ε3) A deterministic RV ⟹ ℐ(A)= ∑𝒗 𝒑𝒗 𝑙𝑑𝒑𝒗 = ∑𝒗 𝜹𝒗𝝀 𝑙𝑑𝜹𝒗𝝀 = 𝟎 Conversely ℐ(A) = 0 και A(y) non-deterministic ⟺ p(𝛯𝜈 ) ≠ δνλ ⟹ ∃ value αk on some cell Ξk , with 1> pk >0 ⟹ ℐ(A)> − pk ldpk ΑΤΟΠΟΝ (E4) ℐ(ξ) ≤ ℐ(η) , εαν ξ < η ξ<η⟺καθε κελλι Ηλ της η περιεχεται σε καποιο κελλι Ξκ της ξ Δηλαδη: Λεπτοτερες Διαμερισεις εχουν μεγαλυτερη Πληροφορια TΜ που λαμβανουν περισσοτερες τιμες περιεχουν περισσοτερη Πληροφορια διοτι η μετρηση τους παρεχει περισσοτερη Πληροφορια Μετρησεις μεγαλυτερης ακριβειας παρεχουν περισσοτερη Πληροφορια Proof Eστω ξ ≤ η Ηνκ , ν=1,2,… nk τα κελια της η που εμπεριεχονται στο κελι Ξκ της ξ 𝒏𝒌 𝜢𝝂𝜿 = 𝜩𝜿 Ηνκ ⊆ Ξκ και ⋃𝝂=𝟏 ⟹ 0 < ρ(Ηνκ ) ≤ ρ(Ξκ) < 1 ⟹ −log2 ρ(Ηνκ ) ≥ −log2ρ(Ξκ) >0 , διοτι −logaρ2 < −logaρ1 , αν 0< ρ1 < ρ2 < 1, a>1 ⟹ − ρ(Ηνκ ) log2 ρ(Ηκν ) ≥ − ρ(Ηνκ ) log2ρ(Ξκ) >0 𝒏 𝒌 ⟹ −∑𝜈𝜅 𝛒(Ηνκ ) l𝑑 𝛒(Ηνκ ) ≥ −∑𝜅𝜈 𝛒(Ηνκ ) l𝑑 𝛒(Ξκ ) = ∑𝜅 ∑𝜈=1 𝛒(Ηνκ ) l𝑑 𝛒(Ξκ ) ⟹ ℐ(η) ≥ − ∑𝜅 𝛒(Ξκ ) l𝑑 𝛒(Ξκ ) = ℐ(ξ) οεδ. (E5) Πορισμα της (Ε4) ℐ(φ(Β)) ≤ ℐ(Β) Proof Από την ιδιοτητα ξ ≤ η ⟺ A = φ(B) , φ : Σ� ⟶ 𝚺 οπου: ξ, η οι διαμερισεις των ΤΜ Α, Β (Ε6) Ιf ξ ≤ η and ℐ(ξ) = ℐ(η) , then ξ = η Proof ξ ≤ η και ℐ(ξ) = ℐ(η) ⟹ −∑𝜈𝜅 𝛒(Ηνκ ) l𝑑 𝛒(Ηνκ ) ≥ −∑𝜅𝜈 𝛒(Ηνκ ) l𝑑 𝛒(Ξκ ) ⟹ ∑𝜈𝜅 𝛒(Ηνκ ) l𝑑 𝛒(Ηνκ ) l𝑑 𝛒(Ξκ ) =0 ⟹ ρ(Ηνκ ) = ρ(Ξκ) , από την Ανισοτητα Gibbs 𝑛𝑘 Είναι ∑𝜈=1 𝜌(𝛨𝜈𝜅 ) = 𝜌(𝛯𝜅 ) , διοτι ⟹ nκρ(Ξκ ) = ρ(Ξκ) ⟹ nκ = 1 𝑛 𝑘 𝛨𝜈𝜅 = 𝛯𝜅 ⋃𝜈=1 Δηλαδη οι διαμερισεις η, ξ εχουν τον αυτό αριθμο κελιων και την αυτή κατανομη πιθανοτητας (E7) The entropy of a partition does not depend on the order in which the elements of the partition are numbered. (E8) The entropy of a partition into n cells is a continuous function of the probabilities of these sets. (E9) Adding or removing events with probability zero does not contribute to the entropy: ℐ(p1 ,..., pn)= ℐ(p1 ,..., pn, pn+1, pn+2 , pn+k) , pn+1= pn+2 =…=pn+k = 0 Εντροπια Εφαρμογες Information, Variance, Uncertainty Τhe Entropy of a RV estimates the uncertainty about the outcome of the observation of the RV, with respect to some probability distribution. This uncertainty arises because we cannot predict exactly what the actual outcome of the Observation will be. The probability distribution is our estimation or Hypothesis about the state of the system and the means for prediction There is no assumption about the existence of the value of the RV before Observation But the statement: Τhe Entropy of a RV estimates the uncertainty about the value of the RV A. Implicitly assumes that the value of the RV A exists but we do not know it Information is a Variance Index for Qualitative Variables Variance estimates the uncertainty of the outcome of a Numerical RV, taking into account the distance of the outcome values from the mean value. Information as Estimation of Disorder, Surprise, Diversity McDonald G. 2003, Biogeography: Space, Time and Life, Wiley, New York 2 Καλπες με Λευκους,Μαυρους, Κοκκινους βωλους [Y 51] Η Καλπη Α περιεχει 10 λευκους, 5 μαυρους, 5 κοκκινους Βωλους (20) Η Καλπη Β περιεχει 8 λευκους, 8 μαυρους, 4 κοκκινους Βωλους (20) Επιλεγω (τυχαια) ενα Βωλο απο καθε Καλπη Ποια Επιλογη ειναι πιο Bεβαια για να στοιχηματισω? Πιο Βεβαια η Επιλογη Μικροτερης Εντροπιας 1 1 1 1 ℐΑ = −pλ,Ald (pλ,A) –pμ,A ld (pμ,A)− pκ,A ld (pκ,A) = − 𝑙𝑑 − 𝑙𝑑 − 1 pλ,A= 2 1 pμ,A= 4 2 1 pκ,A= 4 2 2 2 2 2 4 1 4 1 4 1 4 1 1 1 1 𝑙𝑑 = ∙ 1 + ∙ 2 + ∙ 2 = 1.5 bits 4 2 1 4 4 ℐΒ= −pλ,Β ld(pλ,Β) –pμ,Β ld(pμ,Β)− pκ,Β ld(pκ,Β)= − 5 𝑙𝑑 5− 5 𝑙𝑑 5 − 5 𝑙𝑑 5 ≅ 5 ∙ 1,32 + 5 ∙ 2,32 ≅ 1.52 bits 2 pλ,A= 5 ℐΑ < ℐΒ 2 pμ,A= 5 1 pκ,A= 5 Απαντηστε με Θεωρια Πιθανοτητων Εργασια {1} Πως θα στοιχηματισω? Οdds = p 1−p The language of odds for intuitively estimated risks is found in the 16th century, before the invention of mathematical probability. Shakespeare 1560, Henry IV, Part II, Act I scene 1 lines 181-2: “Knew that we ventured on such dangerous seas that if we wrought out life 'was ten to one” Στρατηγικη Στοιχηματων και θεωρια Πληροφοριας Kelly, J. L., Jr. 1956 , A New Interpretation of Information Rate, Bell System Technical Journal 35: 917–926 Εργασια {2} Δεσμευμενη πληροφορια Ερμηνεια Πληροφοριας μεσω Στοιχηματων Συστηματικη Θεωρια Στοιχηματων-Επενδυσεων Προβλεψη Καιρου Απο Παρατηρησεις σε ενα τοπο οι στατιστικες εκτιμησεις εδειξαν οτι την ημερα Α η πιθανοτητα βροχης ειναι 0.4 την ημερα Β η πιθανοτητα βροχης ειναι 0.65 και η πιθανοτητα χιονοπτωσης ειναι 0.15 Ποια Προβλεψη Καιρου ειναι πιο Βεβαιη? Σε Ποια Περιπτωση ειναι ασφαλεστερο να παρω ομπρελλα? [Y 52] Πιο Βεβαια η Προβλεψη Μικροτερης Πληροφοριας Προβλεψη Καιρου ℐΑ=−pA,βροχηldpA,βροχη−pA,oχι βροχηldpA,οχι βροχη≅−0.4ld0.4−0.6ld0.6 = 0.97bits ℐB=−pB,βροχη∙ldpB,βροχη−pB,χιονι ∙ldpΒ,χιονι−pB,οχι βροχη, οχι χιονι ∙ldpΒ,οχι βροχη, οχι χιονι = =−0.65∙ld0.65−0.15∙ld0.15−0.2∙ld0.2 ≅ 1,28bits ℐΑ < ℐB Ο καιρος πιο απροβλεπτος την ημερα Β Προβλεψη Ομπρελλας Ξ = Βροχη ειτε Χιονι pA,Ξ = pA,βροχη=0.4 pΒ,Ξ = pΒ,βροχη + pB,χιονι =0.8 Ξc = Oxι Βροχη και Οχι χιονι 𝑝A,𝛯𝑐 = pA,oxι βροχη=0.6 𝑝Β,𝛯𝑐 = 1−pΒ,βροχη −pB,χιονι =0.2 ℐΑ=−pA,ΞldpA,Ξ−𝑝A,𝛯𝑐 ld𝑝A,𝛯𝑐 =−0.4ld0.4−0.6ld0.6≅0.97bits ℐB=− pΒ,Ξ ld pΒ,Ξ −𝑝Β,𝛯𝑐 ld𝑝Β,𝛯𝑐 =−0.8∙ld0.8−0.2∙ld0.2 ≅ 0,72bits ℐΑ >ℐB Α: Η πιθανοτης να χρειαστω ομπρελλα ειναι 0.4 με Αβεβαιοτητα Προβλεψης 0.97 bits Β: Η πιθανοτης να χρειαστω ομπρελλα ειναι 0.6 με Αβεβαιοτητα Προβλεψης 0.72 bits Απαντηστε με Θεωρια Πιθανοτητων Εργασια {1} Oι κατοικοι της πολης Α ειναι παντα ειλικρινεις Oι κατοικοι της πολης Β ειναι παντα ψευτες Ενας ξενος που γνωριζει τα ηθη τους βρεθηκε σε μια απο τις 2 πολεις, αλλα δεν γνωριζει σε ποια απο τις 2 Ποσες ερωτησεις με απαντηση ΝΑΙ/ΟΧΙ πρεπει να ρωτησει εναν περαστικο κατ ελαχιστον για να μαθει σε ποια πολη ευρισκεται (Στην πολη μπορει να ευρισκονται δημοτες απο τις αλλες πολεις) [Υ 101] Π= η πολη στην οποια ευρισκεται ο ξενος , {Α ,Β} Δ= η πολη στην οποια ειναι δημοτης ο περαστικος , {Α , Β} Υπαρχουν 4 εκδοχες (Π,Δ)={(Α,Α),(Α,Β),(Β,Α),(Β,Β)} που μπορουμε να θεωρησουμε ισοπιθανες ελλειψει αλλων δεδομενων 1 1 ℐ(Π,Δ) = 4 �− ∙ 𝑙𝑑 � = ld4 = 2 Παραδειγμα 4 4 1) Η ερωτηση 1+1=2 ? αποφαινεται την Δ 2) Η ερωτηση Ειμαι στην πολη Α? αποφαινεται την Π Oι κατοικοι της πολης Α ειναι παντα ειλικρινεις Oι κατοικοι της πολης Β ειναι παντα ψευτες Oι κατοικοι της πολης Γ ειναι αλλοτε ειλικρινεις, αλλοτε ψευτες Ενας ξενος που γνωριζει τα ηθη τους βρεθηκε σε μια απο τις 3 πολεις, αλλα δεν γνωριζει σε ποια απο τις 3 Ποσες ερωτησεις με απαντηση ΝΑΙ/ΟΧΙ πρεπει να ρωτησει εναν περαστικο κατ ελαχιστον για να μαθει σε ποια πολη ευρισκεται (Στην πολη μπορει να ευρισκονται δημοτες απο τις αλλες πολεις) [Υa , 101] Π=η πολη στην οποια ευρισκεται ο ξενος , {Α ,Β,Γ} Δ= η πολη στην οποια ειναι δημοτης ο περαστικος , {Α , Β,Γ} Υπαρχουν 9 εκδοχες (Π,Δ)={(Α,Α),(Α,Β),(Α,Γ),(Β,Α), (Β,Β),(Β,Γ), (Γ,Α), (Γ,Β),(Γ,Γ)} που μπορουμε να θεωρησουμε ισοπιθανες ελλειψει αλλων δεδομενων 1 1 ℐ(Π,Δ) = 9 �− ∙ 𝑙𝑑 � = ld9 ≃ 3.17 ≥ ld8=3 9 3 ≤ ℐ(Π,Δ) ≤ 3+1 9 Πρεπει να κανει τουλαχιστον 4 Ερωτησεις Παραδειγμα 1) Ειμαι στην πολη Α ειτε στην πολη Β? 2) Ειμαι στην πολη Γ ? 3) Εισαι Δημοτης της πολης Γ ? 4) Ειμαι στην πολη Α? Εχω n Νομισματα του 1 ευρω. Τα n – 1 εχουν το αυτο βαρος, το 1 εχει διαφορετικο βαρος. Ποσες ζυγισεις με ζυγο 2 δισκων ειναι αναγκαιες για να βρω το καλπικο νομισμα και να εξακριβωσω εαν ειναι βαρυτερο η ελαφροτερο? [108] Εργασια {1} Eντροπια Κατανομων Πιθανοτητας ENTΡΟΠΙΑ Διακριτων Κατανομων N! Binomial RV: ρ(x) = ( ) px (1 − p)N−x , 0≤ p ≤1 x! N−x ! x=0,1,2,…,N , o αριθμος επιτυχιων σε N =1,2,3,… δοκιμες Bernoulli H Aπλουστερη περιπτωση: Μια Ριψη Νομισματος: N=1 ρ(1) = p , ρ(0) = 1 − p H Πληροφορια της Διωνυμικης ΤΜ = η Πληροφορια που παιρνω οταν μαθω το αποτελεσμα της ριψης ℐ = −𝑝𝑙𝑑𝑝 − (1 − 𝑝)𝑙𝑑(1 − 𝑝)= ℐ2(p) = Δυαδικη Εντροπια με πιθανοτητα p 1 0.9 0.8 0.7 0.6 0.5 0.4 0.3 0.2 0.1 0 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 1 0.8 0.9 p 1 Νομισμα Iσοπιθανο: p = , ℐ1/2 =1 2 Η Εντροπια λαμβανει την μεγιστη τιμη ℐ = ℐ1/2 =1 στην ομοιομορφη ΤΜ Eντροπια Διακριτων Kατανομων ΤΜ Τιμες x Κατανομη ρ(x) 𝟏 Oμοιομορφη 1,2,…, n 𝝆(𝒙) = 𝒏 Bernoulli 0,1 ρ0 = p, ρ1=(1−p) Binomial 0,1,2,…, n 𝐍! 𝝆(𝒙) = ( ) 𝐩𝐱 (𝟏 − 𝐩)𝐍−𝐱 Γεωμετρικη 0,1,2,… Poisson 0,1,2,… GaussKusmin 0,1,2,… 0≤ p ≤1 𝐱! 𝐍−𝐱 ! 𝝆(𝒙) = (1−p)px 𝐞−𝐱 𝝀𝒙 , λ ∈[0,+∞) 1 𝝆(𝒙) = 𝑙𝜊𝑔2 �1 − � (𝑥 + 1)2 𝝆(𝒙) = 𝐱! Εντροπια Shannon ℐ[ρ] ldn J2(ρ) = −𝒑𝒍𝒅𝒑 − (𝟏 − 𝒑)𝒍𝒅(𝟏 − 𝒑) 𝟏 𝟏−𝐩 J2(ρ) = − 𝒑 𝟏−𝒑 𝒍𝒅𝒑 − 𝒍𝒅(𝟏 − 𝒑) Knessl C. 1998, Integral Representations and Asymptotic Expansions for Shannon and Renyi Entropies, Appl. Math. Let. 11, 69-74 Εργασιες Υπολογιστε την Εντροπια της κατανομης Binomial {0.2} Υπολογιστε την Εντροπια της κατανομης Poisson {0.2} Υπολογιστε την Εντροπια της Γεωμετρικης κατανομης {0.2} Εντροπια κατανομης Gauss-Kuzmin 𝝆(𝒙) = 𝑙𝜊𝑔2 �1 − 1 (𝑥+1)2 Mean = +∞ Variance meaningless � , x=1,2,3,… 𝝆(𝒙) is the probability of the integer x to appear in any given place αν of the Continued Fraction expansion of the real number α α = [α1 α2 α3…] = 𝛼1 + 1 1 1 𝛼2 +𝛼 +⋯ 3 Entropy (GK)= 3,4325275 1) Αποδειξτε το Θεωρημα Continuous Fractions Εργασια {1} 2) Δειξτε τις ιδιοτητες της κατανομης Gauss-Kuzmin Εργασια {1} 3) Υπολογιστε την Εντροπια της κατανομης Gauss-Kuzmin Εργασια {1} N.Blachman 1984, "The continued fraction as an information source (Corresp.)", IEEE Transactions on Information Theory, 30, 671 – 674 P. Kornerup, D. Matula 1995, "LCF: A lexicographic binary representation of the rationals". Journal of Universal Computer Science 1: pp. 484–503. L. Vepstas 2008, Entropy of Continued Fractions (Gauss-Kuzmin Entropy) Eντροπια Διακριτων Kατανομων ΤΜ Τιμες x Κατανομη ρ(x) Maxwell – Boltzmann 1,2,… distributions 𝝆(𝒙) = Εντροπια Shannon ℐ[ρ] 𝑒 − 𝛤𝑥 𝛧𝑛 𝑛 𝛧𝑛 = � 𝑒 − 𝛤𝑥 𝝆(𝒙) = 𝑒 − 𝛤𝑥 𝛧𝑛 2 𝑥=1 𝑛 𝛧𝑛 = � 𝑒 − 𝛤𝑥 𝝆(𝒙) = 𝑥=1 𝑥 2 𝑒 − 𝛤𝑥 𝛧𝑛 2 2 𝑛 𝛧𝑛 = � 𝑥 2 𝑒 − 𝛤𝑥 𝑥=1 2 Υπολογιστε την Εντροπια των κατανομων Maxwell – Boltzmann {0.2 + 0.2 + 0.2} Eντροπια Συνεχων Kατανομων ΤΜ X Κατανομη ρ(x) Πραγματικη 𝟏 𝟏 (𝐱) 𝜷 − 𝜶 [𝛂,𝛃] 𝟏 −𝐱 𝒆 𝝉 𝟏[𝟎,+∞) (𝐱) 𝝉 Oμοιομορφη στο [α,β] Εκθετικη 𝟏 Laplacian Gauss Log Normal Rayleigh Cauchy Pareto ΜaxwellBoltzmann 𝟐𝝉 𝟏 𝝈√𝟐𝝅 𝟏 𝒆 𝐞 𝝈𝒙√𝟐𝝅 − Εντροπια Shannon ℐ(ρ)= −∫dx ρ(x) lnρ(x) ln(β−α) |𝐱| 𝝉 𝟏 𝐱−𝐦 𝟐 � 𝟐 𝝈 − � 𝐞 𝟏 𝐥𝐧𝐱−𝐦 𝟐 � 𝟐 𝝈 − � 𝟐 𝟏[𝟎,+∞) (𝐱) 𝟐𝜶𝒙 𝒆−𝜶𝒙 𝟏[𝟎,+∞) (𝐱) 𝟏 𝛂 𝝅 𝛂𝟐 + 𝒙𝟐 α𝒙−(𝜶+𝟏) 𝟏[𝟏,+∞) (𝐱) p(x) = 𝟏 𝜶𝟑 � 𝟐 𝝅 𝒙𝟐 − 𝒙𝟐 𝒆 𝟐𝒂𝟐 Εργασια {0.2} για κάθε Κατανομη (Πληρης Υπολογισμος). Το πολύ 5 Κατανομες Maximum Entropy Probability Distributions Definition Maximum Entropy Probability Distribution (within a class of Probabilities) a probability distribution whose entropy is not less than the Entropy of the other members of the class of distributions. Principle of Maximum Entropy Select the probability distributions with maximum Entropy among distributions in a certain class. Reasons: 1) Maximum Entropy Probability Distributions have minimal prior information (maximum Uncertainty), given certain constraints 2) Maximum Entropy Probability Distributions are Equilibrium Distributions for many physical systems 3) Initial Distributions evolve towards Maximum Entropy Probability Distributions for many physical systems. ⟺ Maximum Entropy Distributions are global asymptotic Attractors for many physical systems Significance: generalization of classical probability Principle of Indifference (equal probabilities) criterion for probability estimation Hypothesis for Testing Jaynes E. 2005, Probability Theory. The Logic of Science, Cambridge University Press What is the Probability Density associated with Maximum Entropy? The distributions which maximize entropy under certain natural conditions are simple. 3 basic cases: 1) The RV Χ is supported on the Real Interval [α,β] Uniform Distribution 2) The RV Χ takes only non-negative values and has finite mean value m Exponential Distribution 3) The RV Χ takes all real values and has finite variance σ2 Gaussian Distribution with zero mean and variance σ2 The RV Χ takes all real values and has fixed mean m and variance σ2 Gaussian Distribution with mean m and variance σ2 1) The RV Χ is supported on the Real Interval [α,β] 𝛃 ℐ(Χ)=− ∫𝛂 𝒅𝒙𝝆(𝒙)𝒍𝒏𝝆(𝒙) 𝛃 � 𝒅𝒙𝝆(𝒙) = 𝟏 𝛂 ρΜ(x)= 𝟏 𝜷−𝜶 Uniform Distribution ℐΜ=ln(β−α) the MAX Information Microcanonical Distribution SM Γενικευση: 𝓘Μ [A]= ρΜ(α)= 𝟏 𝐥𝐧𝓿 𝟏 𝓿 , 𝓿= ο ογκος του πεδιου μεταβολης της ΤΜ Α=(Α1, Α2, …, ΑΝ) 2) The RV Χ takes only non-negative values and has finite mean value m +∞ ℐ(Χ)=− ∫𝟎 +∞ 𝒅𝒙𝝆(𝒙)𝒍𝒏𝝆(𝒙) � 𝒅𝒙𝝆(𝒙) = 𝟏 𝟎 +∞ � 𝒅𝒙 𝒙 ∙ 𝝆(𝒙) = 𝒎 𝟎 ρΜ(x)= 𝟏 𝒎 𝐞 𝐱 𝐦 − Exponential Distribution ℐΜ=lnm+1 the MAX Information Canonical Distribution SM 3) The RV Χ takes all real values and has finite variance σ2 +∞ ℐ(Χ)=− ∫−∞ 𝒅𝒙𝝆(𝒙)𝒍𝒏𝝆(𝒙) +∞ � 𝒅𝒙𝝆(𝒙) = 𝟏 −∞ +∞ � 𝒅𝒙 𝒙𝟐 ∙ 𝝆(𝒙) = 𝝈𝟐 −∞ 𝟏 ρΜ(x)= ρ(x)= exp √𝟐𝝅𝝈 ℐΜ=ln√𝟐𝝅𝒆𝝈 �− 𝐱 𝝈√𝟐 𝟐 � Gaussian Distribution the MAX Information Grand Canonical Distribution SM 4) The RV Χ takes all real values and has fixed mean m and variance σ2 Entropy is maximised by the Gaussian Distribution Aποδ. 1) Με Gibbs inequality 2) Functions of Several Real Variables Μaxima with Constraints Langrange Multipliers Table of Maximum Entropy Distributions: Park S. Y., Bera A. K. 2009, Maximum entropy autoregressive conditional heteroskedasticity model, Journal of Econometrics 150, 219-230 Εργασια {0.25} για κάθε Αποδειξη Επιλεξτε το πολύ 4 Maximum Entropy Distributions Εντροπια Μοναδικοτης Ειναι ο Τυπος του Shannon Μοναδικος? Ποιες ιδιοτητες της απεικονισης ℐ: 𝒫F →[0,+∞) : (p1 ,..., pn) ↦ ℐ(p1 ,..., pn) oπου 𝒫F = η Γραμμικη Αλγεβρα των πεπερασμενων κατανομων πιθανοτητος {p1 ,..., pn} , n ∈ ℕ οδηγουν στον τυπο του Shannon? ℐ(p1 ,..., pn) = − ∑n ν=1 pν ldpν Θεωρημα Shannon 1949, Khintchine 1953 Εστω η Απεικονιση ℐ: ⋃n≥2 𝒫n → [0, +∞) ℐ(p1 ,..., pn) = −κ ∑𝑛 ν=1 𝑝𝜈 ld 𝑝𝜈 , κ>0 (SK1) ℐ Συνεχης ⇔ Ισχυουν οι (SK1) - (SK4) (SK2) ℐ(1/n, . . . ,1/n ) = max { ℐ(p1 ,..., pn) | (p1 ,..., pn)∈ 𝒫n }. (SK3) ℐ(p1 ,..., pn,0)= ℐ(p1 ,..., pn) , Ν=2,3,... , (p1 ,..., pΝ)∈ 𝒫N (SK4) ℐ(p11 ,..., pΝΜ)= ℐ(p1 ,..., pn)+ ∑nk=1 𝑝k ℐ[𝑝1|𝜅 , … . 𝑝𝑁|𝜅 ] κ=2,3,...n , λ=1,2,...,N (p1 ,..., pΝ)∈ 𝒫N pκλ= pκ pλ|κ ∑µλ=1 𝑝𝜆|𝜅 = 1 , 0 ≦ pλ|κ ≦1 The Shannon-Khintchine Axioms SK1-SK4 are modifications of Shannon's original axioms by Khinchin Αποδ Khinchin A. 1957, Mathematical Foundations of Information Theory, Dover, New York. Kakihara Y. 1999, Abstract Methods in Information Theory, World Scientific, Singapore Εργασια {1} Θεωρημα Faddeev 1956 Εστω η Απεικονιση ℐ: ⋃n≥2 𝒫n → [0, +∞) ℐ(p1 ,..., pn) = −κ ∑𝑛 ν=1 𝑝𝜈 ld 𝑝𝜈 , κ>0 ⇔ Ισχυουν οι (F1) (F2) (F3) (F1) ℐ(p,1−p)=f(p), f:[0,1]→ℝ συνεχης και f(p)>0 , για p ∈[0,1] (F2) ℐ(p1 ,..., pΝ)= ℐ(pσ(1) ,..., pσ(n)) , για καθε μεταθεση σ των 1,...,n (F3) ℐ(p1 ,..., pn-1 , pn−q , q)= ℐ(p1 ,..., pn)+ pn ℐ� Αποδ pn −q q , � pn pn Faddeev A. 1956, On the notion of Entropy of a finite probability space. Uspekhi Mat. Nauk 11, 227-231 Tverberg Η. 1958, A new derivation of the information function. Math. Scand.6 ,297-298. Tverberg introduced a weaker condition than (F1). Kakihara Y. 1999, Abstract Methods in Information Theory, World Scientific, Singapore Εργασια {1} ΛΗΜΜΑ: Εrdos, Fadeev, Renyi Εστω φ: ℕ→ℝ : 1) φ(nm) = φ(n)+ φ(m) , m,n=1,2,… 2) limn→∞ [φ(n + 1) + φ(n)] = 0 Toτε: φ(n)=kln(n), k πραγματικη σταθερα Aποδ Rényi A. 1961, On Measures of Entropy and Information, Proc. 4th Berkeley Symposium on Mathematics, Statistics and Probability, University of California Press, p 547-561 Εργασια {0.5} Εντροπια και Πιθανοτητα Πιθανοθεωρητικη ερμηνεια της Πληροφοριας Πληροφοριακη ερμηνεια της Πιθανοτητας Εαν διαθετω μοντελο πιθανοτητος p, τοτε οριζω την Πληροφορια. Ισχυει το Αντιστροφο? Δηλαδη: Μπορω να ορισω Πληροφορια χωρις Πιθανοτητα και να προκυψει η Πιθανοτητα απο την Πληροφορια? ΝΑΙ! Urbanik K. 1973, On the Definition of Information, Rep. Math. Phys. 4, 289-301 Εργασια {2} “Information theory must precede probability theory, and not be based on it. By the very essence of this discipline, the foundations of information theory have a finite combinatorial character. The applications of probability theory can be put on a uniform basis. It is always a matter of consequences of hypotheses about the impossibility of reducing in one way or another the complexity of the description of the objects in question. Naturally, this approach to the matter does not prevent the development of probability theory as a branch of mathematics being a special case of general measure theory. The concepts of information theory as applied to infinite sequences give rise to very interesting investigations, which, without being indispensable as a basis of probability theory, can acquire a certain value in the investigation of the algorithmic side of mathematics as a whole.” Kolmogorov 1970 talk at Nice published in Kolmogorov A.N. 1983, Combinatorial Foundations of Information Theory and the Calculus of Probabilities, Russian Math. Surveys 38:4 , 29-40
© Copyright 2024 Paperzz
