ΘΕΩΡΙΑ ΠΛΗΡΟΦΟΡΙΑΣ και ΧΑΟΣ 1. ΕΙΣΑΓΩΓΗ Ioannis E. Antoniou Mathematics Department Aristotle University 54124,Thessaloniki,Greece [email protected] http://users.auth.gr/iantonio ΠΡΟΓΡΑΜΜΑ ΑΝΤΙΚΕΙΜΕΝΟ ΕΚΠΑΙΔΕΥΤΙΚΟΙ ΣΤΟΧΟΙ ΜΑΘΗΣΗ ΑΣΚΗΣΕΙΣ-ΕΡΓΑΣΙΕΣ ΠΡΟΥΠΟΘΕΣΕΙΣ BΙΒΛΙΟΓΡΑΦΙΑ 2011-2 ΕΑΡΙΝΟ Εξαμηνο ΣΤΑΤΙΣΤΙΚΗ ΑΝΑΛΥΣΗ ΠΛΗΡΟΦΟΡΙΑΣ Διδασκων Ωρες - Τοπος Απαιτησεις ΑΞΙΟΛΟΓΗΣΗ Εξεταση Αντωνιου Ι. Τεταρτη 15:15 – 16:00 Αιθουσα Μ0 Παρασκευη 12:15 – 14:00 Αιθουσα Μ0 Βασικες Γνωσεις: Αναλυση Γραμμικη Αλγεβρα Πιθανοτητες, Στατιστικη Digital Literacy = Ψηφιακη Ευχερεια (Υπολογιστες, Διαδικτυο) Αγγλικα 5-7 Βασικη Κατανοηση 8-9 Εμπεδωση 10 Εμβαθυνση-Εφαρμογες Παρουσιαση Εργασιων και Συζητηση επι των Ασκησεων-Εργασιων Οι Ασκησεις-Εργασιες - διδονται/συζητωνται κατα το Μαθημα - βαθμολογουνται αναλογα με την δυσκολια - παραδιδονται/συζητωνται/αξιολογουνται εως την ημερα Εξετασης - μπορουν να γραφονται στα Αγγλικα η Παραδοσιακα (Γραπτη Εξεταση) ΗΜΕΡΟΛΟΓΙΟ Φεβρουαριος 2012 Μαρτιος 2011 Απριλιος 2011 Μαιος 2012 Ιουνιος 2012 22 29 7 9 14 16 21 23 28 30 4 6 25 27 2 4 9 11 16 18 23 25 30 7 Τεταρτη Τεταρτη Τεταρτη Παρασκευη Τεταρτη Παρασκευη Τεταρτη Παρασκευη Τεταρτη Παρασκευη Τεταρτη Παρασκευη Τεταρτη Παρασκευη Τεταρτη Παρασκευη Τεταρτη Παρασκευη Τεταρτη Παρασκευη Τεταρτη Παρασκευη Τεταρτη Πεμπτη Π1 Εισαγωγη Π2 Μηνυματα Χρονοσειρες Τυχαιες Μεταβλητες Π3 Η Λογικη των Μηνυματων (Αλγεβρα Boole) Χαρακτηριστικες Συναρτησεις Π4,5 Παρατηρηση, Τυχαιες Μεταβλητες, Διαμερισεις Π6 Εντροπια και Πληροφορια Shannon Π7,8 Εντροπια Ιδιοτητες Π9 Εντροπια Ιδιοτητες Π10,11 Εντροπια και Αλληλοεξαρτηση Π12 Εντροπια και Αλληλοεξαρτηση Π13,14 Πληροφορια Κullback-Leibler και Ελεγχος Υποθεσεων Π15 Πληροφορια Fisher και Εκτιμησεις Π16,17 Εντροπια Γενικευσεις Εφαρμογες Π18 Πηγες Πληροφοριας (Στοχαστικες Διαδικασιες, Δυναμικα Συστηματα) Π19,20 Πηγες Πληροφοριας Π21 Πηγες Πληροφοριας Π22,23 Πηγες Πληροφοριας Π24 Πηγες Πληροφοριας Π25,26 Διαυλοι Επικοινωνιας (Μετασχηματισμοι Στοχαστικων Διαδικασιων) Π27 Διαυλοι Επικοινωνιας Π28,29 Κωδικοποιηση Δυαδικοι Κωδικες Π30 Κωδικοποιηση Δυαδικοι Κωδικες Π31,32 Δειγματοληψια Διακριτοποιηση, Ψηφιοποιηση Σηματων Π33 Δικτυα Επικοινωνιας 08:15-11:00 ΕΞΕΤΑΣΕΙΣ Η Στατιστικη Αναλυση Πληροφοριας διδαχτηκε επι 6 Ακαδημαικα Ετη από το 2005-6. Κατα το Ακαδημαικο Ετος 2012-3 μετονομαζεται «ΘΕΩΡΙΑ ΠΛΗΡΟΦΟΡΙΑΣ και ΧΑΟΣ» με σχετικη αναμορφωση του περιεχομενου, καθ’ υποδειξιν των Φοιτητων του Ακαδημαικου Ετους 2011-2. Κατά την διδασκαλια επεσημαναν ότι αφου η Θεωρια Πληροφοριας εχει προστιθεμενη αξια μονο στην περιπτωση Πηγων περιορισμενης προβλεψιμοτητας, δηλαδη Πηγων με Χαος, χρειαζεται περισσοτερη εμβαθυνση στο Χαος. Για τις επισημανσεις αυτές ευχαριστω τους κ.κ. Γκόλτσιου Κ., Ιωαννίδου Δ., Καμάκα Ι., Κανελλοπούλου Α., Κανούλα Ε., Καρυώτη Κ.-Β., Μαραντίδη Π., Τσέρκη Σ., Πηγες Πληροφοριας είναι οι Παρατηρησιμες Φυσικες Διαδικασιες (Ριψη Ζαριων, Κινηση Brown, Θερμικος Θορυβος Κυκλωματων, Καιρος, Ραδιενεργες Διασπασεις, Συγγραφεις, Καλλιτεχνες) και τα σχετικα Μαθηματικα Μοντελα (Δυναμικα Συστηματα και Στοχαστικες Διαδικασιες). Η προσομοίωση των Στοχαστικων Διαδικασιων γινεται με Γεννητριες Τυχαιων Αριθμων Knuth D. 1997, The Art of Computer Programming, Volume 2: Seminumerical Algorithms, 3d Edition, Addison-Wesley Reading, Massachusetts. Οι Γεννητριες Τυχαιων Αριθμων είναι απλα Χαοτικα Δυναμικα Συστηματα. Meyers R. (Ed.) 2009, Encyclopedia of Complexity and Systems Science, Springer, New York. Skiadas Christos, Skiadas Charilaos 2009, Chaotic Modelling and Simulation. Analysis of Chaotic Models, Attractors and Forms, CRC Press, London Choe G. 2005, Computational Ergodic Theory, Springer, berlin Katok A., Hasselblatt B. 1995, Introduction to the Modern Theory of Dynamical Systems, Cambridge University Press, Cambridge, UK Honerkamp J. 1994, Stοchastic Dynamical Systems: Concepts, Numerical Methods, Data Analysis, Wiley, New York Devaney R. 1992, A First Course in Chaotic Dynamical Systems. Theory and Experiment, Addison-Wesley, Reading, Massachusetts Antoniou I. 1991, "Information and Dynamical Systems", p221-236 in "Information Dynamics", ed. Atmanspacher H. , Scheingraber H., Plenum, New York Αλλωστε o Kolmogorov επεσημανε οτι τα Χαοτικα Δυναμικα Συστηματα παραγουν χροσειρες Τις οποιες δεν μπορουμε να διακρινουμε από χρονοσειρες που παραγονται από στοχαστικες διαδικασιες. Το εγγενες κοινο γνωρισμα αυτων των Συστηματων είναι ο ρυθμος παραγωγης Πληροφοριας. Sinai Ya. 1989, Kolmogorov’s Work on Ergodic Theory, Annals of Probability 17, 833-839 Arnold V. 2008, Orbits’ Statistics in Chaotic Dynamical Systems, Nonlinearity 21 (2008) T109–T112, doi:10.1088/0951-7715/21/7/T02 Εξ αλλου οι πλειστες Στοχαστικες Διαδικασιες προκυπτουν ως προβολη Χαοτικων Δυναμικων Συστηματων. Antoniou I., Christidis Th., Gustafson K. 2004, “Probability from Chaos”, Int. J. Quantum Chemistry 98,150-159 Antoniou I., Gustafson K. and Shkarin S.A. 2004, “Positive Dilations of piecewise monotonic Markov maps”, Inf. Dim. Anal. Quantum Probability 7, 261-269 Αυτη είναι μια απαντηση στο Αντιστροφο προβλημα της Στατιστικης Μηχανικης: Ποια Δυναμικα Συστηματα μπορουν να μοντελοποιησει μια δεδομενη Στοχαστικη Διαδικασια? Η μοντελοποιηση Φυσικων Διαδικασιων με Δυναμικα Συστηματα και Στοχαστικες Διαδικασιες αποτελει αντικειμενο της Στατιστικης Φυσικης Honerkamp J. 1998, Statistical Physics. An Advanced Approach with Applications, Springer, Berlin. Farquhar I. 1964, Ergodic Theory in Statistical Mechanics Wiley, New York Jancel R. 1963, Foundations of Classical and Quantum Statistical Mechanics, Gauthier-Villars, Paris; Pergamon Press, Oxford, U.K. 1969 ΑΝΤΙΚΕΙΜΕΝΟ Τι ειναι Πληροφορια? Πληροφορια είναι ο Πορος (Resource) που μεταδιδεται (transmitted) κατά την Επικοινωνια με την μορφη Μηνυματων Επικοινωνια είναι η ανταλλαγη Μηνυματων Υπαρχω ⟺ Επικοινωνω Information Theory H Θεωρια Πληροφοριας ειναι το Μαθηματικο Μοντελο της Επικοινωνιας Συστημα Επικοινωνιας Shannon Communication Model Η μεταδοση τής πληροφορίας απαιτεί: Τον Διαυλο Επικοινωνιας ενα φυσικό συστημα-φορεα πού συνδέει στό χώρο καί στo χρόνο την Πηγη της Πληροφοριας με τον Αποδεκτη της Πληροφοριας. SOURCE ΠΗΓΗ TRANSMITTER ΠΟΜΠΟΣ CHANNEL ΔΙΑΥΛΟΣ RECEIVER ΔΕΚΤΗΣ MESSAGE ΜΗΝΥΜΑ DESTINATION ΠΡΟΟΡΙΣΜΟΣ MESSAGE ΜΗΝΥΜΑ ΘΟΡΥΒΟΣ ΠΑΡΕΜΒΟΛΕΣ Εξουσιοδοτημενες Μη Εξουσιοδοτημενες (Spies, Hackers) SOURCE Nature Show Αuthor Orchestra Painter Genotype People Producers TRANSMITTER CHANNEL RECEIVER Observable Experimental Voltmeter Events Devise Thermometer Tηλεσκοπιο TV Station EM Field TV-Receiver Editor Distribution Eyes, Brain Network Amplifier Concert Hall Ears,Eyes, Brain Painting Exhibition Eyes, Brain Hall DNA Biomolecular Phenotype Web PC Internet PC WWW Sellers MARKET Buyers MESSAGE Changes of Variables DESTINATION Scientist Images,Sounds Text Τηλεθεατης People Image People Musical Piece Bio-Information People Organism Email,Text,Image,Video People Product Consumers Shannon introduced the qualitative and quantitative statistical model of communication “Τhe fundamental problem of communication is that of reproducing at one point, (DESTINATION) either exactly or approximately, a Message selected at another point (SOURCE) Shannon C. ,Weaver W. 1949, The Mathematical Theory of Communication, Univ. Illinois Press, Urbana Frequently the messages have meaning; that is they refer to or are correlated according to some system with certain physical or conceptual entities. These semantic aspects of communication are irrelevant to the engineering problem. The significant aspect is that the actual message is one selected from a set of possible messages. The system must be designed to operate for each possible selection, not just the one which will actually be chosen since this is unknown at the time of design.” Shannon Information Theory is Syntactic Information Theory The Meaning of Symbols is not considered Πληροφορια Προελευση Εφαρμογες Εντροπια Θερμοδυναμικη Στατιστικη Μηχανικη Boltzmann, Gibbs Στατιστικη Φυσικη Βιοιατρικη Μηχανες Αναζητησης Γλωσσολογια Xρηματοοικονομικα, Risk Διαυλοι Επικοινωνιας Υπολογιστες, Ορια Υπολογισιμοτητας Εκτιμησεις Πολυπλοκοτητας Προσεγγισεις Xρηματοοικονομικα, Risk Αποφασεις, Παιγνια Eπικοινωνια Shannon Πολυπλοκοτητα Επεξεργαστων Kolmogorov Tυχερα Παιγνια Στατιστικες Εκτιμησεις Fisher Ελεγχος Υποθεσεων Kullback-Leibler Δικτυα Internet, WWW Koινωνιολογια, Πολεμος, Απατη The 5 Basic theorems of Information Theory The 5 Basic theorems of Information Theory 1. Sampling Theorem How to Transform Continuous (Functions) Messages to Discrete (Functions) Messages 2. Source Coding Theorem= Data Compression Theorem= = Shannon-McMillan-Breiman Theorem = Ergodic Theorem = = Asymptotic Equipartion Theorem Find shortest sequences to code messages 3. Channel Coding Theorem Reliable Information Transmission over Unreliable (Noisy) Channels Error Correction Codes 4. Rate Distortion Theorem Min Distortion 5. Cryptography Theorem Min Information Rate for Max (Unconditional) Security Information Theory Content Information Observation Statistics Probability Sources of Information Physical (Time series from Observations) Mathematical Models Dynamical Systems (Differential Eqs, Difference Eqs) Stochastic Processes Games Channels Coding = Deterministic Channels For Economic Transmission Conventional Communication Engineering Error Correction Conventional Communication Engineering Cryptography Trust Robustness-Adaptability Life Information Processing involving Many Channels (Network Information Theory) Information and Communication Technology is Application of Information Theory PC, CD-ROM, DVD, GSM, GPS, WWW Negroponte N. 1995, Being Digital, Hodder London. Ελλην. Μεταφρ. Eκδ. Καστανιώτης, Αθηνα, 2000 Dertouzos M. 1997, What Will Be? How the World of Information Will Change Our Lives, Harper Collins, New York. Ελλην. Μεταφρ. Eκδ. Γκοβοστη 1998. Dertouzos M. 2001, The Unfinished Revolution : How to Make Technology Work for Us--Instead of the Other Way Around, Harper Collins, New York. Ελλην. Μεταφρ. Eκδ. Λιβανη, Αθηνα, 2001 ] Berners-Lee T, Fischetti M. 1997, Weaving The Web , Harper Collins, New York. Ελλην. Μεταφρ. Eκδ. Γκοβοστη , Αθηνα, 2002. Berners-Lee T, Hall W., ea 2006, A Framework for Web Science, Found. Trends in Web Science 1, 1-130. Ελλην. Μεταφρ. Βαφοπουλος, Hyperconsult 2007 Shadbolt N., Hall W., Berners-Lee T. 2006, The Semantic Web Revisted Knowledge Processing 21st Century Meta-Data Feature Selection Meaning (Νοημα), Significance (Σημασια) Semantic Processing (Σημασιoλογικη Επεξεργασια) Ontologies (Οντολογιες) Semantic Web Mind, Consciousness, Self ΕΚΠΑΙΔΕΥΤΙΚΟΙ ΣΤΟΧΟΙ H Aποστηθηση Γυζης Το Κρυφο Σχολειο Κου-Κου Η Αρμονια Μαθηση Αντιληψη Εμπειρια Ιστορια Διαισθηση Κατανοηση Λογικες Σχεσεις-Δομη Αφαιρεση-Εμβαθυνση Αποδειξεις Those who lack a sense of the Past are condemned to live in the narrow darkness of their own generation [Old Armenian Proverb] Φιλοσοφια, Τεχνη «Καθαρα» Μαθηματικα Εμπεδωση Λυση Προβληματων Εφαρμογες Νυξεις για οσους ενδιαφερονται να προχωρησουν παραπερα «Εφαρμοσμενα» Μαθηματικα ΑΣΚΗΣΕΙΣ-ΕΡΓΑΣΙΕΣ ΕΠΩΝΥΜΟ ΟΝΟΜΑ ΑΡΙΘΜΟΣ ΜΗΤΡΩΟΥ Ημερομηνια ----------------------------------------------------------------------------ΕΡΓΑΣΙΑ στο Μαθημα ΣΤΑΤΙΣΤΙΚΗ ΑΝΑΛΥΣΗ ΠΛΗΡΟΦΟΡΙΑΣ 2008-9 ΘΕΜΑ: Το Θεωρημα Liouville ----------------------------------------------------------------------------ΠΕΡΙΛΗΨΗ: 4-8 γραμμες ΠΕΡΙΕΧΟΜΕΝΑ: εάν κρινεται χρησιμο (μεγαλες Εργασιες) ΕΙΣΑΓΩΓΗ εάν κρινεται χρησιμο (μεγαλες Εργασιες) ΟΡΟΙ-ΕΝΝΟΙΕΣ: οριζονται με σαφηνεια και ακριβεια ειτε με παραπομπη στην βιβλιογραφια ΠΡΟΤΑΣΕΙΣ,ΘΕΩΡΗΜΑΤΑ: διατυπωνονται με σαφηνεια και ακριβεια ειτε με παραπομπη στην βιβλιογραφια ΑΠΟΔΕΙΞΕΙΣ: πληρεις , ότι αναφερεται τεκμηριωνεται λεπτομερως αποφευγουμε εκφρασεις "ευκολα φαινεται ότι…" . Η τεκμηριωση μπορει να γινεται με συντομη επεξηγηση και αναφορα στην βιβλιογραφια , πχ. Για την κατασκευη των ιδιοσυναρτησεων παραπεμπουμε στην εργασια Antoniou et al (2000), Θ. 12.1, σ. 37. Στα πλαισια της εργασιας χρησιμοποιουμε την αποδειξη του Arnold (1978), Θ. 12.1, σ. 37. ΣΥΜΠΕΡΑΣΜΑΤΑ, ΠΡΟΟΠΤΙΚΕΣ: εάν κρινεται χρησιμο ANAΦΟΡΕΣ- ΒΙΒΛΙΟΓΡΑΦΙΑ: Ακολουθωντας την σειρα εμφανισης στο κειμενο [1] Arnold V.I., Ordinary Differential Equations, MIT Press, Cambridge, MA (1978). [2] Yosida K., Lectures on Differential and Integral Equations, Interscience, New York (1960); reprint Dover, New York (1991). [3] Antoniou I.,Shkarin S., Analyticity of Smooth Eigenfunctions and Spectral Analysis of the Gauss Map, J. Stat. Phys. 111, 355-369 (2003). [4] Antoniou I., Shkarin S., Spectral Analysis of Operators of Chaos, Proc. 9th Math. Αnalysis Conference, Crete (2003). [5] http…Chaos… / …Prigogine, Laws of Chaos (2006-12-13) Αλφαβητικα Arnold V.I. 1978, Ordinary Differential Equations, MIT Press, Cambridge, MA Antoniou I.,Shkarin S. 2003a, Analyticity of Smooth Eigenfunctions and Spectral Analysis of the Gauss Map, J. Stat. Phys. 111, 355-369 Antoniou I., Shkarin S. 2003b, Spectral Analysis of Operators of Chaos, Proc. 9th Math. Αnalysis Conference, Crete. Prigogine 2006-12-13, Laws of Chaos, http…Chaos… /… Yosida K. 1960, Lectures on Differential Equations, Interscience, New York; reprint Dover, New York Εαν η Εργασια δεν εχει δημοσιευτει, τοτε Προστιθεται κατα περιπτωση [submitted] [accepted] [in press] Παραδοση Εργασιας Καθε Φοιτητης,-ρια εχει τον Φακελλο του οπου ευρισκονται οι Εργασιες του Στον Φακελο Εργασιας μπορειτε να εχετε εφ οσον χρειαζονται Εργασιες Αλλων, Προγραμματα που γραψατε η Βρηκατε Προσοχη! 1) Το κειμενο Καθε Εργασιας πρεπει να ειναι δομημενο. Οχι Moνο Copy→Paste με αλλαγη συμβολων 2) Δεν γραφονται λεξεις η προτασεις που δεν ειναι κατανοητες. 3) Αξιολογειται η Κατανοηση του θεματος. Εαν Διαπιστωθει οτι ο συντακτης δεν διαφερει απο Ψηφιακο Επεξεργαστη, ο βαθμος της Εργασιας ειναι Μηδεν 4) Μπορειτε να ρωτατε πριν παραδωσετε ειτε να δηλωνετε οτι δεν εχετε κατανοησει ΠΡΟΥΠΟΘΕΣΕΙΣ Βασικες Γνωσεις: Αναλυση Γραμμικη Αλγεβρα Πιθανοτητες, Στατιστικη Digital Literacy = Ψηφιακη Ευχερεια (Υπολογιστες, Διαδικτυο) Αγγλικα Επαγγελματισμος {οχι Ερασιτεχνισμοι, Kενολογιες} Eφεση, Αγαπη {η ζωη δεν ειναι βαρετη αγγαρεια} Knowing Ignorance is Strength. Ignoring Knowledge is Sickness [Lao Tsu 600BC , Tao Te Ching] BΙΒΛΙΟΓΡΑΦΙΑ Probability, Statistics Billingsley P. 1985, Probability and Measure, Wiley, New York Caratheodory C. 1919, Uber den Wiederkehrsatz von Poincare, Sitz. Preuss. Akad. Wiss. Phys. Math. 580-584. Caratheodory C. 1956, Algebraic Theory of Measure and Integration, 2nd ed., Chelsea, New York 1986 Cox R. 1961, The Algebra of Probable Inference, John Hopkins Press, Baltimore. Doob J.L. 1953 Stochastic Processes, Wiley, New York. Doob J.L. 1994 Measure Theory, Springer-Verlag New York. Epstein R. 1977, The Theory of Gambling and Statistical Logic, Academic Press, London Feller W. 1968, An Introduction to Probability Theory and Its Applications I, Wiley, New York Feller W. 1971, An Introduction to Probability Theory and Its Applications II, Wiley, New York Ferguson T. 1997, Mathematical Statistics: a Decision Theoretic Approach, Academic Press Gardiner C. 1983, Handbook of Stochastic Methods for Physics, Chemistry and the Natural Sciences, Springer, Berlin Gheorghe A. 1990, Decision Processes in Dynamic Probabilistic Systems, Kluwer, Dodrecht Gray R. 1988, Probability, Random Processes and Ergodic Properties, Springer, New York. Honerkamp J. 1994, Stοchastic Dynamical Systems: Concepts, Numerical Methods, Data Analysis, Wiley, New York Kallenberg O. 2001, Foundations of Modern Probability, 2nd ed., Springer, Berlin Kolmogorov A.N. 1933, Foundations of the Theory of Probability, 2nd English Edition, Chelsea, New York 1956. Kolmogorov A.N. and Fomin S.V. 1970, Introductory Real Analysis, Dover, New York 1975. Whittle W. 2000, Probability via Expectation, 4th ed., Springer, Berlin Van Kampen N. 1981, Stochastic Processes in Physics and Chemistry, North-Holland, Amsterdam Information, Entropy Applebaum D. 2008, Probability and Information. An Integrated Approach 2nd ed, Cambrigre Univ. Press, Cambridge, UK. Ash, R. 1965, Information Theory, Wiley; Dover, New York 1990. Berstel J., Perrin D. , Reutenauer C. 2009, Codes and Automata, Cambridge University Press. Billingsley P. 1965, Ergodic Theory and Information, Wiley, New York Blum L., Cucker F., Shub M., Smale S. (1998) Complexity and Real Computation, Springer, New York. Brillouin L. 1956, Science and Information Theory, Academic Press, New York. Cover T.,Thomas J. 2006, Elements of Information Theory, Wiley, New York Cucker F. , Smale S. 2001, On the Mathematical Foundations of Learning, Bull. Am. Math. Soc. 39, 1-49 Frieden R. 2004, Science from Fisher Information: A Unification, Cambridge University Press, Cambridge. Girardin V. 2005, On the Different Extensions of the Ergodic Theorem of Information Theory, in “Recent Advances in Applied Probability”, ed. Baeza-Yates R., Glaz J.,ea, Springer, Boston, 163-179. Golomb S., Berlekamp E., Cover T. , Gallager R., Massey J. , Viterbi A. 2002, Claude Elwood Shannon (1916–2001), AMS Notices 49, 8-16 Gray R. 1990, Entropy and Information Theory, Springer, New York. Han, Te Sun 2003, Information-Spectrum Methods in Information Theory, Springer, New York. Jelinek F. 1968, Probabilistic Information Theory, MacGraw-Hill, New York. Kakihara Y. 1999, Abstract Methods in Information Theory, World Scientific, Singapore Khinchin A. 1957, Mathematical Foundations of Information Theory, Dover, New York. Kotelnikov V. A. 1933 , On the carrying capacity of the ether and wire in telecommunications, First All-Union Conference on Questions of Communication, Izd. Red. Upr. Svyazi RKKA, Moscow Kullback S. 1968, Information Theory and Statistics, Dover, New York. Levin B. 1982, Statistical Communication Theory and its Applications, Mir, Moscow. Li M.,Vitanyi P. 1993, An Introduction to Kolmogorov Complexity and its Applications, Springer. New York MacKay D. 2003, Information Theory, Inference, and Learning Algorithms, Cambridge ,UK. Nyquist H.1928 , Certain topics in telegraph transmission theory, Trans. AIEE 47, 617-644. Reprint as classic paper in: Proc. IEEE, Vol. 90, No. 2, Feb 2002 Pinsker M. 1964, Information and Stability of Random Variables and Processes, Holden-Day, San Francisco. Rényi A. 1961, On Measures of Entropy and Information, Proc. 4th Berkeley Symposium on Mathematics, Statistics and Probability, University of California Press, p 547-561 Renyi A. 1984, A Diary in Information Theory,Wiley, New York. Reza F. 1961, An Introduction to Information Theory, McGraw-Hill, New York ; Dover Reprint (1994) Rohlin V. 1967, Lectures on the Entropy Theory of Measure Preserving Transformations, Russ. Math. Surv. 22, No 5,1-52 Shannon C. ,Weaver W. 1949, The Mathematical Theory of Communication, Univ. Illinois Press, Urbana. Shannon C. 1949, Communication in the presence of noise, Proc. Institute of Radio Engineers 37, 10-21. Reprint as classic paper in: Proc. IEEE, Vol. 86, No. 2, (Feb 1998) Urbanik K. 1973, On the Definition of Information, Rep. Math. Phys. 4, 289-301 Yanglom A. ,Yanglom I. 1983, Probability and Information, Reidel, Dordrecht. Yockey R. 2005, Information Theory, Evolution and the Origin of Life, Cambridge Univ. Press, New York Yeung R. 2002, A First Course in Information Theory. Norwell, MA/New York: Kluwer/Plenum Dynamical Systems, Chaos, Stochasticity Antoniou I., Christidis Th., Gustafson K. 2004, “Probability from Chaos”, Int. J. Quantum Chemistry 98,150-159 Antoniou I., Gustafson K. and Shkarin S.A. 2004, “Positive Dilations of piecewise monotonic Markov maps”, Inf. Dim. Anal. Quantum Probability 7, 261-269 Antoniou I. 1991, "Information and Dynamical Systems", p221-236 in "Information Dynamics", ed. Atmanspacher H. , Scheingraber H., Plenum, New York Arnold V. 2008, Orbits’ Statistics in Chaotic Dynamical Systems, Nonlinearity 21,T109–T112, doi:10.1088/0951-7715/21/7/T02 Choe G. 2005, Computational Ergodic Theory, Springer, Berlin Devaney R. 1992, A First Course in Chaotic Dynamical Systems. Theory and Experiment, Addison-Wesley, Reading, Massachusetts Farquhar I. 1964, Ergodic Theory in Statistical Mechanics Wiley, New York Honerkamp J. 1998, Statistical Physics. An Advanced Approach with Applications, Springer, Berlin. Honerkamp J. 1994, Stοchastic Dynamical Systems: Concepts, Numerical Methods, Data Analysis, Wiley, New York Katok A., Hasselblatt B. 1995, Introduction to the Modern Theory of Dynamical Systems, Cambridge University Press, Cambridge, UK Jancel R. 1963, Foundations of Classical and Quantum Statistical Mechanics, Gauthier-Villars, Paris; Pergamon Press, Oxford, U.K. 1969 Knuth D. 1997, The Art of Computer Programming, Volume 2: Seminumerical Algorithms, 3d Edition, Addison-Wesley Reading, Massachusetts. Meyers R. (Ed.) 2009, Encyclopedia of Complexity and Systems Science, Springer, New York. Skiadas Christos, Skiadas Charilaos 2009, Chaotic Modelling and Simulation. Analysis of Chaotic Models, Attractors and Forms, CRC Press, London Sinai Ya. 1989, Kolmogorov’s Work on Ergodic Theory, Annals of Probability 17, 833-839 Δικτυα Antoniou I. , Tsompa E. 2008, Statistical Analysis of Weighted Networks, Discrete Dynamics in Nature and Society 375452, doi:10.1155/2008/375452. Barabasi A.-L. 2002, Linked: The new Science of Networks, Perseus, Cambridge Massachussetts. Bondy J. and Murty U. 2008, Graph Theory, Springer. Bollobas B. , 1985, Random Graphs, Academic Press, London. Dehmer M. 2008, Information-Theoretic Concepts for the Analysis of Complex Networks, Applied Artificial Intelligence 22, 684–706 Dehmer Μ., Mowshowitz A. 2011, A history of graph Εntropy measures, Information Sciences 181, 57-78 De Nooy W., Mrvar A., Batagelj V., 2007, Explanatory Social Network Analysis with Pajek, Cambridge University Press, NY. Dorogovtsev S., Mendes G. , 2003, Evolution of Networks, Oxford Univ. Press, UK. Easley D. and Kleinberg J., 2010, Networks, Crowds, and Markets: Reasoning about a Highly Connected World, Cambridge University Press. Baldi P., Frasconi P. and Smyth P., 2003, Modeling the Internet and the Web, Wiley, West Sussex. Boccaletti S., Latora V., Moreno Y., Chavez M., Hwang D.-U., 2006, Complex networks: Structure and dynamics, Physics Reports, 424, 175 – 308. Brandes U., Erlebach T. 2005, Network Analysis, Springer-Verlag Berlin Heidelberg. Li J. ,ea 2008, Network Entropy Based on Topology Configuration and Its Computation to Random Networks, Chin. Phys. Letters 25, 4177-4180 Rosen K. et al., 2000, Handbook of Discrete and Combinatorial Mathematics, CRC Press, USA. Sole R. and Valverde S. 2004, Information Theory of Complex Networks: on Evolution and Architectural Constraints, Lect. Notes Phys. 650, 189-204 Tutzauer F. 2007, Entropy as a measure of centrality in networks characterized by path-transfer flow, Social Networks 29, 249–265
© Copyright 2024 Paperzz
