ΘΕΩΡΙΑ ΠΛΗΡΟΦΟΡΙΑΣ και ΧΑΟΣ

0. Εισαγωγη

Ioannis E. Antoniou Mathematics Department

Aristotle University 54124,Thessaloniki,Greece

iantonio@math.auth.gr http://users.auth.gr/iantonio

Το παρόν εκπαιδευτικό υλικό υπόκειται σε Αδεια Χρήσης Creative Commons

ΘΕΩΡΙΑ ΠΛΗΡΟΦΟΡΙΑΣ και ΧΑΟΣ

0 Εισαγωγη

1 Πληροφορια και Εντροπια

2 Κωδικοποιηση και Εντροπια

3 Εξαρτηση και Αποσταση από την Εντροπια

4 Μοναδικοτης Εντροπιας

5 Πηγες Πληροφοριας

6 Διαυλοι Επικοινωνιας

7 Εντροπια Renyi

8 Εντροπια Tsallis

9 Εντροπια Fisher

10 Αλγοριθμικη Πληροφορια-Πολυπλοκοτης Kolmogorov

0 Εισαγωγη 0.1 Πληροφορια και Επικοινωνια

0.2 Εντροπια και Θεωρια Πληροφοριας

0.3 Συμβολισμος

0.4 Βιβλιογραφια

0.5 Το Μαθημα «ΘΕΩΡΙΑ ΠΛΗΡΟΦΟΡΙΑΣ και ΧΑΟΣ»

0.6 Προυποθεσεις

0.7 Εκπαιδευτικοι Στοχοι

0.8 Εξεταση

0.1 Πληροφορια και Επικοινωνια

Τι είναι Πληροφορια? Πληροφορια είναι ο Πορος (Resource) που μεταβιβαζεται (transmitted) κατά την Επικοινωνια με την μορφη Μηνυματων Επικοινωνια είναι η ανταλλαγη Μηνυματων Υπαρχω ⟺ Επικοινωνω Διαφορα Πληροφοριας – Ενεργειας Η Πηγη Πληροφοριας δεν χανει την Πληροφορια που παρεχει!

Shannon C. ,Weaver W. 1949, The Mathematical Theory of Communication, Univ. Illinois Press, Urbana

Ορισμος

Συστημα Επικοινωνιας Shannon Communication Model

Η μεταδοση τής πληροφορίας απαιτεί: Τον Διαυλο Επικοινωνιας ενα φυσικό συστημα-φορεα πού συνδέει στό χώρο καί στό χρόνο

την Πηγη της Πληροφοριας και τον Αποδεκτη της Πληροφοριας.

ΣΧΟΛΙΟ

Συστημα Επικοινωνιας Παραδειγματα SOURCE TRANSMITTER CHANNEL RECEIVER MESSAGE DESTINATION Nature Observable

Events Experimental Devise

Voltmeter Thermometer Tηλεσκοπιο

Changes of Variables Scientist

Show TV Station EM Field TV-Receiver Images,Sounds Τηλεθεατης Αuthor Editor Distribution

Network Eyes, Brain Text People

Orchestra Amplifier Concert Hall Ears,Eyes, Brain

Musical Piece People

Painter Painting Exhibition Hall Eyes, Brain Image People Genotype DNA Biomolecular

Web Phenotype Bio-Information Organism

People

PC Internet WWW

PC Email,Text, Image,Video

People

Producers Sellers MARKET Buyers Product Consumers

0.2 Εντροπια και Θεωρια Πληροφοριας Information Theory

H Θεωρια Πληροφοριας ειναι το Μαθηματικο Μοντελο της Επικοινωνιας

Πως οριζεται - υπολογιζεται η Πληροφορια? Πληροφορια από την Παρατηρηση Γεγονοτος Ποση Αβεβαιοτητα αιρεται? Ποσο αυξανει η Βεβαιοτητα των Αποφασεων που θα λαβω? Ποσο μειωνεται το ρισκο? Εντροπια: η Αναμενομενη Πληροφορια από Πολλα Γεγονοτα

ΣΧΟΛΙΟ

Διαδρομες Προς την Εντροπια Εντροπια μεσω Πιθανοτητων Στατιστικης

Θερμοδυναμικη Εντροπια Clausius Θερμικες Μηχανες Αβεβαιοτης Εκτιμησης της καταστασης του Συστηματος Επιτρεπτες Μεταβολες, Το Βελος του Χρονου Στατιστικη Φυσικη Εντροπια Βοltzmann-Planck-Gibbs Παρατηρηση Moριακης Καταστασης Συστηματος Πληροφορια Wiener ως Εκπληξη-Αβεβαιοτητα Εντροπια ως Αναμενομενη Πληροφορια Στατιστικη. Εκτιμησεις: Θεωρημα Kramer-Rao. Πληροφορια Fisher Ελεγχος Υποθεσεων. Αποκλιση Kullback-Leibler Εxtensivity Εντροπια Renyi

Non-Εxtensivity Εντροπια Tsallis

Οικολογια: Βιοποικιλοτης

Οικονομια: Utility, Wealth Distribution Παιγνια: Στοιχηματα

Εντροπια μεσω Συμβολικης Κωδικοποιησης

Κωδικοποιηση Μηνυματων με Συμβολα, Εντροπια Shannon ως Κωδικοποιηση Ελαχιστου Μηκους Κρυπτογραφια

Αλγοριθμικη Πολυπλοκοτης Kolmogorov

Εφαρμογες Εντροπιας Στατιστικη Φυσικη Σε μικρο και μακρο κλιμακες

Στατιστικη Εκτιμησεις, Εξαρτησεις, Αποφασεις, Ελεγχος Υποθεσεων

Υπολογιστες, Ορια Υπολογισιμοτητας Εκτιμησεις Πολυπλοκοτητας

Χρονος Επεξεργασιας Χωρος Επεξεργασιας (Μνημη) Αξιολογηση Αλγοριθμων Επεξεργασιας Αλγοριθμοι Αναζητησης Προσεγγισεις

Δικτυα Επικοινωνιας Internet, WWW, Σημασιολογικος Ιστος Γνωση, Οντολογιες Koινωνικα Δικτυα, Κοινωνια Γνωσης, Koινωνιολογια Ασφαλεια, Αξιοπιστια, Απατη, Πολεμος e-Government, e-Business

Βιολογια Μοριακη Βιολογια, Βιοποικιλοτης,

Ιατρικη Διακριση Παθογενειων, Αξιολογηση θεραπειων

Οικονομια, Παιγνια Χρηματο-οικονομικα, Risk, Αποφασεις

Γλωσσολογια Χαρακτηρισμος Γλωσσων

Μαθηση-Νοημοσυνη

Ψυχολογια

Κοινωνιολογια

ΣΧΟΛΙΟ

Συντακτικη Εντροπια και Σημασια Shannon introduced the qualitative and quantitative statistical model of communication “Τhe fundamental problem of communication is that of

reproducing at one point, (DESTINATION) either exactly or approximately, a Message selected at another point (SOURCE)

Shannon C. ,Weaver W. 1949, The Mathematical Theory of Communication, Univ. Illinois Press, Urbana

Frequently the messages have meaning; that is they refer to or are correlated according to some system with certain physical or conceptual entities. These semantic aspects of communication are irrelevant to the engineering problem. The significant aspect is that the actual message is one selected from a set of possible messages. The system must be designed to operate for each possible selection, not just the one which will actually be chosen since this is unknown at the time of design.”

Shannon Information Theory is Syntactic Information Theory The Meaning of Symbols is not considered Γενικευση μεσω Δικτυων: Σημασιολογικη Πληροφορια, Γνωση, Οντολογιες

SEMANTIC PROCESSING The Paradox of Poetry and Information theory Quotation from Alfred Renyi by his student [Szekery G. 1986, Paradoxes in Probability and Statistics, Reidel,Dordrecht].

"Since I started to deal with information theory I have often meditated upon the conciseness of poems; How can a single line of verse contain far more 'information' than a highly concise telegram of the same length. The surprising richness of meaning of literary works seems to be in contradiction with the laws of information theory. The key to this paradox is, I think, the notion of “resonance”. The writer does not merely give us information, but also plays on the strings of the language with such virtuosity, that our mind, and even the subconscious self resonate. A poet can recall chains of ideas, emotions and memories with a welI-turned word. In this sense, writing is magic."

Words in a Text are not independent, they interact. As they are nodes in Semantic Nets Semantic Processing in the Directed Semantic Graph (Ontology) In parallel to the Syntactic Processing

πάντα αλλήλοις δύναμιν έχειν επικοινωνίας Πλατων Σοφιστης 252δ διὰ γὰρ τὴν αλλήλων των ειδῶν συμπλοκὴν ο λόγος γέγονεν ημίν. (Ο λόγος εχει γινει διοτι τα ειδη (των εννοιων) αλληλο-συμπλεκονται). Πλατων Σοφιστης 259ε

The 5 Basic Theorems of (Syntactic) Information Theory

1. Source Coding Theorem= Data Compression Theorem= = Shannon-McMillan-Breiman Theorem = Ergodic Thm = Asymptotic Equipartion Thm Find shortest sequences to code messages 2. Channel Coding Theorem Reliable Information Transmission over Unreliable (Noisy) Channels Error Correction Codes 3. Rate Distortion Theorem Min Distortion 4. Sampling Theorem How to Transform Continuous (Functions) Messages to Discrete (Functions) Messages 5. Cryptography Theorem Min Information Rate for Max (Unconditional) Security

ΣΧΟΛΙΟ

Εντροπια Προοπτικη Η Θεωρια Πληροφοριας μας προσδιοριζει τα ορια του Εφικτου (τι δυναται να γινει). Ο Σχεδιασμος της Υλοποιησης είναι Τεχνη-Τεχνικη.

Knowledge Processing 21st Century Big Data Meta-Data Feature Selection Meaning (Νοημα), Significance (Σημασια) Semantic Processing (Σημασιoλογικη Επεξεργασια) Ontologies (Οντολογιες) Semantic Web Mind, Consciousness, Self

0.3 ΣΥΜΒΟΛΙΣΜΟΣ

Συμβολο Ονομα

𝒾 Η Πληροφορια Γεγονοτων

𝒾𝐻𝐴𝑅𝑇𝐿𝐸𝑌 H Πληροφορια Hartley 𝒮 Η Εντροπια (Μεση Τιμη της Πληροφοριας)

𝒮𝑏 H Εντροπια με βαση Λογαριθμου b

𝒮2 = 𝒮𝑆𝐻𝐴𝑁𝑁𝑂𝑁 = 𝒮 H Εντροπια Shannon (b=2)

𝒮𝐵𝑃𝐺 Η Εντροπια Boltzmann-Planck-Gibbs

𝒮𝑄 Η Τετραγωνικη Εντροπια

𝒮R,α Η Εντροπια Renyi ταξεως α

𝒮𝐹 Η Πληροφορια Fisher

ℐ =𝒮

𝒮𝑚𝑎𝑥

H Κανονικοποιημενη Εντροπια (τιμες στο Διαστημα [0,1])

Συμβολο Ονομα

𝒮[𝛢, 𝛣] Η Κοινη Εντροπια των Μεταβλητων Α, Β ℐ[𝛢, 𝛣] H Κανονικοποιημενη Κοινη Εντροπια 𝒮[𝛣|𝛢] Η Δεσμευμενη Εντροπια της Μεταβλητης Β από την Μεταβλητη Α ℐ[𝛣|𝛢] H Κανονικοποιημενη Δεσμευμενη Εντροπια 𝒮[𝛢; 𝛣] Η Αμοιβαια Πληροφορια των Μεταβλητων Α, Β

ℐ[𝛢; 𝛣] = 𝐼𝐴𝐵 H Κανονικοποιημενη Αμοιβαια Πληροφορια

𝒟[𝑝: 𝑞] Η Αποκλιση Kullback – Leibler της κατανομης p από την κατανομη q

𝒽 H Παραγωγη Εντροπιας

Ο Συμβολισμος επελεγη αντι του συμβολισμου Shannon (H αντι 𝓢) για 2 λογους: 1) Εναρμονιση της Θεωριας Shannon με την Θερμοδυναμικη και την Στατιστικη Φυσικη το Συμβολο (𝒮) χρησιμοποιειται στην Θερμοδυναμικη και την Στατιστικη Φυσικη 2) Προληψη Συγχισης Στην Κλασσικη Μηχανικη, στην Κβαντικη Μηχανικη καθως και στην Στατιστικη Φυσικη , το Συμβολο (Η) υποδηλει την Συναρτηση Ενεργειας (Hamiltonian). Όταν η συζητηση περιλαμβανει και την Ενεργεια ο Συμβολισμος (𝒮), σαφως πλεονεκτει Tribus M., Mc Irving E. 1971, Energy and Information, Scientific American 225, 179-88.

0.4 Bιβλιογραφια

Συστηματα και Πολυπλοκοτητα Antoniou I. 1991, "Information and Dynamical Systems", p221-236 in "Information Dynamics", ed. Atmanspacher H. , Scheingraber H., Plenum, New York Antoniou I., Christidis Th., Gustafson K. 2004, “Probability from Chaos”, Int. J. Quantum Chemistry 98,150-159 Devaney R. 1992, A First Course in Chaotic Dynamical Systems. Theory and Experiment, Addison-Wesley, Reading, Massachusetts Honerkamp J. 1994, Stοchastic Dynamical Systems: Concepts, Numerical Methods, Data Analysis, Wiley, New York Honerkamp J. 1998, Statistical Physics. An Advanced Approach with Applications, Springer, Berlin. Katok A., Hasselblatt B. 1995, Introduction to the Modern Theory of Dynamical Systems, Cambridge University Press, Cambridge, UK Meyers R. (Ed.) 2009, Encyclopedia of Complexity and Systems Science, Springer, New York. Skiadas Christos, Skiadas Charilaos 2009, Chaotic Modelling and Simulation. Analysis of Chaotic Models, Attractors and Forms, CRC Press, London Sinai Ya. 1989, Kolmogorov’s Work on Ergodic Theory, Annals of Probability 17, 833-839

Πιθανοτητα, Στατιστικη Billingsley P. 1985, Probability and Measure, Wiley, New York Caratheodory C. 1919, Uber den Wiederkehrsatz von Poincare, Sitz. Preuss. Akad. Wiss. Phys. Math. 580-584. Caratheodory C. 1956, Algebraic Theory of Measure and Integration, 2nd ed., Chelsea, New York 1986 Cox R. 1961, The Algebra of Probable Inference, John Hopkins Press, Baltimore. Doob J.L. 1953 Stochastic Processes, Wiley, New York. Doob J.L. 1994 Measure Theory, Springer-Verlag New York. Epstein R. 1977, The Theory of Gambling and Statistical Logic, Academic Press, London Feller W. 1968, An Introduction to Probability Theory and Its Applications I, Wiley, New York Feller W. 1971, An Introduction to Probability Theory and Its Applications II, Wiley, New York Ferguson T. 1997, Mathematical Statistics: a Decision Theoretic Approach, Academic Press Gardiner C. 1983, Handbook of Stochastic Methods for Physics, Chemistry and the Natural Sciences, Springer, Berlin Gheorghe A. 1990, Decision Processes in Dynamic Probabilistic Systems, Kluwer, Dodrecht Gray R. 1988, Probability, Random Processes and Ergodic Properties, Springer, New York. Halmos P. 1944, The Foundations of Probability Am. Math. Monthly 51, 493-510 Honerkamp J. 1994, Stοchastic Dynamical Systems: Concepts, Numerical Methods, Data Analysis, Wiley, New York Kallenberg O. 2001, Foundations of Modern Probability, 2nd ed., Springer, Berlin Kolmogorov A.N. 1933, Foundations of the Theory of Probability, 2nd English Edition, Chelsea, New York 1956. Kolmogorov A.N. and Fomin S.V. 1970, Introductory Real Analysis, Dover, New York 1975. Whittle W. 2000, Probability via Expectation, 4th ed., Springer, Berlin Van Kampen N. 1981, Stochastic Processes in Physics and Chemistry, North-Holland, Amsterdam

Πληροφορια και Εντροπια Abramson N. 1963, Information Theory and Coding, McGraw-Hill Book Company. New York, London Applebaum D. 2008, Probability and Information. An Integrated Approach 2nd ed, Cambrigre Univ. Press, Cambridge, UK. Ash R. 1965, Information Theory, Wiley; Dover, New York 1990 Arndt C. 2001, Information Measures. Information and its Description in Science and Engineering Springer, Berlin, Heidelberg, New York. Berstel J., Perrin D. , Reutenauer C. 2009, Codes and Automata, Cambridge University Press. Billingsley P. 1965, Ergodic Theory and Information, Wiley, New York Blum L., Cucker F., Shub M., Smale S. (1998) Complexity and Real Computation, Springer, New York. Brillouin L. 1956, Science and Information Theory, Academic Press, New York. Cover T.,Thomas J. 2006, Elements of Information Theory, Wiley, New York Cucker F., Smale S. 2001, On the Mathematical Foundations of Learning, Bull. Am. Math. Soc. 39, 1-49 Frieden R. 2004, Science from Fisher Information: A Unification, Cambridge University Press, Cambridge. Girardin V. 2005, On the Different Extensions of the Ergodic Theorem of Information Theory, in “Recent Advances in Applied Probability”, ed. Baeza-Yates R., Glaz J.,ea, Springer, Boston, 163-179. Golomb S., Berlekamp E., Cover T. , Gallager R., Massey J. , Viterbi A. 2002, C. E. Shannon (1916–2001), AMS Notices 49, 8-16Gray R. 1990, Entropy and Information Theory, Springer, New York. Hamming R. 1980, Coding and Information Theory, 2edition, Prentice Hall, Ney Jersey Han, Te Sun 2003, Information-Spectrum Methods in Information Theory, Springer, New York Kakihara Y. 1999, Abstract Methods in Information Theory, World Scientific, Singapore Khinchin A. 1957, Mathematical Foundations of Information Theory, Dover, New York. Kolmogorov A.N. 1933, Foundations of the Theory of Probability, 2nd Edition, Chelsea, New York 1956.

Kotelnikov V. A. 1933 , On the carrying capacity of the ether and wire in telecommunications, First All-Union Conference on Questions of Communication, Izd. Red. Upr. Svyazi RKKA, Moscow Kullback S. 1968, Information Theory and Statistics, Dover, New York. Levin B. 1982, Statistical Communication Theory and its Applications, Mir, Moscow. Li M.,Vitanyi P. 1993, An Introduction to Kolmogorov Complexity and its Applications, Springer.New York MacKay D. 2003, Information Theory, Inference, and Learning Algorithms, Cambridge ,UK. Nyquist H.1928 , Certain topics in telegraph transmission theory, Trans. AIEE 47, 617-644. Reprint as classic paper in: Proc. IEEE, Vol. 90, No. 2, Feb 2002 Pinsker M. 1964, Information and Stability of Random Variables and Processes, Holden-Day, San Francisco. Rényi A. 1961, On Measures of Entropy and Information, Proc. 4th Berkeley Symposium on Mathematics, Statistics and Probability, University of California Press, p 547-561 Renyi A. 1984, A Diary in Information Theory,Wiley, New York. Reza F. 1961, An Introduction to Information Theory, McGraw-Hill, New York ; Dover Reprint (1994) Rohlin V. 1967, Lectures on the Entropy Theory of Measure Preserving Transformations, Russ. Math. Surv. 22, No 5,1-52 Shannon C. 1948, A Mathematical Theory of Communication, Bell Systems Techn. J. 27,379-423; 623-656 Shannon C. ,Weaver W. 1949, The Mathematical Theory of Communication, Univ. Illinois Press, Urbana. Tribus M. , Mc Irving E. 1971, Energy and Information, Scientific American 225, 179-88. Urbanik K. 1973, On the Definition of Information, Rep. Math. Phys. 4, 289-301 Yanglom A. ,Yanglom I. 1983, Probability and Information, Reidel, Dordrecht. Yeung R. 2002, A First Course in Information Theory. Norwell, MA/New York: Kluwer/Plenum Yockey R. 2005, Information Theory, Evolution and the Origin of Life, Cambridge Univ. Press, New York

Dynamical Systems, Chaos, Stochasticity Antoniou I., Christidis Th., Gustafson K. 2004, “Probability from Chaos”, Int. J. Quantum Chemistry 98,150-159 Antoniou I., Gustafson K. and Shkarin S.A. 2004, “Positive Dilations of piecewise monotonic Markov maps”, Inf. Dim. Anal. Quantum Probability 7, 261-269 Antoniou I. 1991, "Information and Dynamical Systems", p221-236 in "Information Dynamics", ed. Atmanspacher H. , Scheingraber H., Plenum, New York Arnold V. 2008, Orbits’ Statistics in Chaotic Dynamical Systems, Nonlinearity 21,T109–T112, doi:10.1088/0951-7715/21/7/T02 Choe G. 2005, Computational Ergodic Theory, Springer, Berlin Devaney R. 1992, A First Course in Chaotic Dynamical Systems. Theory and Experiment, Addison-Wesley, Reading, Massachusetts Farquhar I. 1964, Ergodic Theory in Statistical Mechanics Wiley, New York Honerkamp J. 1998, Statistical Physics. An Advanced Approach with Applications, Springer, Berlin. Honerkamp J. 1994, Stοchastic Dynamical Systems: Concepts, Numerical Methods, Data Analysis, Wiley, New York Katok A., Hasselblatt B. 1995, Introduction to the Modern Theory of Dynamical Systems, Cambridge University Press, Cambridge, UK Jancel R. 1963, Foundations of Classical and Quantum Statistical Mechanics, Gauthier-Villars, Paris; Pergamon Press, Oxford, U.K. 1969 Knuth D. 1997, The Art of Computer Programming, Volume 2: Seminumerical Algorithms, 3d Edition, Addison-Wesley Reading, Massachusetts. Meyers R. (Ed.) 2009, Encyclopedia of Complexity and Systems Science, Springer, New York. Prigogine I. 1980, From Being to Becoming, Freeman, New York. Skiadas Christos, Skiadas Charilaos 2009, Chaotic Modelling and Simulation. Analysis of Chaotic Models, Attractors and Forms, CRC Press, London Sinai Ya. 1989, Kolmogorov’s Work on Ergodic Theory, Annals of Probability 17, 833-839

Information and Communication Technology PC, CD-ROM, DVD, GSM, GPS, WWW McLuchan M. 1962, The Gutenberg Galaxy: The Making of Typographic Man, University of Toronto Press Global Village McLuhan M. 1964, Understanding Media: The Extensions of Man (The Medium is the Message) Negroponte N. 1995, Being Digital, Hodder London. Ελλην. Μεταφρ. Eκδ. Καστανιώτης, Αθηνα, 2000 Dertouzos M. 1997, What Will Be? How the World of Information Will Change Our Lives, Harper Collins, New York. Ελλην. Μεταφρ. Eκδ. Γκοβοστη 1998. Dertouzos M. 2001, The Unfinished Revolution : How to Make Technology Work for Us, instead of the Other Way Around, Harper Collins, New York. Ελλην. Μεταφρ. Eκδ. Λιβανη, Αθηνα, 2001. Berners-Lee T, Fischetti M. 1997, Weaving The Web , Harper Collins, New York. Berners-Lee T, Hall W., ea 2006, A Framework for Web Science, Found. Trends in Web Science 1, 1-130. Shadbolt N., Hall W., Berners-Lee T. 2006, The Semantic Web Revi

0.5 Το Μαθημα ΘΕΩΡΙΑ ΠΛΗΡΟΦΟΡΙΑΣ και ΧΑΟΣ Η Στατιστικη Αναλυση Πληροφοριας διδασκεται από το 2005-6. Κατα το Ακαδημαικο Ετος 2012-3 μετονομαζεται «ΘΕΩΡΙΑ ΠΛΗΡΟΦΟΡΙΑΣ και ΧΑΟΣ» με σχετικη αναμορφωση του περιεχομενου, καθ’ υποδειξιν των Φοιτητων του Ακαδημαικου Ετους 2011-2. Κατά την διδασκαλια επεσημαναν ότι αφου η Θεωρια Πληροφοριας εχει προστιθεμενη αξια μονο στην περιπτωση Πηγων περιορισμενης προβλεψιμοτητας, δηλαδη Πηγων με Χαος, χρειαζεται περισσοτερη εμβαθυνση στο Χαος. Για τις επισημανσεις αυτές ευχαριστω τους κ.κ. Γκόλτσιου Κ., Ιωαννίδου Δ., Καμάκα Ι., Κανελλοπούλου Α., Κανούλα Ε., Καρυώτη Κ.-Β., Μαραντίδη Π., Τσέρκη Σ. Καλλιεργειται η δημιουργικη συνθεση της γνωσης των φοιτητων από τα μαθηματα Αναλυσης, Αλγεβρας, Πιθανοτητων και Στατιστικης, μεσω Εφαρμογων καθως και Θεωρητικης Επεξεργασιας. Το Μαθημα είναι προσιτο και σε φοιτητες αλλων Τμηματων οι οποιοι δυνανται να αξιοποιησουν την Θεωρια Πληροφοριας ως εργαλειο κατανοησης και επιλυσης προβληματων και να επικεντρωθουν σε εφαρμογες σχετικες με τα ενδιαφεροντα τους

Πηγες Πληροφοριας είναι οι Παρατηρησιμες Φυσικες Διαδικασιες (Ριψη Ζαριων, Κινηση Brown, Θερμικος Θορυβος Κυκλωματων, Καιρος, Ραδιενεργες Διασπασεις, Συγγραφεις, Καλλιτεχνες) και τα σχετικα Μαθηματικα Μοντελα (Δυναμικα Συστηματα και Στοχαστικες Διαδικασιες). Η προσομοίωση των Στοχαστικων Διαδικασιων γινεται με Γεννητριες Τυχαιων Αριθμων Knuth D. 1997, The Art of Computer Programming, Volume 2: Seminumerical Algorithms, 3d Edition, Addison-Wesley Reading, Massachusetts. Οι Γεννητριες Τυχαιων Αριθμων είναι απλα Χαοτικα Δυναμικα Συστηματα. Meyers R. (Ed.) 2009, Encyclopedia of Complexity and Systems Science, Springer, New York. Skiadas Christos, Skiadas Charilaos 2009, Chaotic Modelling and Simulation. Analysis of Chaotic Models, Attractors and Forms, CRC Press, London Choe G. 2005, Computational Ergodic Theory, Springer, berlin Katok A., Hasselblatt B. 1995, Introduction to the Modern Theory of Dynamical Systems, Cambridge University Press, Cambridge, UK Honerkamp J. 1994, Stοchastic Dynamical Systems: Concepts, Numerical Methods, Data Analysis, Wiley, New York Devaney R. 1992, A First Course in Chaotic Dynamical Systems. Theory and Experiment, Addison-Wesley, Reading, Massachusetts Antoniou I. 1991, "Information and Dynamical Systems", p221-236 in "Information Dynamics", ed. Atmanspacher H. , Scheingraber H., Plenum, New York

Αλλωστε o Kolmogorov επεσημανε οτι τα Χαοτικα Δυναμικα Συστηματα παραγουν χροσειρες τις οποιες δεν μπορουμε να διακρινουμε από χρονοσειρες που παραγονται από στοχαστικες διαδικασιες. Το εγγενες κοινο γνωρισμα αυτων των Συστηματων είναι ο ρυθμος παραγωγης Πληροφοριας. Sinai Ya. 1989, Kolmogorov’s Work on Ergodic Theory, Annals of Probability 17, 833-839 Arnold V. 2008, Orbits’ Statistics in Chaotic Dynamical Systems, Nonlinearity 21 (2008) T109–T112, doi:10.1088/0951-7715/21/7/T02 Εξ αλλου οι πλειστες Στοχαστικες Διαδικασιες προκυπτουν ως προβολη Χαοτικων Δυναμικων Συστηματων. Antoniou I., Christidis Th., Gustafson K. 2004, “Probability from Chaos”, Int. J. Quantum Chemistry 98,150-159 Antoniou I., Gustafson K. and Shkarin S.A. 2004, “Positive Dilations of piecewise monotonic Markov maps”, Inf. Dim. Anal. Quantum Probability 7, 261-269 Αυτη είναι μια απαντηση στο Αντιστροφο προβλημα της Στατιστικης Μηχανικης: Ποια Δυναμικα Συστηματα μπορουν να μοντελοποιησει μια δεδομενη Στοχαστικη Διαδικασια? Η μοντελοποιηση Φυσικων Διαδικασιων με Δυναμικα Συστηματα και Στοχαστικες Διαδικασιες αποτελει αντικειμενο της Στατιστικης Φυσικης Honerkamp J. 1998, Statistical Physics. An Advanced Approach with Applications, Springer, Berlin. Farquhar I. 1964, Ergodic Theory in Statistical Mechanics, Wiley, New York Jancel R. 1963, Foundations of Classical and Quantum Statistical Mechanics, Gauthier-Villars, Paris; Pergamon Press, Oxford, U.K. 1969

0.6 Προυποθεσεις

• Βασικες Γνωσεις: Αναλυση Γραμμικη Αλγεβρα Πιθανοτητες, Στατιστικη Digital Literacy = Ψηφιακη Ευχερεια (Υπολογιστες, Διαδικτυο) Αγγλικα

• Επαγγελματισμος Λογος Σαφης, Πληροτητα Επιχειρηματων, Αποφευγουμε Ρητορικες Kενολογιες

• Eφεση, Αγαπη Η ζωη δεν ειναι βαρετη αγγαρεια Knowing Ignorance is Strength. Ignoring Knowledge is Sickness [Lao Tsu 600BC, Tao Te Ching]

0.7 Εκπαιδευτικοι Στοχοι Δεν αποτελουν Εκπαιδευτικους Στοχους

H Aποστηθηση Γυζης

Το Κρυφο Σχολειο Γυζης

Κου-Κου Γυζης

Μαθηση Ως ΑΡΜΟΝΙΑ

Γυζης

Αντιληψη Εμπειρια, Ιστορια, Those who lack a sense of the Past are condemned to live in the narrow darkness of their own generation [Old Armenian Proverb]

Διαισθηση Φιλοσοφια, Τεχνη

Λογικης Δομης Αφαιρεση-Εμβαθυνση, Αποδειξεις, «Καθαρα» Μαθηματικα

Λυση Προβληματων, Εφαρμογες «Εφαρμοσμενα» Μαθηματικα

Νυξεις για οσους ενδιαφερονται να σχεδιασουν το επομενο βημα

0.8 Εξεταση Γραπτα ή με Ασκησεις-Εργασιες Οι Ασκησεις-Εργασιες - μπορει να συντασσονται στα Αγγλικα - διδονται/συζητωνται/αξιολογουνται εως την ημερα Εξετασης οπου εξεταζονται προφορικα - βαθμολογουνται αναλογα με την δυσκολια Συνολικος βαθμος: 5-7 Βασικη Κατανοηση 8-9 Εμπεδωση 10 Εμβαθυνση-Εφαρμογες Οι Ασκησεις-Εργασιες παραδιδονται σε ψηφιακη μορφη (word, pdf, ppt) εντος Φακελλου εως την ημερα Εξετασης Ο Φακελος μπορει να περιεχει Δημοσιευσεις, Προγραμματα που χρησιμοποιηθηκαν (εγραφησαν η αντιγραφησαν)

Παραδειγμα Φακελου

Τροπος Συνταξης Ασκησεων-Εργασιων

ΕΠΩΝΥΜΟ ΟΝΟΜΑ ΑΡΙΘΜΟΣ ΜΗΤΡΩΟΥ Ημερομηνια ----------------------------------------------------------------------------- ΕΡΓΑΣΙΑ στο Μαθημα ΘΕΩΡΙΑ ΠΛΗΡΟΦΟΡΙΑΣ και ΧΑΟΣ 2019-2020 ΘΕΜΑ: Το Θεωρημα Liouville ----------------------------------------------------------------------------- ΠΕΡΙΛΗΨΗ: 4-8 γραμμες ΠΕΡΙΕΧΟΜΕΝΑ: εάν κρινεται χρησιμο (μεγαλες Εργασιες) ΕΙΣΑΓΩΓΗ εάν κρινεται χρησιμο (μεγαλες Εργασιες) ΟΡΟΙ-ΕΝΝΟΙΕΣ: οριζονται με σαφηνεια και ακριβεια ειτε με παραπομπη στην βιβλιογραφια ΠΡΟΤΑΣΕΙΣ,ΘΕΩΡΗΜΑΤΑ: διατυπωνονται με σαφηνεια και ακριβεια ειτε με παραπομπη στην βιβλιογραφια

ΑΠΟΔΕΙΞΕΙΣ: πληρεις , ότι αναφερεται τεκμηριωνεται λεπτομερως αποφευγουμε εκφρασεις "ευκολα φαινεται ότι…" . Η τεκμηριωση μπορει να γινεται με συντομη επεξηγηση και αναφορα στην βιβλιογραφια , πχ. Για την κατασκευη των ιδιοσυναρτησεων παραπεμπουμε στην εργασια Antoniou et al (2000), Θ. 12.1, σ. 37. Στα πλαισια της εργασιας χρησιμοποιουμε την αποδειξη του Arnold (1978), Θ. 12.1, σ. 37. ΣΥΜΠΕΡΑΣΜΑΤΑ, ΠΡΟΟΠΤΙΚΕΣ: εάν κρινεται χρησιμο

ANAΦΟΡΕΣ- ΒΙΒΛΙΟΓΡΑΦΙΑ: Ακολουθωντας την σειρα εμφανισης στο κειμενο [1] Arnold V.I., Ordinary Differential Equations, MIT Press, Cambridge, MA (1978). [2] Yosida K., Lectures on Differential and Integral Equations, Interscience, New York (1960); reprint Dover, New York (1991). [3] Antoniou I.,Shkarin S., Analyticity of Smooth Eigenfunctions and Spectral Analysis of the Gauss Map, J. Stat. Phys. 111, 355-369 (2003). [4] Antoniou I., Shkarin S., Spectral Analysis of Operators of Chaos, Proc. 9th Math. Αnalysis Conference, Crete (2003).

[5] http…Chaos… / …Prigogine, Laws of Chaos (2006-12-13) Αλφαβητικα Arnold V.I. 1978, Ordinary Differential Equations, MIT Press, Cambridge, MA Antoniou I.,Shkarin S. 2003a, Analyticity of Smooth Eigenfunctions and Spectral Analysis of the Gauss Map, J. Stat. Phys. 111, 355-369 Antoniou I., Shkarin S. 2003b, Spectral Analysis of Operators of Chaos, Proc. 9th Math. Αnalysis Conference, Crete.

Prigogine 2006-12-13, Laws of Chaos, http…Chaos… /… Yosida K. 1960, Lectures on Differential Equations, Interscience, New York; reprint Dover, New York Εαν η Εργασια δεν εχει δημοσιευτει, τοτε Προστιθεται κατα περιπτωση [submitted] [accepted] [in press]