Course: Fundamentals of Information Theory

« Back
Course title Fundamentals of Information Theory
Course code KMA/ZTI
Organizational form of instruction Lecture + Tutorial
Level of course Bachelor
Year of study not specified
Semester Winter
Number of ECTS credits 6
Language of instruction Czech
Status of course unspecified
Form of instruction Face-to-face
Work placements This is not an internship
Recommended optional programme components None
Lecturer(s)
  • Marek Patrice, Ing. Ph.D.
Course content
Finite-state machine - basic concepts. Finite-state machine operations, non-deterministic finite-state machine. Entropy, relative entropy, mutual information. Typical sequences, experiment planning and evaluation, data compression. Error-correcting code, connection with questionnaire construction. Channel capacity, classification as a communication channel. Gambling and connection with information theory. Gambling and portfolio theory. Queuing theory - basic concepts. Queuing theory - basic models. Information theory and statistics. Maximum entropy principle and its use in estimation.

Learning activities and teaching methods
Textual studies, Lecture, Practicum
  • Preparation for an examination (30-60) - 60 hours per semester
  • Contact hours - 65 hours per semester
  • Preparation for formative assessments (2-20) - 20 hours per semester
  • Preparation for comprehensive test (10-40) - 20 hours per semester
prerequisite
Knowledge
formulovat a vysvětlit základy teorie pravděpodobnosti (v rozsahu předmětu KMA/PSA)
formulovat a vysvětlit principy testování statistických hypotéz (v rozsahu předmětu KMA/PSA)
formulovat a vysvětlit základní pojmy diferenciálního a integrálního počtu (v rozsahu předmětů KMA/M1 a KMA/M2)
formulovat a vysvětlit základní operace maticového počtu (v rozsahu předmětu KMA/LAA)
formulovat a vysvětlit základní pojmy z finanční matematiky, zejména v oblasti investičního rozhodování (v rozsahu předmětu KMA/FIPM)
Skills
řešit úlohy pomocí tabulkového procesoru, tj. použít kontingenční tabulky, vzorce, absolutní a relativní odkazy a případná rozšíření, jako např. řešitele v MS Excel
využít diferenciálního, integrálního a maticového počtu při řešení úloh
Competences
N/A
N/A
N/A
learning outcomes
Knowledge
popsat deterministické, nedeterministické a pravděpodobnostní automaty a jejich využití v oblasti systémů hromadné obsluhy
definovat pojem entropie a popsat její užití v oblasti kódování, kapacity kanálu, návrhu a vyhodnocování experimentů, klasifikace, teorie sázek a investování a statistice
popsat vybrané metody komprese dat a bezpečnostních kódů
Skills
použít teorii automatů pro vytvoření abstraktního modelu problému
aplikovat entropii pro vyhodnocování a plánování experimentů
použít metody komprese dat a bezpečnostních kódů
aplikovat teorii informace v oblasti teorie sázek a portfolia
použít základní modely systémů hromadné obsluhy
využít teorii informace v oblasti statistiky
Competences
N/A
N/A
teaching methods
Knowledge
Lecture with visual aids
Interactive lecture
Individual study
Self-study of literature
Skills
Lecture with visual aids
Interactive lecture
Individual study
Self-study of literature
Competences
Lecture with visual aids
Interactive lecture
Individual study
Self-study of literature
assessment methods
Knowledge
Test
Combined exam
Skills
Test
Combined exam
Competences
Test
Combined exam
Recommended literature
  • Adámek. Stochastické procesy a teorie informace - úlohy.
  • Cover, T. M.; Thomas, Joy A. Elements of information theory. 2nd ed. Hoboken : Wiley-Interscience, 2006. ISBN 978-0-471-24195-9.
  • Reif. Metody matematické statistiky. ZČU Plzeň, 2000.
  • Vajda, Igor. Teória informácie a štatistického rozhodovania. 1. vyd. Bratislava : Alfa, 1982.


Study plans that include the course
Faculty Study plan (Version) Category of Branch/Specialization Recommended year of study Recommended semester