Теорія інформації і кодування

Анотація навчальної дисципліни
Мета дисципліни:
формування комплексу знань в галузі теорії інформації, вмінь з теорії кодування інформації та аналізу інформаційних систем з визначенням їх інформаційних характеристик, а також здобуття навичок з вирішення практичних задач вимірювання та кодування інформації.
Завдання дисципліни:
ознайомитись з основними поняттями та визначеннями у галузі теорії інформації, основами інформаційних процесів;
оволодіти загальними принципами передачі, перетворення та зберігання інформації;
вивчити особливості методів структурного вимірювання інформації для вирішення практичних задач;
вивчити методи статистичного вимірювання інформації з урахуванням ентропії складових дискретного каналу зв'язку;
сформувати уявлення про способи  опису каналу зв'язку з використанням канальних матриць з боку джерела, приймача і матриць об'єднання;
ознайомитись зі способами представлення кодів та принципами оптимального кодування;
оволодіти алгоритмами кодування для створення ефективних та захищених кодів

 Тематика та види навчальних занять

Для денної форми здобуття освіти

Лекційні заняття
Лекція 1. Предмет та завдання теорії інформації і кодування. Основні терміни та визначення. Методологічна схема формування і матеріалізації інформації.
Лекція 2. Види та загальні властивості інформації. Способи класифікації інформації за різними критеріями. Основи інформаційних процесів. Фази обертання інформації.
Лекція 3. Види та основні характеристики сигналів. Вимірювання інформації. Структурні міри інформації: геометрична та комбінаторна.
Лекція 4. Адитивна міра інформації: визначення, загальні питання. Обчислення кількості інформації за мірою Хартлі. Приклади конструкцій систем з урахуванням довжини та глибини інформаційного повідомлення. Обчислення інформації при наявності декількох незалежних джерел.
Лекція 5. Ентропія як статистична міра інформації: визначення, обчислення, одиниці виміру. Властивості ентропії.
Лекція 6. Ентропія ансамблю подій. Повна та часткова умовна ентропія: визначення, обчислення, практичні приклади. 
Лекція 7. Канальна матриця. Властивості канальних матриць. Інформаційні характеристики каналу зв'язку.
Лекція 8. Ентропія та інформація. Кількість інформації. Інформаційні властивості.
Лекція 9. Квантування інформації. Види сигналів. Вибір частоти відліків при дискретизації, теорема Котельникова. Квантування за рівнем. 
Лекція 10. Коди, подання кодів, поняття про кодування. Оптимальне кодування. Способи представлення кодів. Префіксні коди. Основні теореми кодування каналу без шуму.
Лекція 11. Оптимальні нерівномірні коди: метод Шеннона-Фано. Алгоритм побудови коду. Визначення середньої довжини коду, створеного за методом Шеннона-Фано.
Лекція 12. Оптимальні нерівномірні коди: метод Хаффмена. Алгоритм побудови коду. Визначення середньої довжини коду, створеного за методом Хаффмена.
Лекція 13. Завадостійке кодування. Коригувальні коди. Лінійні групові коди. Код Хеммінга.
Лекція 14. Групові коди. Використання матриць при роботі із груповими кодами. Утворююча матриця, інформаційна і перевірочна матриці. Метод кодування за допомогою утворюючих матриць. Корекція помилок.
Лекція 15. Циклічні коди. Коди, що виправляють одиночну помилку. Методи побудови циклічних кодів. Виявлення і корекція помилок. 

Практичні заняття
Практичне заняття 1. Освоєння основних термінів та визначень та їх взаємні зв’язки. Фази обертання інформації. Види та структура інформації.
Мета заняття: засвоїти основні терміни та визначення теорії інформації, встановити їхні взаємозв’язки, дослідити концепцію фаз обертання інформації, а також проаналізувати класифікацію видів і структури інформації, що сприятиме формуванню системного розуміння інформаційних процесів та їхньої ролі в сучасних інформаційних технологіях.
Практичне заняття 2. Обчислення геометричної міри інформації. Визначення кількості інформації за комбінаторною мірою.
Мета заняття: освоїти методи обчислення геометричної міри інформації, що базується на просторовому уявленні інформаційних об'єктів, навчитися визначати кількість інформації за комбінаторною мірою шляхом аналізу можливих станів системи, а також дослідити практичне застосування цих підходів для оцінки інформаційної ємності та складності даних у різних сферах інженерії програмного забезпечення.
Практичне заняття 3. Обчислення ентропії події у системі. Аналіз властивостей ентропії події на прикладах ймовірнісних характеристик медичних досліджень.
Мета заняття: засвоїти методи обчислення ентропії події в інформаційній системі, проаналізувати її властивості на основі ймовірнісних характеристик, а також навчитися застосовувати ентропійний підхід для оцінки невизначеності у медичних дослідженнях, що сприятиме розумінню інформаційної цінності даних у сфері діагностики та прогнозування.
Практичне заняття 4. Використання властивостей умовної ентропії для формування канальних матриць. Практичне використання канальних матриць для вирішення завдань.
Мета заняття: дослідити властивості умовної ентропії та їхнє застосування для побудови канальних матриць, навчитися використовувати канальні матриці для аналізу процесів передачі інформації, оцінки її спотворень і втрат, а також практично застосовувати ці методи для вирішення прикладних задач, що сприятиме глибшому розумінню механізмів кодування та оптимізації передачі даних у комунікаційних системах.
Практичне заняття 5. Створення на основі аналогового сигналу дискретно-безперервного та дискретного сигналів. 
Мета заняття: освоїти методи перетворення аналогового сигналу в дискретно-безперервний і дискретний сигнали, дослідити принципи квантування та дискретизації, а також навчитися аналізувати отримані сигнали для подальшого використання в цифрових системах обробки інформації, що є ключовим етапом у процесах кодування та передачі даних.
Практичне заняття 6. Практичне освоєння методу Шеннона-Фано відповідно до завдання.
Мета заняття: засвоїти алгоритм Шеннона-Фано для ефективного кодування інформації, навчитися будувати оптимальні префіксні коди відповідно до заданих імовірностей символів, проаналізувати рівень стиснення даних та оцінити ефективність цього методу в контексті зменшення надмірності інформації та оптимізації передачі даних у цифрових системах. 
Практичне заняття 7. Практичне освоєння створення коду Хеммінга відповідно до завдання.
Практичне освоєння побудови циклічного коду, здатного виправляти одиночну помилку.
Мета заняття: засвоїти методи побудови коду Хеммінга для виявлення та виправлення помилок, навчитися формувати кодові слова та перевірочні біти відповідно до заданих параметрів, а також освоїти побудову циклічного коду, здатного виправляти одиночну помилку, що забезпечить практичне розуміння механізмів захисту інформації від спотворень у цифрових комунікаційних системах.

Для заочної форми здобуття освіти

Лекційні заняття
Лекція 1. «Предмет та завдання теорії інформації і кодування. Основні терміни та визначення. Методологічна схема формування і матеріалізації інформації.».
Лекція 2. «Види та загальні властивості інформації. Способи класифікації інформації за різними критеріями. Основи інформаційних процесів. Фази обертання інформації».

Практичні заняття
Практичне заняття 1. «Освоєння основних термінів та визначень та їх взаємні зв’язки. Фази обертання інформації. Види та структура інформації».
Мета заняття: засвоїти основні терміни та визначення теорії інформації, встановити їхні взаємозв’язки, дослідити концепцію фаз обертання інформації, а також проаналізувати класифікацію видів і структури інформації, що сприятиме формуванню системного розуміння інформаційних процесів та їхньої ролі в сучасних інформаційних технологіях.

Консультації здійснюються впродовж семестру згідно встановленого розкладу.

Індивідуальна робота відсутня за планом.

Денна форма здобуття освіти
Самостійна робота складає 91 годину. Розподіл самостійної роботи за видами навчальних робіт:
1)    підготовка до лекційних занять – 30 годин;
–    підготовка до практичних занять – разом 14 годин;
2)    підготовка до заліку – 47 годин.

Для заочної форми здобуття освіти
Самостійна робота складає 129 годин. Розподіл самостійної роботи за видами навчальних робіт:
1)    підготовка до лекційних занять – 45 годин;
–    підготовка до практичних занять – 45 годин;
2)    підготовка до заліку – 39 годин.

 Форми контрольних заходів та оцінювання результатів навчання

Для денної форми здобуття освіти:
Оцінювання результатів навчання з дисципліни здійснюється за накопичувальною системою, яка дає можливість здобувачеві протягом семестру отримати максимально 100 балів.
Модуль 1
Оцінка за виконання практичних робіт (1 – 4) – максимально 25 балів за модуль.
Контроль кожного практичного заняття відбувається у вигляді тестування за кожною темою, яке здійснюється у системі дистанційного навчання.
ПР1=6 балів
ПР2=6 балів  
ПР3=6 балів
ПР4=7 балів
МКР1=25 балів (робота представлена у вигляді тестів – 25 питань). Тестування виконується у системі дистанційного навчання.

Модуль 2
Оцінка за виконання практичних робіт (5 – 7) – максимально 25 балів за модуль.
Контроль кожного практичного заняття відбувається у вигляді тестування за кожною темою, яке здійснюється у системі дистанційного навчання.
ПР5=8 балів
ПР6=8 балів  
ПР7=9 балів
МКР2=25 балів (робота представлена у вигляді тестів – 25 питань). Тестування виконується у системі дистанційного навчання.

Для заочної форми здобуття освіти 
оцінювання результатів навчання з дисципліни здійснюється за накопичувальною системою, яка дає можливість здобувачеві отримати максимально 100 балів. Студенти виконують практичні тести ПР1-ПР7 (50 балів) та одну контрольну роботу (50 балів), що дає можливість отримати сумарно 100 балів за дисципліну.
Нарахування балів за практичні тести:
ПР1=6балів; ПР2=6балів; ПР3=6балів; ПР4=7балів; ПР5=8 балів; ПР6=8балів; ПР7=9балів.

 Політика освітнього процесу та умови допуску до підсумкового контролю

Здобувач зобов’язаний своєчасно та якісно виконувати всі отримані завдання; за необхідністю з метою з’ясування всіх незрозумілих під час самостійної роботи питань, відвідувати консультації викладача. Дотримуватись принципів академічної доброчесності.
Робота, яка виконана після встановлених викладачем термінів, не приймається.

Відсутність здобувача на заліку або на контрольній роботі відповідає оцінці «0». 
Складання/перескладання заліків – за встановленим деканатом розкладом.
Під час лекції здійснювати телефонні дзвінки забороняється.

Заборонено використання будь-яких підручників, посібників, конспектів лекцій, шпаргалок під час проходження модульних контролів та заліку з дисципліни.

До заліку допускаються здобувачі вищої освіти, які виконали всі види навчальних елементів навчальної дисципліни на не менш, ніж на 60%.

Література

1.    Крісілов В.А. Теорія інформації та кодування: навч. посібник / В.А. Крісілов, Н.О. Комлева, О.С. Пригожев; Одеський нац. політехнічний ун-т. – О., 2013. 180 с.
2. Тулякова Н.О. Теорія інформації: Навчальний посібник. Суми: Вид-во СумДУ, 2008. 212 с. 2010. 248с.
3. Hamming R.W. Coding and information theory Second ed.Englewood Cliffs NJ: Prentice Hall, 1986. 260 p.
4. Mauro Barni, Benedetta Tondi Lecture notes on Information Theory and Coding. Siena: Universit` a degli Studi di Siena Facolt`a di Ingegneria, 2012. 156 p.
5. Shannon C.E. A Mathematical Theory of Communication. The Bell System Technical Journal.- 1948. July, October,Vol. 27.p. 379-423, 623-656.

 
Методична література
1.       Конспект лекцій з дисципліни «Теорія інформації і кодування» для студентів спеціальності 121 – «Інженерія програмного забезпечення» / Укл.: Комлева Н.О. – Одеса: ОНПУ, 2019. – 59 с.
2.       Методичні вказівки до практичних занять з дисципліни «Теорія інформації і кодування» для студентів спеціальності 121 – «Інженерія програмного забезпечення» / Укл.: Н.О. Комлева, О.М. Паулін, Ю.М. Нестеров.  – Одеса: ОНПУ, 2019. 36 с.
3.       Методичні вказівки до лабораторних робіт з дисципліни «Теорія інформації та кодування» для студентів спеціальності 6.050103 / Укл.: Н.О. Комлева, С.Л. Зіноватна. – Одеса: ОНПУ, 2011. 26 с.
4.       Методичні вказівки до розрахунково-графічної роботи з дисципліни «Теорія інформації і кодування» для студентів напряму 6.050103 Програмна інженерія / Укл.: Н.О. Комлева. – Одеса: ОНПУ, 2017. 17 с. 
 
 
Додаткова література
1.       Haslwanter, Thomas. Hands-on Signal Analysis with Python: An Introduction, 1st ed. Springer International Publishing, 2021, XII, 273. 139 p.
2.   N. Komleva, V. Liubchenko and S. Zinovatna. Evaluation of the Quality of Survey Data and its Visualization Using Dashboards, 2020 IEEE 15th International Conference on Computer Sciences and Information Technologies (CSIT), Zbarazh, Ukraine, 2020, pp. 234-237, doi: 10.1109/CSIT49958.2020.9321970. https://ieeexplore.ieee.org/document/9321970
3.       Krisilov, V. A., Komleva, N. O. Analysis and Evaluation of Competence of Information Sources in Problems of Intellectual Data Processing. Problemele Energeticii Regionale.  2019. Issue: 1-1. Special Issue: SI. Pp. 91-104.
4.   Крісілов В.А., Комлева Н.О., Бурдейний Є.І Програмна система аналізу якості джерел медичної статистичної інформації. –  Вчені записки ТНУ імені В.І. Вернадського. Серія: технічні науки. –  Київ, 2019. – Том 30 (69) № 5.  С. 109-115.
5.  Sundararajan, Dr. D. Digital Signal Processing: An Introduction, 1st ed. Springer International Publishing, 2021, XIII. 399 p.
6.  Signal and Information Processing, Networking and Computers. Proceedings of the 6th International Conference on Signal and Information Processing, Networking and Computers (ICSINC). Wang, Yue (et al.) (Eds.), 1st ed. Springer Singapore, 2020, XVIII. 923 p.
7.   Yang, Sung-Moon Michael. Modern Digital Radio Communication Signals and Systems, 2nd ed. Springer International Publishing, 2020, XIX. 749 p.