Алгоритми та глибинне навчання для машинного зору і обробки природної мови

Анотація навчальної дисципліни

Мета вивчення дисципліни: освоєння моделей, алгоритмів та методів глибинного навчання, що є в наш час найефективнішими, і розвиток навичок їх практичного застосування

Практичне значення та використання отриманих знань: ознайомлення з концепціями глибинного навчання, створення та використання різноманітних глибинних нейронних мереж для вирішення практичних завдань з аналізу зображень та обробки природної мови з метою розробки інтелектуальних програмних систем

Тематика та види навчальних занять
1    тиждень
Лекція 1. Вступ. Що таке машинне навчання взагалі та глибинне машинне навчання 
2    тиждень
Лекція 2. Глибинне навчання для машинного зору.  Глибинні згорткові нейронні мережі 
Лабораторне заняття 1. Навчання та оцінювання згорткової нейронної мережі для аналізу зображень
3    тиждень
Лекція 3. Перенос навчання (Transfer Learning). Тонка настройка попередньо навченої нейронної мережі (Fine Tuning)
4    тиждень
Лекція 4. Огляд типів згорткових нейронних мереж
Лабораторне заняття 2. Покращення якості згорткових нейронних мереж для аналізу зображень на базі переносу навчання та тонкої настройки
5    тиждень
Лекція 5. Доповнення даних для навчання нейронної мережі (Data Augmentation). Візуалізація ознак нейронної мережі 
6    тиждень
Лекція 6. Витяг ознак із попередньо навченої нейронної мережі
Лабораторне заняття 3. Візуалізація глибинних ознак згорткової нейронної мережі для аналізу зображень

7    тиждень
Лекція 7.  Ефективні алгоритми, складність алгоритмів. Динамічне програмування
8    тиждень
Лекція 8. Прості та приховані марковські мережі та їх застосування для задач обробки природної мови
Лабораторне заняття 4. Реалізація алгоритмів динамічного програмування для вирішення переборних задач
МКР1. 
9    тиждень
Лекція 9. Машинне навчання та глибинні нейронні мережі для задач обробки природної мови (огляд)
10    тиждень
Лекція 10. Представлення тексту у цифровому вигляді для обробки за допомогою нейронної мережі, embeddings та їх формування 
Лабораторне заняття 5. Розмітка частин мови (POS) за допомогою прихованої марковської моделі з використанням динамічного програмування
11    тиждень
Лекція 11.  Глибинні рекурентні нейронні мережі. LSTM і GRU 
12    тиждень
Лекція 12. Архітектура Seq2Seq. Механізм уваги
Лабораторне заняття 6. Використання, побудова та оцінювання нейроних мереж (трансформерів) для отримання відповідей на запитання відкритого типу (ODQA або Open-domain question answering)
13    тиждень
Лекція 13. Трансформери, Positional Encoding
14    тиждень
Лекція 14. Великі мовні генеративні моделі, що базуються на трансформерах
Лабораторне заняття 7. Генерація заголовків для новин на основі тонкого налаштування великих мовних моделей
15    тиждень
Лекція 15. Генеративні моделі в комп’ютерному зорі, автоенкодери та GAN 
МКР2. 

Оцінювання результатів навчання

Оцінювання результатів навчання з дисципліни здійснюється за накопичувальною системою, яка дає можливість здобувачеві протягом семестру отримати максимально 100 балів.
Модуль 1
Оцінка за виконання лабораторних робіт – максимально 20 балів за модуль.
Модульна контрольна робота – бездоганне виконання 30  балів (в кожному завданні модульної контрольної роботи наведено максимальну кількість балів за виконання завдання).
Модуль 2
Оцінка за виконання лабораторних робіт – максимально 20 балів за модуль.
Модульна контрольна робота – бездоганне виконання 30  балів (в кожному завданні модульної контрольної роботи наведено максимальну кількість балів за виконання завдання).
Підсумковим контролем з дисципліни є залік. Залік виставляється за підсумками модульних контрольних робіт та накопичувальної частини дисципліни

Посилання на рекомендовані джерела

Базова
1. Ludmila Kuncheva. Pattern Recognition and Neural Networks. 2019, ISBN 978-0-244-23252-8
2. Laurence Moroney. AI and Machine Learning for Coders,  October 2020, O'Reilly Media, Inc. 
ISBN: 9781492078197
3. Ruvinskaya V. M., Timkov Y. Y. Deep Learning Technology for Videoframe Processing in Face Segmentation on Mobile Devices. / Herald of Advanced Information Technology. 2021; Vol.4 No.2: 185–194. 

Додаткова
4. Guide to Competitive Programming: Learning and Improving Algorithms Through Contests (Undergraduate Topics in Computer Science), 1st ed. – Springer - 2017 - Edition by Antti Laaksonen
5. Syromiatnikov, M. V., & Ruvinskaya, V. M. (2024). UA-LLM: Advancing Context-Based Question Answering in Ukrainian through Large Language Models. Radio Electronics, Computer Science, Control, (1), 147 - 160

Методична
6. Методичні вказівки до лабораторних робіт з дисципліни “Штучний інтелект та методи машинного навчання” для студентів спеціальності 121 – Інженерія програмного  забезпечення /Укл.: В.М. Рувінська, Л.С .Жиро. – Одеса: НУОП, 2023. – с. 31– (ел. версія, узгоджено з НМВ №4094-РС-2023 від 8.11.2023).
7. Конспект лекцій з дисципліни «Штучний інтелект та методи машинного навчання» для студентів спеціальності 121 – Інженерія програмного забезпечення / Укл. В. М. Рувінська, – Одеса: НУОП, 2023. -  с.91 - ел. версія, узгоджено з НМВ №4107-РС-2023 від 20.11.2023)
8.  Методичні вказівки до лабораторних робіт з дисципліни “Алгоритми та глибинне навчання для машинного зору та обробки природної мови” для студентів спеціальності 121 – Інженерія програмного забезпечення  / Укл.: В.М. Рувінська, Л.С .Жиро. – Одеса: НУОП, 2024 
9.   Конспект лекцій з дисципліни Алгоритми та глибинне навчання для машинного зору та обробки природної мови” для студентів спеціальності 121 – Інженерія програмного  забезпечення  / Укл.: В.М. Рувінська.  – Одеса: НУОП, 2024