Інтелектуальний аналіз даних

Мета вивчення дисципліни:забезпечення формування комплексу знань, умінь та розумінь, а також здобуття у майбутніх бакалаврів уявлення про процес вивчення систем обробки даних та принципів інтелектуального аналізу даних на основі методів та алгоритмів DataMining.
Практичне значення та використання отриманих знань:
- формування у студентів уяви про застосування технологій зберігання та організації даних;
- опанування методів та алгоритмів DataMining;
- вивчення процесів виявлення знань;
- знайомство з принципами побудови сховищ даних;
- вивчення способів візуального представлення даних.
Тематика та види навчальних занять
Для денної форми здобуття освіти
Лекційні заняття
Лекція 1. “«Вступ в інтелектуальний аналіз даних”.
Лекція 2. “DataMining – інтелектуальний аналіз даних: етапи, завдання, методи”.
Лекція3. “ Моделі, методита алгоритми інтелектуального аналізу даних ”.
Лекція 4. “Глибоке навчання (DeepLearning)”.
Лекція 5. “Обробка природної мови (NLP)”.
Лекція 6 “Аналіз зображень і відео (ComputerVision)”.
Лекція 7. “Методи генеративного навчання (GenerativeModels)
Лекція 8. “Аналіз даних з використанням методів на основі графів”.
Лекція 9. "Автоматизоване машинне навчання (AutoML)”.
Лекція 10. “ Етичні аспекти та безпека у інтелектуальному аналізі даних”.
Лекція 11. “Хмарні обчислення та інтелектуальний аналіз даних”.
Лекція 12. “Розподілене навчання і обробка даних”.
Лекція 13. “Розширений аналіз даних та візуалізація”.
Лекція 14. “Інтелектуальний аналіз даних у реальному часі.
Лекція 15. “Перспективи розвитку інтелектуального аналізу даних”.
Лабораторні заняття
Лабораторне заняття №1.” Навчання найпростішої нейронної мережі за алгоритмом зворотного поширення помилки.”
Мета заняття: придбати базові навички створення нейронних мереж і навчальної вибірки для неї, та навчити створену мережу. Дослідити вплив тривалості навчання на середньоквадратичну помилку мережі..
Лабораторне заняття №2. “Моделювання періодичної функції однієї змінної”
Мета заняття: навчити працювати з великими навчальними та тестовими вибірками, наприклад, в Python з бібліотеками TensorFlow або PyTorch, візуалізувати результати можна з допомогою Matplotlib. Набути навичок розв'язання задачі інтерполяції періодичної функції однієї змінної за допомогою нейронної мережі, навчитися перевіряти сформовану мережу на безлічі значень тестової вибірки.
Лабораторне заняття №3. “Прогнозування часових рядів з використанням нейронних мереж ”
Мета заняття: навчити студентів рішенню найпростішої задачі прогнозування часових рядів (ЧР) за допомогою нейронних мереж (НМ), ознайомлення з пакетом програмного емулятора NeuroShell2 (NS).
Лабораторне заняття №4. “Просунуті методи обробки природної мови (NLP).”
Мета заняття: засвоїти методи обробки тексту з використанням моделей BERT і GPT та навчитись налаштовувати ці моделі для вирішення конкретних прикладних завдань..
Лабораторне заняття №5. “ Методи попередньої обробки даних: виявлення та видалення аномалій, згладжування та фільтрація шумів із використанням спектральних методів ”
Мета заняття: засвоїти основні методи попередньої обробки даних, навчити виявляти та усувати аномалії, застосовувати методи згладжування і фільтрації шумів, зокрема спектральні методи, для підвищення точності та надійності подальшого аналізу даних..
Лабораторне заняття №6. “Кластеризація даних: алгоритми K-means та ієрархічна кластеризація.
Мета заняття: поглибити знання щодо теоретичних основ кластеризації даних та алгоритмами K-means і ієрархічної кластеризації. Навчити застосовувати ці методи для групування об’єктів за подібністю ознак і аналізувати результати кластеризації з використанням різних метрик якості.
Лабораторне заняття №7. “Кластеризація даних: метод DBSCAN та оцінювання якості кластеризації..”
Мета заняття: засвоєння принципів роботи алгоритму DBSCAN для виявлення кластерів довільної форми та відокремлення шумів у даних. Навчити студентів порівнювати результати кластеризації, виконані різними методами, та оцінювати їх якість за допомогою показників щільності й відстані між кластерами.
Для заочної форми здобуття освіти
Лекційні заняття
Лекція 1. “ Вступ в інтелектуальний аналіз даних. DataMining, моделі, методи та алгоритми інтелектуального аналізу даних ”.
Лекція 2. “ Обробка природної мови (NLP)”.
Лабораторні заняття
Лабораторне заняття №1. “ Моделювання періодичної функції однієї змінної”
Мета заняття: навчитися працювати з великими навчальними та тестовими вибірками, наприклад, в Python з бібліотеками TensorFlow або PyTorch, візуалізувати результати можно з допомогою Matplotlib. Набути навичок розв'язання задачі інтерполяції періодичної функції однієї змінної за допомогою нейронної мережі, навчитися перевіряти сформовану мережу на безлічі значень тестової вибірки.
Лабораторне заняття №2. “ Просунуті методи обробки природної мови (NLP).”
Мета заняття: засвоїти методи обробки тексту з використанням моделей BERT і GPT та навчитись налаштовувати ці моделі для вирішення конкретних прикладних завдань.
Консультації здійснюються впродовж семестру згідно встановленого розкладу.
Індивідуальна робота
Для здобувачів очної форми здобуття освіти індивідуальна робота відсутня за планом
Для заочної форми здобуття освіти
Завдання для виконання контрольної роботи здобувач отримує на установочній лекції. Робота містить 2 теоретичних питання, та 2 практичні завдання пов'язаних з розв'язанням задачі інтерполяції періодичної функції однієї змінної за допомогою нейронної мережі, перевірці сформованої мережі на безлічі значень тестової вибірки; та засвоєння методу обробки тексту з використанням моделей BERT і GPT та налаштовуванню цієї моделі для вирішення конкретних прикладних завдань.
Обсяг відповіді на кожне теоретичне питання не менше, ніж 2 сторінки машинописного тексту.
Практичні завдання присвячені моделюванню періодичної функції однієї змінної та просунутим методам обробки природної мови (NLP). Здобувачи мають налаштувати необхідні інструменти, виконати тести, організувати роботу з репозиторіями та зробити висновки щодо якості й стабільності програмного забезпечення згідно варіантів.
Здобувачам потрібно виконати практичні завдання, спрямовані на моделювання періодичної функції однієї змінної за допомогою нейронних мереж та опанування просунутих методів обробки природної мови (NLP). У ході роботи вони мають створити та навчити модель у Python із використанням бібліотек TensorFlow або PyTorch, провести візуалізацію результатів за допомогою Matplotlib, а також застосувати моделі BERT і GPT для аналізу та обробки текстових даних. Здобувачи повинні налаштувати моделі для розв’язання прикладних завдань, протестувати отримані результати й зробити висновки щодо ефективності застосованих методів машинного навчання.
Термін надання контрольної роботи на перевірку - не пізніше, ніж за місяць до початку сесії.
Форми контрольних заходів та оцінювання результатів навчання
Для денної форми здобуття освіти
Поточний контроль полягає у виконанні
1) 7-мі індивідуальних поточних завдань. Індивідуальні поточні завдання виконуються у вигляді налаштувань на різних платформах, програмного коду і все це описується в протоколі відповідно до мети та завдань лабораторних занять. Бездоганне виконання індивідуального поточного завдання №1- 4 оцінюється по 5 балів; індивідуального поточного завдання № 5 – 6– 7 балів та №7– 6 балів;
2) модульні контрольні роботи №1 та №2 складаються з теоретичної і практичної частин та проводиться частково у формі тестування, та відповідей на відкриті питання. Бездоганне виконання кожної модульної контрольної роботи становить 30 балів разом в сумі 60 балів.
Підсумковий контроль – екзамен. Екзамен у формі комп'ютерного тестування. Максимальна оцінка, яку може отримати здобувач – 100 балів.
Для заочної форми здобуття освіти
В якості індивідуальних завдань виконуються 2 лабораторні роботи та контрольна робота
Здобувачі виконують лабораторні роботи і отримають до 50 балів. Бездоганне виконання контрольної роботи оцінюється у 50 балів.
Підсумковий контроль – екзамен. Екзамен у формі комп'ютерного тестування. Максимальна оцінка, яку може отримати здобувач – 100 балів.