Методи та інформаційни технології обробки великих даних

Метою вивчення дисципліни є формування у здобувачів теоретичних знань та практичних навичок з сучасних методів та інформаційних технологій обробки великих даних різного рівня структурованості.
Практичне значення та використання отриманих знань: навички практичного застосування існуючих технологій обробки великих даних, можливостей та переваг моделі MapReduce, файлової системи HDFS, використання використання мови програмування R для обробки великих даних та розвиток навичок застосування програмних засобів візуального аналізу великих даних.
Тематика та види навчальних занять

Для денної форми здобуття освіти

Лекційні заняття
Лекція 1. Основні визначення, терміни, завдання аналізу великих даних
Лекція 2. Поняття і життєвий цикл метаданих.
Лекція 3. Огляд принципів збереження та обробки великих даних
Лекція 4. Характеристики великих даних
Лекція 5. Стек роботи з великими даними
Лекція 6. Огляд сучасних популярних програмних засобів аналізу даних: Statistica, SPSS, R-Studio і інші; їх переваги та недоліки
Лекція 7. Пошук джерел інформації в мережі Інтернет: відкриті і закриті джерела даних
Лекція 8. Збереження та обробка даних у табличних редакторах
Лекція 9. Системи забезпечення керуванням обробки потоків, зберігання великих даних
Лекція 10. Засоби та технології обробки даних в режимі реального часу
Лекція 11. Основні поняття мови статистичної обробки даних R.
Лекція 12. Використання виведення в якості введення - повторне використання результатів.
Лекція 13. Принципи створення і обробки наборів даних.
Лекція 14. Можливості введення та імпорту даних.
Лекція 15. Визначення та основні частини розподіленої файлової системи HDFS. Принципи Переваги та особливості використання платформи Hadoop.

Лабораторні заняття
Лабораторне заняття №1. Робота з Big Data у HDFS.
Мета заняття – ознаймомлення з теоретичними положеннями на набуття практичних навичок з використання HDFS для роботи з великими даними.
Лабораторне заняття №2. Робота з Apache Spark та модель Map Reduce.
Мета заняття – ознайомлення з теоретичними положеннями на набуття практичних навичок з використання Apache Spark та моделі Map Reduce при роботі з великими даними.
Лабораторне заняття №3. Застосування Apache Spark для вирішення завдань ETL.
Мета заняття – ознайомлення з теоретичними положеннями на набуття практичних навичок з використання Apache Spark для вирішення завдань ETL.
Лабораторне заняття №4. Агрегація великих даних на базі Hive.
Мета заняття – ознайомлення з теоретичними положеннями на набуття практичних навичок з використання Apache Hive для агрегації та обробки великих даних.
Лабораторне заняття №5. Особливості керування кластером обчислювальних вузлів з використанням Apache ZooKeeper.
Мета заняття – ознайомлення з теоретичними положеннями на набуття практичних навичок з використання Apache ZooKeeper для керування обчислювальними кластерами при обробці великих даних.
Лабораторне заняття №6. Основні аспекти візуального аналізу великих даних. Частина 1
Мета заняття – ознайомлення з теоретичними положеннями на набуття практичних навичок з використання технологій побудови візуалізацій для аналізу великих обсягів даних.
Лабораторне заняття №7. Основні аспекти візуального аналізу великих даних. Частина 2
Мета заняття – ознайомлення з теоретичними положеннями на набуття практичних навичок з використання засобів побудови візуалізацій для аналізу великих обсягів даних.

Консультації здійснюються впродовж семестру згідно встановленого розкладу.
Індивідуальна робота

Для денної форми здобуття освіти

Курсова робота

Мета курсової роботи – набуття загальних та спеціальних компетентностей майбутніх магістрів, поглиблення теоретичних знань та практичних навичок використання технологій обробки великих обсягів даних для різних науково-практичних завдань з елементами аналізу даних.
Здобувач отримує завдання на першому тижні першого семестру.
Пояснювальна записка містить 30-40 сторінок Кількість розділів – 3.
Змістовна послідовність виконання роботи.
1. Аналіз моделей розподілених обчислень та обробки великих даних.
2. Огляд принципів побудови та архітектурних рішень, що використані в рамках сучасних програмних систем обробки та аналізу великих даних.
3. Опис алгоритмів, моделей та технічних технологій обробки великих даних .
4. Розробка структур даних, основних сутностей та визначення зв’язків між ними.
5. Розгортання робочого оточення для обробки даних,
6. Конфігурація та налаштування серверних компонентів для обчислювальних операцій.
7. Опис процесу використання програмного застосування та написання програмного коду реалізації основної логіки програми.
Захист курсової роботи – протягом останнього навчального тижня семестру.

Форми контрольних заходів та оцінювання результатів навчання

Для денної форми здобуття освіти
Поточний контроль полягає у виконанні
1) 7-ми індивідуальних поточних завдань. Індивідуальні поточні завдання виконуються на компʼютері відповідно до мети та завдань лабораторних занять. Бездоганне виконання індивідуальних поточних завдань №1-№6 оцінюється у 7 бали; індивідуального поточного завдання №7 – 8 балів.
2) двох модульних контрольних робіт. Модульні контрольні роботи складаються з теоретичної і практичної частин та проводяться у письмовій формі. Бездоганне виконання кожної модульної контрольної роботи становить 25 балів.
Підсумковий контроль – іспит в усній формі. Максимальна оцінка, яку може отримати студент – 100 балів.