Обробка великих даних

Мета вивчення дисципліни: формування знань і практичних навичок щодо методів, технологій та інструментів обробки великих даних для застосування у системному аналізі, прогнозуванні та прийнятті управлінських рішень.
Практичне значення та використання отриманих знань: знання, отримані під час вивчення дисципліни, забезпечують розуміння принципів збору, зберігання, обробки та аналізу великих обсягів різнорідної інформації. Опанування методів обробки великих даних дозволяє студентам ефективно працювати з масивами структурованих і неструктурованих даних, виконувати попередню підготовку, очищення, трансформацію та інтеграцію даних, а також застосовувати інструменти масштабованих обчислень для їх аналізу та інтерпретації результатів.

Тематика та види навчальних занять

Для денної форми здобуття освіти

Лекційні заняття
Лекція 1. “Вступ до обробки великих даних”.
Лекція 2. “Джерела, типи та життєвий цикл великих даних”.
Лекція 3. “Архітектури систем Big Data”.
Лекція 4. “Технології зберігання даних”.
Лекція 5. “Платформа Hadoop і розподілена обробка даних”.
Лекція 6. “Платформа Apache Spark: аналіз даних у пам’яті”.
Лекція 7. “Потокова обробка даних в реальному часі (Stream Processing)”.
Лекція 8. “Конвеєри обробки даних та їх автоматизація”.
Лекція 9. “Інтеграція Big Data із системами штучного інтелекту”.
Лекція 10. “Безпека, якість та управління даними”.
Лекція 11. “Сучасні напрями розвитку технологій оброблення великих даних”.

Практичні заняття
Практичне заняття №1. “Ознайомлення з інструментами обробки великих даних”.
Мета заняття: ознайомлення зі складовими середовища Hadoop, Spark; огляд структури даних, файлових систем та середовищ віртуалізації або хмарних платформ; приклади простих запитів та завдань на аналіз даних.
Практичне заняття №2. “Робота з великими наборами даних”.
Мета заняття: навчитися збирати, очищати та структурувати великі набори даних для подальшої обробки.
Практичне заняття №3. “Використання розподіленого середовища Hadoop”.
Мета заняття: засвоїти принципи роботи розподіленого сховища даних і виконання завдань у системі Hadoop.
Практичне заняття № 4. “Обробка даних за допомогою Apache Spark”.
Мета заняття: навчитися виконувати паралельну обробку великих наборів даних у середовищі Spark.
Практичне заняття № 5. “Побудова конвеєра обробки даних”.
Мета заняття: зрозуміти принципи автоматизації процесів оброблення даних і побудови послідовних етапів (pipeline).
Практичне заняття № 6. “Аналіз і оцінювання результатів обробки даних”.
Мета заняття: навчитися інтерпретувати результати роботи систем оброблення великих даних і оцінювати їх якість.

Консультації здійснюються впродовж семестру згідно встановленого розкладу.

Індивідуальна робота

Відсутня за планом.

 Форми контрольних заходів та оцінювання результатів навчання

Для денної форми здобуття освіти

Поточний контроль полягає у виконанні
1) 6-ми індивідуальних поточних завдань. Індивідуальні поточні завдання виконуються письмово і полягають в виконанні типових дій відповідно до мети та завдань практичних занять. Бездоганне виконання індивідуальних поточних завдань №1–4 оцінюється по 8 балів; № 5-6 оцінюється у 9 балів.
2) одної модульної контрольної роботи. Модульна контрольна робота складається з теоретичної частини (у формі тестових запитань). Бездоганне виконання кожної модульної контрольної роботи становить 50 балів. 
Підсумковий контроль – залік. Мінімальна оцінка, яка дозволяє отримати «зараховано» - 60 балів. Максимальна оцінка, яку може отримати студент – 100 балів.

Політика освітнього процесу та умови допуску до підсумкового контролю
Активна участь в практичних заняттях, дотримання графіків здачі контрольних та індивідуальних завдань, самостійна робота здобувача при підготовці до всіх видів аудиторних занять, присутність на консультаціях. Здобувачі зобов’язані дотримуватись принципів академічної доброчесності при виконанні модульних контрольних робіт, поточних контрольних та індивідуальних завдань, складання заліку/екзамену.
Робота, яка виконана після встановлених викладачем термінів, не приймається.
Відсутність здобувача на контрольній роботі відповідає оцінці «0».
Під час всіх видів аудиторних занять здійснювати телефонні дзвінки забороняється.
Заборонено використання будь-яких підручників, посібників, конспектів лекцій, шпаргалок під час проходження модульних та підсумкового контролів.