Аналіз великих даних

Анотація навчальної дисципліни

Мета дисципліни:

забезпечення формування комплексу знань, вмінь та розумінь, а також здобуття навичок з використання принципів організації й оперування великими даними із застосуванням сучасних інформаційних засобів і технологій для розв'язання  математичних, аналітичних та економічних задач.

Завдання дисципліни:

ознайомлення з методами аналізу та зберіганням великих обсягів даних, етапами життєвого циклу обробки великих даних, мови, найбільш пристосованої  для обробки та аналітики великих даних, способів організації зберігання і доступу до великих даних;

вміння виконувати елементи аналізу великих даних і інтерпретувати результати, розрізняти характеристики SQL і NoSQL БД, формулювати алгоритми в парадигмі MapReduce, вибирати відповідний інструмент аналізу великих даних або відповідну технологію зберігання великих даних, використовуючи фундаментальні і міждисциплінарні знання для успішного вирішення поставлених завдань.

Основні результати навчання

Аналізувати, цілеспрямовано шукати і вибирати необхідні для вирішення професійних завдань інформаційно-довідкові ресурси і знання з урахуванням сучасних досягнень науки і техніки.
    Знати і застосовувати на практиці фундаментальні концепції, парадигми і основні принципи функціонування мовних, інструментальних і обчислювальних засобів інженерії програмного забезпечення.
Знати і застосовувати методи розробки алгоритмів, конструювання програмного забезпечення та структур даних і знань.
             Мотивовано обирати мови програмування та технології розробки для  розв’язання завдань створення і супроводження програмного забезпечення.
Знати та вміти застосовувати інформаційні технології обробки, зберігання та передачі даних.

Форми організації освітнього процесу та види навчальних занять

Л – лекційні заняття; ЛЗ – лабораторні заняття; СРС – самостійна робота здобувача вищої освіти; МКР – модульна контрольна робота; К – консультації.

Тематика та види навчальних занять

1    тиждень
Лекція 1. “Бізнес-аналіз великих даних. Подібності та відмінності бізнес-аналітики та аналізу великих даних. Складнощі створення системи для бізнес-аналітики та аналізу великих даних.”
Лекція 2. “Архітектура і шаблони великих даних: як дізнатися, яке рішення для роботи з великими даними підходить вашій організації.”
Лабораторне заняття 1.” Вибір теми дослідження. Огляд Hadoop-інструментів на основі Linux та Windows.” СРС. К.

2    тиждень
Лекція 3. “Архітектура і шаблони великих даних: розуміння архітектурних шарів рішення для роботи з великими даними”.
Лекція 4. “Платформа Hadoop. Екосистема платформи Hadoop. Програмна модель Мap / Reduce.”
Лабораторне заняття 2. “Розгортання кластеру Hadoop. Створення кластеру Hadoop.  Виконання запитів до кластеру.”СРС. К.

3    тиждень
Лекція 5. “Hadoop Distributed File System (HDFS) – розподілена файлова система. Структура HDFS. Основні концепції HDFS. Компоненти HDFS. Файлові операції і реплікація.”
Лекція 6. “Введення в Yet Another Resource Negotiator (YARN) – нове покоління обчислювальної платформи Hadoop. Обмеження класичного MapReduce. Рішення проблеми масштабованості.” 
Лабораторне заняття 3. “Розгортання кластеру Hadoop. Підключення до засобів бізнес-аналітики. Запуск прикладів. ”СРС. К.

4    тиждень
Лекція 7. “Hadoop в хмарних середовищах. Хмарні рішення на базі сервісів. Хмарні рішення на базі віртуальних машин.” 
Лекція 8. “Розширення і скорочення кластерів Hadoop. Використання еластичних кластерів Hadoop. Розширення кластера Hadoop.”
Лабораторне заняття 4. “Розгортання кластеру Hadoop. Запуск власного завдання. Видалення кластеру.”СРС. К.

5    тиждень
Лекція 9. “Планування в Hadoop. Алгоритми реалізації планувальників, що підключаються до Hadoop.”
Лекція 10. “Розподілене сховище Google BigTable. Модель даних BigТable.” 
Лабораторне заняття 5. “Робота з базою даних HBase, встановлення та  налаштування.” СРС. К.

6    тиждень
Лекція 11. “Розподілене NewSQL-сховище Spanner. Масштабованість системи і несуперечливість даних в одному рішенні. Настінний годинник і майстри Армагеддона для забезпечення суворої несуперечності.”
Лекція 12. “Введення в потокову обробку великих даних. Обробка великих даних реального часу за допомогою Storm. Основні атрибути Storm. Модель Storm. Інші рішення з відкритим вихідним кодом для обробки великих даних.”
Лабораторне заняття 6. “Робота з NoSQL: види, особливості та застосування.”СРС. К.

7    тиждень
Лекція 13. “Spark – альтернатива для швидкого аналізу даних. Кластерна обчислювальна архітектура SparkТехнології BigSQL. ”
Лабораторне заняття 7. “Робота з системою обробки великих даних в режимі реального часу Storm.” СРС. К.

8    тиждень
Лекція 14. “Загальне уявлення про BigSQL. Робота з BigSQL. Створення таблиць і завантаження даних.Порівняльний огляд рішень для SQL-доступу до Hadoop. Великі дані і розширення сховища даних. Традиційні сховища даних.”
Лабораторне заняття 8. “Робота з масштабованою платформою аналізу даних Spark.”
Модульна контрольна робота 1. СРС. К.

9    тиждень
Лекція 15. “Великі дані і розширення сховища даних. Бізнес-вимоги, що сприяють зростанню попиту на платформе великих даних.” 
СРС. К.

Процедура оцінювання

Система оцінювання рівня навчальних досягнень ґрунтується на принципах ЄКТС та є накопичувальною. Здобувачі протягом семестру готуються до лекційних, та лабораторних занять, виконують самостійни роботи на протязі семестру та 1 модульну контрольну роботу.Для забезпечення оперативного контролю за успішністю та якістю рівня навчальних досягнень здобувачів вищої освіти дисципліна поділяється на один семестровий модуль.

Семестровий модуль № 1
Оцінка за виконання практичних робіт (1 – 4) – 20 балів. 
Оцінка за виконання практичних робіт (5 – 8) – 20 балів. 
МКР – 50 балів (8 тиждень). 
Оцінка за виконання самостійних робіт, протягом семестра  – 10 балів.

Максимальна оцінка, яку може отримати здобувач за всі виконані види робіт – 100 балів. 

Підсумковим контролем з дисципліни є усний екзамен. Екзаменаційний білет з дисципліни складається з двох частин: перевірки теоретичних знань у способі опитування та виконання практичних завдань. Мінімальна кількість балів. що зараховується як позитивний результат, дорівнює 60 (за 100-бальною системою). 

Екзаменаційний білет містить 3 питання рівної складності. Кожне питання містить в собі теоретичну (60% оцінки) та практичну складові (40% оцінки). За бездоганну відповідь на перше питання студент отримує 30 балів, на друге питання – 40 балів, третє питання – 30 балів. При цьому відповідь теоретичної складової вважається бездоганною, якщо студент повністю розкрив суть питання, послідовно і логічно його доповів, навів приклади, проілюстрував відповідь необхідною і достатньою кількістю записів; зробив посилання на відповідні літературні джерела. Кожне завдання практичної складової іспиту вважається виконаним бездоганно, якщо при його розв’язанні послідовно і логічно викладено рішення, зроблені всі необхідні графіки, представлені всі архітектурні рішення, моделі, лістинги коду. 
За виконання кожного питання практичної частини бали можуть бути зняті:
–    100% балів – за повну відсутність виконання питання практичної частини;
–    75% балів – рішення не отримане або не вірне, але при цьому хід розв’язання та усі використані засади обрані вірно;
–    50% балів – наведене правильне рішення, але при цьому є помилки у розв’язанні;
–    35% балів – наведене правильне рішення, але при цьому не повністю виконані обов’язкові пояснення;
–    25% балів – за неправильне тлумачення вихідних даних, що не порушило загалом правильного ходу розв’язання задачі;
–    15% балів – за допущену помилку, що не вплинула на відповідь та загальний хід розв’язання питання;
–    10% балів – за нераціональне розв’язання завдання при наявності докладних пояснень та вірного кінцевого результату.
Якщо студент відмовився відповідати, то він отримує незадовільну оцінку. 
Іспит враховується не складеним, якщо студент отримав незадовільну оцінку. 
Максимальна оцінка за правильні відповіді на всі питання екзаменаційного білету становить 100 балів.

Умови допуску до підсумкового контролю

До екзамену допускаються здобувачі вищої освіти, які виконали всі види навчальних елементів навчальної дисципліни на не менш, ніж на 60 %.

Екзамен відбувається за всіма тематичними (змістовними) модулями дисципліни.

Політика освітнього процесу

Здобувач зобов’язаний своєчасно та якісно виконувати всі отримані завдання; за необхідністю з метою з’ясування всіх не зрозумілих під час самостійної та індивідуальної роботи питань, відвідувати консультації викладача. Дотримуватись принципів академічної доброчесності.

Виконаний не свій варіант завдання здобувачем не оцінюється.

Робота, яка виконана після встановлених викладачем термінів, не приймається.

Відсутність здобувача на екзамені або на контрольній роботі відповідає оцінці «0». 
Складання/перескладання екзаменів – за встановленим деканатом розкладом.

Під час лекції здійснювати телефонні дзвінки забороняється.

Заборонено використання будь-яких підручників, посібників, конспектів лекцій, шпаргалок під час проходження модульних контролів та екзамену з дисципліни.

Документи (файли), що додаються: Робоча програма навчальної дисципліни.

Література

1.    Олещенко Л.М., Технології оброблення великих даних: навч. посіб. –  КПІ ім. Ігоря Сікорського. – К. : 2021. – 227 с.
2.    Zgurovsky M.Z., Zaychenko Y.P. Big Data: Conceptual Analysis and Applications. Springer, 2020. – 298 p.
3.    Feeney K. et al. Engineering Agile Big-Data Systems //Kevin Feeney, Jim Davies, James Welch, Sebastian Hellmann, Christian Dirschl, Andreas Koller, Pieter Francois, Arkadiusz Marciniak. — River Publishers, 2018. — 436 p.
4.    Raheem N. Big Data: A Tutorial-Based Approach. Taylor & Francis Group LLC, CRC Press, 2019. — 203 p

Методична література
1.    Тройніна, А.С. Конспект лекцій з дисципліни «Аналіз великих даних” для студентів  спеціальності 121 – «Інженерія програмного забезпечення» . – Одеса: ОНПУ, 2019. – 123 с. (КЛ11131)
2.    Тройніна, А.С. Методичні вказівки до лабораторних робіт з дисципліни «Аналіз великих даних» для студентів спеціальності 121 – Інженерія програмного забезпечення. – Одеса; ОНПУ, 2019. – 29 с. (МВ11132)

Додаткова література
1.    Hadoop [Електронний ресурс] − Режим доступа: www / URL: http://hadoop.apache.org – 01.01.2021 р. − Назва з екрану.
2.    Intern. Journal of Data Science and Analytics. Special issue on Data Science in Europe. 2018. Vol. 6, Issue 3. P. 163–269.
3.     IBM. Featured big data solutions [Електронний ресурс] − Режим доступа: www / URL: http://www-03.ibm.com/software/products/en/category/bigdata − 02.12.2021 р. − Назва з екрану.