Методи аналізу і обробки великих обсягів даних

ID: 6952
Elective discipline
Навчальна дисципліна професійної підготовки
Edition: 
2020.
Number of ECTS credits: 
4.50.
Final form of control: 
Test.
Teacher: 
к.т.н., доц. Рудніченко М. Д.
Number of classroom classes: 
16 годин лекційних занять, 44 годин лабораторних занять..

Анотація навчальної дисципліни

Мета дисципліни:

формування у здобувачів вищої освіти систематичних знань і навичок в області аналізу та обробки великих обсягів даних.

Завдання дисципліни:
  • оволодіти технологіями обробки великих даних;
  • оволодіти основами MapReduce і технологією Apache Hadoop;
  • засвоїти  способи добування інформації та її властивостей за допомогою методів аналізу та обробки даних;
  • розвинути навички збору специфічної інформації з різнорідних джерел даних.

 

Програмні компетентності

Здатність до пошуку, оброблення та узагальнення інформації з різних джерел.

Здатність  аналізувати  об’єкт проектування або функціонування та його предметну область.

Здатність використовувати сучасні ІСТ (виробничі, підтримки прийняття рішень, інтелектуального аналізу даних та інші), методики й   техніки    кібербезпеки        під час виконання функціональних завдань та обов’язків.

 

Програмні результати навчання

Застосовувати правила оформлення проектних матеріалів ІСТ, знати склад та послідовність виконання проектних робіт з урахуванням вимог відповідних нормативно-правових документів для запровадження у професійній діяльності.

Проводити системний аналіз об’єктів проектування та обґрунтовувати вибір структури, алгоритмів та способів передачі інформації в ІСТ. 

Демонструвати знання сучасного рівня технологій інформаційних систем, практичні навички програмування та використання прикладних і спеціалізованих комп’ютерних систем та середовищ з метою їх запровадження у професійній діяльності.

 

Форми організації освітнього процесу та види навчальних занять

  • Л – лекційні заняття;
  • ЛЗ – лабораторні заняття;
  • IP – самостійна робота здобувача вищої освіти;
  • ТКО – поточні контрольні опитування;
  • МКР – модульна контрольна робота;
  • К – консультації.

 

Тематика та види навчальних занять

  • 1 тиждень
    • Л1. Ведення в аналіз великих даних [1, c.4-8].
    • ЛЗ1. Дослідження можливостей системи Power BI Desktop для обробки даних. Частина 1
    • СРС. К.
  • 2 тиждень
    • ЛЗ2. Дослідження можливостей системи Power BI Desktop для обробки даних. Частина 2
    • ЛЗ3. Специфіка роботи з джерелами даних в Power BI Desktop. Частина 1
    • СРС. К.
  • 3 тиждень
    • Л2. Огляд сучасних джерел інформації [1, c.9-11].
    • ЛЗ4. Специфіка роботи з джерелами даних в Power BI Desktop. Частина 2
    • СРС. К.
  • 4 тиждень
    • ЛЗ5. Використання розподіленої файлової системи Hadoop. Частина 1
    • ЛЗ6. Використання розподіленої файлової системи Hadoop. Частина 2
    • ПКО1
    • СРС. К.
  • 5 тиждень
    • Л3. Технології зберігання великих даних [1, c.12-14].
    • ЛЗ7. Використання розподіленої файлової системи Hadoop. Частина 3
    • СРС. К.
  • 6 тиждень
    • ЛЗ8. Дослідження можливостей використання ієрархічного кластерного аналізу великих обсягів даних. Частина 1.
    • ЛЗ9. Дослідження можливостей використання ієрархічного кластерного аналізу великих обсягів даних. Частина 2
    • СРС. К.
  • 7 тиждень
    • Л4. Технології обробки великих даних [1, c.14-16].
    • ЛЗ10. Дослідження можливостей використання ієрархічного кластерного аналізу великих обсягів даних. Частина 3
    • ТКО2
    • СРС. К.
  • 8 тиждень
    • ЛЗ11. Дослідження можливостей використання неієрархічного кластерного аналізу великих обсягів даних. Частина 1
    • ЛЗ12. Дослідження можливостей використання неієрархічного кластерного аналізу великих обсягів даних. Частина 2
    • МКР1. СРС. К.
  • 9 тиждень
    • Л5. Статистичні методи аналізу даних [1, c.17-24].
    • ЛЗ13. Дослідження можливостей використання неієрархічного кластерного аналізу великих обсягів даних. Частина 3
    • СРС. К.
  • 10 тиждень
    • ЛЗ14. Практичне використання системи Power BI для візуалізації даних. Частина 1
    • ЛЗ15. Практичне використання системи Power BI для візуалізації даних. Частина 2
    • СРС. К.
  • 11 тиждень
    • Л6. Сучасні програмні засоби аналізу великих обсягів інформації [1, c.25-28].
    • ЛЗ16. Практичне використання системи Power BI для візуалізації даних. Частина 3
    • ПКО3
    • СРС. К.
  • 12 тиждень
    • ЛЗ17. Установка програмного оточення віртуалізації операційної системи. Частина 1
    • ЛЗ18. Установка програмного оточення віртуалізації операційної системи. Частина 2
    • СРС. К.
  • 13 тиждень
    • Л7. Збір і зберігання великих даних [1, c.29-31].
    • ЛЗ19. Установка програмного оточення віртуалізації операційної системи. Частина 3
    • СРС. К.
  • 14 тиждень
    • ЛЗ20. Установка і розгортання операційної системи Linux засобами віртуального оточення. Частина 1
    • ЛЗ21. Установка і розгортання операційної системи Linux засобами віртуального оточення. Частина 2
    • ПКО4
    • СРС. К.
  • 15 тиждень
    • Л8. Алгоритми кластерного аналізу великих даних [1, c.32-45].
    • ЛЗ22. Установка і розгортання операційної системи Linux засобами віртуального оточення. Частина 3
    • МКР2. СРС. К.

 

Індивідуальна робота

Не передбачено

 

Самостійна робота

Самостійна робота складає 75 годин. Розподіл самостійної роботи за видами навчальних робіт:

  • 1) підготовка до лекційних занять – 30 годин;
  • 2) підготовка до лабораторних занять – 45 годин.

 

Процедура оцінювання

Система оцінювання рівня навчальних досягнень ґрунтується на принципах ЄКТС та є накопичувальною. Дисципліна поділяється на два семестрові модулі. Здобувачі протягом семестру готуються до лекційних та лабораторних занять, виконують 2 модульні контрольні роботи.

Модульні контрольні роботи № 1 та № 2 виконуються у письмовій формі. Модульна робота складається з теоретичної частини (2 запитання) та практичної частини (1 задача). Відповідь на кожне теоретичне питання оцінюється максимум 10 балами. Правильне розв’язання задачі оцінюється в 10 балів.

Кожний модуль оцінюється у максимально можливі 50 балів:

Семестровий модуль № 1

ТКО1 та ТКО2 – на базі отриманих результатів по відповідних лабораторних роботах, оцінка за кожне 5 балів. Термін проведення 3 та 7 тижні.
МКР1. Модульна контрольна робота – 30 балів (8 тиждень). Перескладання можливе протягом 9–11 тижнів за розкладом консультацій.

Семестровий модуль № 2

ТКО3 та ТКО4 – на базі отриманих результатів по відповідних лабораторних роботах, оцінка за кожне 5 балів. Термін проведення 11 та 14 тижні.
МКР2. Модульна контрольна робота – 30 балів (15 тиждень).

Максимальна оцінка за повний обсяг виконаних навчальних елементів дисципліни – 100 балів.

 

Умови допуску до підсумкового контролю

Підсумковим контролем з дисципліни є залік, засвоєння навчального матеріалу з дисципліни оцінюється на підставі результатів поточного та рубіжного модульного контролю. Залік отримують здобувачі вищої освіти, які виконали всі види навчальних елементів навчальної дисципліни не менш, ніж на 60 %.

 

Політика освітнього процесу

Здобувач зобов’язаний своєчасно та якісно виконувати всі отримані завдання; за необхідністю з метою з’ясування всіх не зрозумілих під час самостійної та індивідуальної роботи питань, відвідувати консультації викладача. Дотримуватись принципів академічної доброчесності. 

Виконаний не свій варіант завдання здобувачем не оцінюється.

Робота, яка виконана після встановлених викладачем термінів, не приймається.

Відсутність здобувача на екзамені або на контрольній роботі відповідає оцінці «0».

Складання/перескладання екзаменів – за встановленим деканатом розкладом.

Під час лекції здійснювати телефонні дзвінки забороняється.

 

Літературні джерела:

  1. Рудніченко М.Д. Навчальний посібник з дисципліни "Методи аналізу і обробки великих обсягів даних" для студентів спеціальності - 126 Інформаційні системи і технології / Упоряд.: Н.Д. Рудніченко, Н.О. Шибаєва. - Одеса: ОНПУ, 2020. - 46 с (Електронна версія), Реєстраційний номер №7562-РС-2020(НП11519)
  2. Рудніченко М.Д. Методичні вказівки до лабораторних робіт з дисципліни "Методи аналізу і обробки великих обсягів даних" для студентів спеціальності - 126 Інформаційні системи та технології / Укл .: М.Д. Рудніченко, Н.О. Шибаєва. - Одеса: ОНПУ, 2020. - 82 с (Електронна версія), Реєстраційний номер №7553-РС-2020(МВ11515) 
  3. Рудніченко М.Д. Методичні вказівки до розрахунково-графічної роботи з дисципліни ”Методи аналізу і обробки великих обсягів даних” для студентів  спеціальності - 126 Інформаційні системи та технології / Укл.: М.Д. Рудніченко, Н.В. Бут. – Одеса: ОНПУ, 2020. – 10 с. (Електронна версія), Реєстраційний номер №7535-РС-2020(МВ11514)
  4. Анналінн І. Теоретичний мінімум по Big Data. Все що потрібно знати про великі даних / І. АннаЛінн, С. Кеннет. - СПб .: Пітер, 2019. - 208 с.
  5. Благірев А. Big data простою мовою / А. Благірев, Н.Хапаева. - М .: АСТ, 2019. - 256 с.
  6. Кабанов В.Ф. Основні принципи обробки даних. Сучасний аспект / В.Ф. Кабанов, А.В. Бурмістров. - Саратов: СГУ імені Н.Г. Чернишевського, 2018. - 49 с.
  7. Радченко І.О. Технології та інфраструктура Big Data / І.А. Радченко, І. М. Миколаїв. - СПб .: Університет ИТМО, 2018. - 52 с.
  8. Сенько А. Робота з Big Data в хмарах. Обробка і зберігання даних з прикладами з Microsoft Azure / А. Сенько. - СПб .: Пітер, 2019. - 448 с.