Методи аналізу і обробки великих обсягів даних

ID: 6713
Вибіркова дисципліна
Навчальна дисципліна професійної підготовки
Рік впровадження: 
2017.
Кількість кредитів ЄКТС: 
3.00.
Містить розрахунково-графічну роботу.
Форма контрою: 
Залік.
Викладач: 
к.т.н., доц. Рудніченко М. Д.
Кількість аудиторних занять: 
14 годин лекційних занять, 30 годин лабораторних занять..

Анотація навчальної дисципліни

Мета дисципліни:

формування у здобувачів вищої освіти систематичних знань і навичок в області аналізу та обробки великих обсягів даних.

Завдання дисципліни:
  • оволодіти технологіями обробки великих даних;
  • оволодіти основами MapReduce і технологією Apache Hadoop;
  • засвоїти  способи добування інформації та її властивостей за допомогою методів аналізу та обробки даних;
  • розвинути навички збору специфічної інформації з різнорідних джерел даних.

 

Програмні компетентності

  • Здатність до абстрактного мислення, аналізу та синтезу.
  • Здатність до розуміння предметної області та професійної діяльності.
  • Здатність до пошуку, оброблення та узагальнення інформації з різних джерел.
  • Здатність  аналізувати об’єкт проектування    або функціонування та його предметну область.
  • Здатність використовувати сучасні ІСТ (виробничі, підтримки прийняття рішень, інтелектуального аналізу даних та інші), методики й   техніки       кібербезпеки           під час виконання функціональних завдань та обов’язків.
  • Здатність вибору, проектування, розгортання інтегрування, управління, адміністрування та супроводжування ІСТ та інфокомунікацій, сервісів та інфраструктури організації.
  • Здатність оволодіти сучасними технологіями програмування та тестування програмного забезпечення.
  • Здатність використовувати знання з  у системах штучного інтелекту (СШІ), принципи побудови СШІ, зокрема, експертних систем, технологій побудови інтелектуальних систем, представлення їх в загальній структурі ІТ. 

 

Програмні результати навчання

Застосовувати знання фундаментальних і природничих наук, системного аналізу та технологій моделювання, стандартних алгоритмів та дискретного аналізу при розв’язанні задач проектування і використання ІСТ.

Демонструвати знання сучасного рівня технологій інформаційних систем, практичні навички програмування та використання прикладних і спеціалізованих комп’ютерних систем та середовищ з метою їх запровадження у професійній діяльності.

Видобувати знання шляхом інтеграції та аналізу великих даних, отриманих з різноманітних та різнорідних джерела інформації. Вміти обґрунтовувати вибір абстрактних типів даних та структур даних при проектуванні програмного забезпечення ІСТ.

 

Кількість аудиторних занять

14 годин лекційних занять, 30 годин лабораторних занять.

 

Форми організації освітнього процесу та види навчальних занять

  • Л – лекційні заняття;
  • ЛЗ – лабораторні заняття;
  • IP – самостійна робота здобувача вищої освіти;
  • ГР – розрахунково-графічна робота;
  • ТКО – поточні контрольні опитування;
  • МКР – модульна контрольна робота;
  • К – консультації.

 

Тематика та види навчальних занять

  • 1 тиждень
    • ЛЗ1. Дослідження можливостей системи Power BI Desktop для обробки даних. Частина 1
    • СРС. К.
  • 2 тиждень
    • Л1. Ведення в аналіз великих даних [1, c.4-8].
    • ЛЗ2. Дослідження можливостей системи Power BI Desktop для обробки даних. Частина 2
    • СРС. К.
  • 3 тиждень
    • ЛЗ3. Специфіка роботи з джерелами даних в Power BI Desktop. Частина 1
    • СРС. К.
  • 4 тиждень
    • Л2. Огляд сучасних джерел інформації [1, c.9-11].
    • ЛЗ4. Специфіка роботи з джерелами даних в Power BI Desktop. Частина 2
    • ТКО1
    • СРС. К.
  • 5 тиждень
    • ЛЗ5. Використання розподіленої файлової системи Hadoop. Частина 1
    • СРС. К.
  • 6 тиждень
    • Л3. Технології зберігання і обробки великих даних [1, c.12-16].
    • ЛЗ6. Використання розподіленої файлової системи Hadoop. Частина 2
    • СРС. К.
  • 7 тиждень
    • ЛЗ7. Дослідження можливостей використання ієрархічного кластерного аналізу великих обсягів даних. Частина 1.
    • ТКО2
    • СРС. К.
  • 8 тиждень
    • Л4. Статистичні методи аналізу даних [1, c.17-24].
    • ЛЗ8. Дослідження можливостей використання ієрархічного кластерного аналізу великих обсягів даних. Частина 2
    • МКР1. СРС. К.
  • 9 тиждень
    • ЛЗ9. Дослідження можливостей використання неієрархічного кластерного аналізу великих обсягів даних. Частина 1
    • СРС. К.
  • 10 тиждень
    • Л5. Сучасні програмні засоби аналізу великих обсягів інформації [1, c.25-28].
    • ЛЗ10. Дослідження можливостей використання неієрархічного кластерного аналізу великих обсягів даних. Частина 2
    • СРС. К.
  • 11 тиждень
    • ЛЗ11. Практичне використання системи Power BI для візуалізації даних. Частина 1
    • ТКО3
    • СРС. К.
  • 12 тиждень
    • Л6. Збір і зберігання великих даних [1, c.29-31].
    • ЛЗ12. Практичне використання системи Power BI для візуалізації даних. Частина 2
    • СРС. К.
  • 13 тиждень
    • ЛЗ13. Установка програмного оточення віртуалізації операційної системи
    • СРС. К.
  • 14 тиждень
    • Л7. Алгоритми кластерного аналізу великих даних [1, c.32-45].
    • ЛЗ14. Установка і розгортання операційної системи Linux засобами віртуального оточення. Частина 1
    • ТКО4
    • СРС. К.
  • 15 тиждень
    • ЛЗ15. Установка і розгортання операційної системи Linux засобами віртуального оточення. Частина 2
    • МКР2. СРС. К.

 

Індивідуальна робота

Виконується РГР. 

Мета РГР: набуття загальних та спеціальних компетентностей майбутніх бакалаврів, поглиблення теоретичних знань та практичних навичок використання технологій, засобів та алгоритмів обробки та аналізу великих обсягів даних. 

  • 1–7 тижні Отримання завдання. Аналіз літературних джерел з досліджуваної тематики, розгляд розподілених моделей обчислень та алгоритмів обробки великих обсягів даних. Аналіз програмних аналогів та обґрунтування вибору бібліотек та допоміжних засобів реалізації. Проектування структури програмного застосування.
  • 8–14 тижні Розробка структур даних, основних сутностей та визначення зв’язків між ними. Створення інтерфейсу програмного застосування. Написання програмного коду реалізації основної логіки програми, тестування створеного функціоналу. Розгортання та перевірка роботи програмного застосування на віртуальній машині. Оформлення протоколу виконання РГР.
  • 15 тиждень Захист роботи.

 

Самостійна робота

Самостійна робота складає 46 годин. Розподіл самостійної роботи за видами навчальних робіт:

  • підготовка до лекційних занять – 15 годин;
  • підготовка до лабораторних занять – 16 годин;
  • виконання РГР – 15 годин.

 

Процедура оцінювання

Система оцінювання рівня навчальних досягнень ґрунтується на принципах ЄКТС та є накопичувальною. Дисципліна поділяється на два семестрові модулі. Здобувачі протягом семестру готуються до лекційних та лабораторних занять, виконують 2 модульні контрольні роботи.

Модульні контрольні роботи № 1 та № 2 виконуються у письмовій формі. Модульна робота складається з теоретичної частини (2 запитання) та практичної частини (1 задача). Відповідь на кожне теоретичне питання оцінюється максимум 10 балами. Правильне розв’язання задачі оцінюється в 10 балів.

Кожний модуль оцінюється у максимально можливі 50 балів:

Семестровий модуль № 1

  • ТКО1 та ТКО2 – на базі отриманих результатів по відповідних лабораторних роботах, оцінка за кожне 5 балів. Термін проведення 3 та 7 тижні.
  • РГР(ч.1). Оцінка за виконання – 10 балів. Термін надання – 8 тиждень.
  • МКР1. Модульна контрольна робота – 30 балів (8 тиждень). Перескладання можливе протягом 9–11 тижнів за розкладом консультацій.

Семестровий модуль № 2

  • ТКО3 та ТКО4 – на базі отриманих результатів по відповідних лабораторних роботах, оцінка за кожне 5 балів. Термін проведення 11 та 14 тижні.
  • РГР(ч.2). Оцінка за виконання – 10 балів. Термін надання та захист – 14–15 тижні. 
  • МКР2. Модульна контрольна робота – 30 балів (15 тиждень).

Максимальна оцінка за повний обсяг виконаних навчальних елементів дисципліни – 100 балів.

 

Умови допуску до підсумкового контролю

Підсумковим контролем з дисципліни є залік, засвоєння навчального матеріалу з дисципліни оцінюється на підставі результатів поточного та рубіжного модульного контролю. Залік отримують здобувачі вищої освіти, які виконали всі види навчальних елементів навчальної дисципліни не менш, ніж на 60 %.

 

Політика освітнього процесу

Здобувач зобов’язаний своєчасно та якісно виконувати всі отримані завдання; за необхідністю з метою з’ясування всіх не зрозумілих під час самостійної та індивідуальної роботи питань, відвідувати консультації викладача. Дотримуватись принципів академічної доброчесності. 

Виконаний не свій варіант завдання здобувачем не оцінюється.

Робота, яка виконана після встановлених викладачем термінів, не приймається.

Відсутність здобувача на екзамені або на контрольній роботі відповідає оцінці «0».

Складання/перескладання екзаменів – за встановленим деканатом розкладом.

Під час лекції здійснювати телефонні дзвінки забороняється.

 

Літературні джерела:

  1. Рудніченко М.Д. Навчальний посібник з дисципліни "Методи аналізу і обробки великих обсягів даних" для студентів спеціальності - 126 Інформаційні системи і технології / Упоряд.: Н.Д. Рудніченко, Н.О. Шибаєва. - Одеса: ОНПУ, 2020. - 46 с (Електронна версія), Реєстраційний номер №7562-РС-2020(НП11519)
  2. Рудніченко М.Д. Методичні вказівки до лабораторних робіт з дисципліни "Методи аналізу і обробки великих обсягів даних" для студентів спеціальності - 126 Інформаційні системи та технології / Укл .: М.Д. Рудніченко, Н.О. Шибаєва. - Одеса: ОНПУ, 2020. - 82 с (Електронна версія), Реєстраційний номер №7553-РС-2020(МВ11515) 
  3. Рудніченко М.Д. Методичні вказівки до розрахунково-графічної роботи з дисципліни ”Методи аналізу і обробки великих обсягів даних” для студентів  спеціальності - 126 Інформаційні системи та технології / Укл.: М.Д. Рудніченко, Н.В. Бут. – Одеса: ОНПУ, 2020. – 10 с. (Електронна версія), Реєстраційний номер №7535-РС-2020(МВ11514)
  4. Анналінн І. Теоретичний мінімум по Big Data. Все що потрібно знати про великі даних / І. АннаЛінн, С. Кеннет. - СПб .: Пітер, 2019. - 208 с.
  5. Благірев А. Big data простою мовою / А. Благірев, Н.Хапаева. - М .: АСТ, 2019. - 256 с.
  6. Кабанов В.Ф. Основні принципи обробки даних. Сучасний аспект / В.Ф. Кабанов, А.В. Бурмістров. - Саратов: СГУ імені Н.Г. Чернишевського, 2018. - 49 с.
  7. Радченко І.О. Технології та інфраструктура Big Data / І.А. Радченко, І. М. Миколаїв. - СПб .: Університет ИТМО, 2018. - 52 с.
  8. Сенько А. Робота з Big Data в хмарах. Обробка і зберігання даних з прикладами з Microsoft Azure / А. Сенько. - СПб .: Пітер, 2019. - 448 с.