Вибіркова дисципліна
Навчальна дисципліна професійної підготовки
Методи аналізу і обробки великих обсягів даних
Обсяг освітнього компонента:
• у кредитах ЄКТС — 4.5.
Кількість аудиторних занять:
Лекційних занять - 15, лабораторних занять 7.
Самостійна робота:
91 година.
Семестровий контроль:
Залік.
Освітню компоненту забезпечує:
Викладач:
Анотація:
Анотація навчальної дисципліни
Мета дисципліни: формування у здобувачів вищої освіти систематичних знань і навичок в області аналізу та обробки великих обсягів даних.
Практичне значення та використання отриманих знань. Оволодіння технологіями обробки великих даних. Оволодіння основами MapReduce і технологією Apache Hadoop. Засвоєння способів добування інформації та її властивостей за допомогою методів аналізу та обробки даних. Розвиток навичок збору специфічної інформації з різнорідних джерел даних.
Тематика та види навчальних занять
Для денної форми здобуття освіти
Лекційні заняття
Лекція 1 «Ведення в аналіз великих даних».
Лекція 2 «Огляд сучасних джерел інформації».
Лекція 3 «Технології зберігання і обробки великих даних».
Лекція 4 «Статистичні методи аналізу даних».
Лекція 5 «Сучасні програмні засоби аналізу великих обсягів інформації».
Лекція 6 «Збір і зберігання великих даних».
Лекція 7 «Алгоритми кластерного аналізу великих даних».
Лекція 8 «Визначення даних та їх життєвий цикл».
Лекція 9 «Життєвий цикл та особливості метаданих».
Лекція 10 «Розподілені файлові системи і фреймворки».
Лекція 11 «Архітектура системи обробки слабо структурованих даних».
Лекція 12 «Паралельні алгоритми для роботи з даними.».
Лекція 13 «Програмні платформи і системи для слабо структурованих і різнорідних даних».
Лекція 14 «Стандарти, що застосовуються при побудові датацентров».
Лекція 15 «Технології скраппінгу та парсингу даних».
Лабораторні заняття
Лабораторне заняття 1 «Дослідження можливостей системи power bi desktop для обробки даних».
Мета заняття: оволодіти практичними навичками використання системи power bi desktop для обробки даних
Лабораторне заняття 2 «Специфіка роботи з джерелами даних в power bi desktop».
Мета заняття: оволодіти практичними навичками використання системи power bi desktop для роботи з джерелами даних
Лабораторне заняття 3 «Використання розподіленої файлової системи hadoop»
Мета заняття: оволодіти здатністю демонструвати знання сучасного рівня технологій інформаційних систем, практичні навички програмування та використання прикладних і спеціалізованих комп’ютерних систем та середовищ з метою їх запровадження у професійній діяльності при вивченні основних можливостей використання розподіленої файлової системи HDFS
Лабораторне заняття 4 «Дослідження можливостей використання ієрархічного кластерного аналізу великих обсягів даних»
Мета заняття: оволодіти практичними навичками використання основних положень та програмної реалізації алгоритмів ієрархічної кластеризації даних.
Лабораторне заняття 5 «Дослідження можливостей використання неієрархічного кластерного аналізу великих обсягів даних».
Мета заняття: оволодіти практичними навичками використання основних положень та програмної реалізації алгоритмів неієрархічної кластеризації даних.
Лабораторне заняття 6 «Установка програмного оточення віртуалізації операційної системи»
Мета заняття: оволодіти практичними навичками виконання процесу установки та налаштування оточення віртуалізації операційної системи для розгортання засобів обробки та аналізу великих даних.
Лабораторне заняття 7 «Установка і розгортання операційної системи linux засобами віртуального оточення».
Мета заняття: оволодіти практичними навичками здійснення процесу установки та розгортання операційної системи Linux засобами віртуального оточення.
Консультації здійснюються впродовж семестру згідно встановленого розкладу.
Індивідуальна робота
Не передбачено
Компетентності:
К1 Оволодіння технологіями обробки великих даних. Вивчення основ MapReduce та набору технологією Apache Hadoop.
К2 Засвоєння способів добування інформації та її властивостей за допомогою методів аналізу та обробки даних.
Передумови вивчення дисципліни:
Вища математика.
Математичний аналіз.
Лінійна алгебра. Дискретна математика.
Теорія ймовірності та математична статистика.
Алгоритмізація та програмування
Методи та технології обробки інформації.
Результати навчання:
РН1 Демонструвати знання сучасного рівня технологій інформаційних систем, практичні навички програмування та використання прикладних і спеціалізованих комп’ютерних систем та середовищ з метою їх запровадження у професійній діяльності.
РН2 Видобувати знання шляхом інтеграції та аналізу великих даних, отриманих з різноманітних та різнорідних джерела інформації. Вміти обґрунтовувати вибір абстрактних типів даних та структур даних при проєктуванні програмного забезпечення ІСТ.
РН3 Демонструвати знання сучасного рівня технологій інформаційних систем, практичні навички програмування та використання прикладних і спеціалізованих комп’ютерних систем та середовищ з метою їх запровадження професійній діяльності.
▪ 2024 рік