Моделі обробки структурованих і слабоструктурованих масивів даних

ID: 6714
Elective discipline
Навчальна дисципліна професійної підготовки
Edition: 
2017.
Number of ECTS credits: 
3.00.
Final form of control: 
Test.
Teacher: 
к.т.н., доц. Рудніченко М. Д.
Number of classroom classes: 
14 годин лекційних занять, 30 годин лабораторних занять..

Анотація навчальної дисципліни

Мета дисципліни:

формування у здобувачів вищої освіти систематичних знань і навичок в області обробки структурованих і слабо структурованих масивів даних на базі використання сучасних інформаційних засобів, систем та мов програмування.

Завдання дисципліни:
  • ознайомитися з моделями обробки великих масивів даних;
  • розглянути особливості паралельних алгоритмів для роботи з даними;
  • засвоїти  основні поняття мови статистичної обробки даних R;
  • розвинути практичні навички використання мови програмування R для вирішення задач з обробки структурованих та слабо структурованих масивів даних.

 

Програмні компетентності

  • Здатність до абстрактного мислення, аналізу та синтезу.
  • Здатність до розуміння предметної області та професійної діяльності.
  • Здатність вчитися і оволодівати сучасними знаннями.
  • Здатність  аналізувати     об’єкт проектування    або функціонування та його предметну область.
  • Здатність вибору, проектування, розгортання інтегрування, управління, адміністрування та супроводжування ІСТ та інфокомунікацій, сервісів та інфраструктури організації.
  • Здатність оволодіти сучасними технологіями програмування та тестування програмного забезпечення.
  • Здатність використовувати знання з  у системах штучного інтелекту (СШІ), принципи побудови СШІ, зокрема, експертних систем, технологій побудови інтелектуальних систем, представлення їх в загальній структурі ІТ. 

 

Програмні результати навчання

Застосовувати знання фундаментальних і природничих наук, системного аналізу та технологій моделювання, стандартних алгоритмів та дискретного аналізу при розв’язанні задач проектування і використання ІСТ.

Демонструвати знання сучасного рівня технологій інформаційних систем, практичні навички програмування та використання прикладних і спеціалізованих комп’ютерних систем та середовищ з метою їх запровадження у професійній діяльності.

Видобувати знання шляхом інтеграції та аналізу великих даних, отриманих з різноманітних та різнорідних джерела інформації. Вміти обґрунтовувати вибір абстрактних типів даних та структур даних при проектуванні програмного забезпечення ІСТ.

 

Кількість аудиторних занять

14 годин лекційних занять, 30 годин лабораторних занять.

 

Форми організації освітнього процесу та види навчальних занять

  • Л – лекційні заняття;
  • ЛЗ – лабораторні заняття;
  • СРС – самостійна робота здобувача вищої освіти;
  • РГР – розрахунково-графічна робота;
  • ПКО – поточні контрольні опитування;
  • МКР – модульна контрольна робота;
  • К – консультації.

 

Тематика та види навчальних занять

  • 1 тиждень
    • ЛЗ1. Вступ до мови R. Частина 1.
    • СРС. К.
  • 2 тиждень
    • Л1. Визначення даних та їх життєвий цикл [1, c. 12- 17; 5, c. 30- 42].
    • ЛЗ2. Вступ до мови R. Частина 2.
    • СРС. К.
  • 3 тиждень
    • ЛЗ3. Можливості розв'язання задачі відновлення регресії засобами мови R. Частина 1.
    • СРС. К.
  • 4 тиждень
    • Л2. Життєвий цикл та особливості метаданих [1, c. 18- 23; 5, с. 56-71].
    • ЛЗ4. Можливості розв'язання задачі відновлення регресії засобами мови R. Частина 2.
    • ПКО1
    • СРС. К.
  • 5 тиждень
    • ЛЗ5. Особливості побудови та використання дерев прийняття рішень у R. Частина 1.
    • СРС. К.
  • 6 тиждень
    • Л3. Системи управління великими даними [1, c. 25- 31; 4, c.26-56; 5, c. 22-29].
    • ЛЗ6. Особливості побудови та використання дерев прийняття рішень у R. Частина 2.
    • СРС. К.
  • 7 тиждень
    • ЛЗ7. Особливості побудови та використання дерев прийняття рішень у R. Частина 3.
    • ПКО2
    • СРС. К.
  • 8 тиждень
    • Л4. Архітектура системи обробки слабо структурованих даних [1, c. 32-37; 5, c.77-84].
    • ЛЗ8. Дослідження принципів застосування методу опорних векторів для обробки даних у мові R. Частина 1.
    • МКР1. СРС. К.
  • 9 тиждень
    • ЛЗ9. Дослідження принципів застосування методу опорних векторів для обробки даних у мові R. Частина 2.
    • СРС. К.
  • 10 тиждень
    • Л5. Паралельні алгоритми для роботи з даними [1, c. 38-43; 3, c.56-91; 5, c. 43- 50].
    • ЛЗ10. Функціональні можливості використання пакета bootstrap. Частина 1.
    • СРС. К.
  • 11 тиждень
    • ЛЗ11. Функціональні можливості використання пакета bootstrap. Частина 2.
    • ПКО3. СРС. К.
  • 12 тиждень
    • Л6. Програмні платформи і системи для слабо структурованих і різнорідних даних [1, c. 45-47; 4, c.112-144; 5, c. 100- 112].
    • ЛЗ12. Функціональні можливості використання пакета bootstrap. Частина 3.
    • СРС. К.
  • 13 тиждень
    • ЛЗ13. Дослідження специфіки здійснення бустингу засобами R. Частина 1.
    • СРС. К.
  • 14 тиждень
    • Л7. Склад розподіленої системи зберігання даних [1, c. 48-50; 3, c.219-227; 5, c. 130-140].
    • ЛЗ14. Дослідження специфіки здійснення бустингу засобами R. Частина 2.
    • ПКО4
    • СРС. К.
  • 15 тиждень
    • ЛЗ15. Дослідження специфіки здійснення бустингу засобами R. Частина 3.
    • МКР2. СРС. К.

 

Індивідуальна робота

Виконується РГР. 

Мета РГР: набуття практичних навичок в використанні сучасних технологій, систем, бібліотек та моделей дослідження, аналізу та обробки даних. 

  • 1–7 тижні Отримання завдання. Аналіз літературних джерел з досліджуваної тематики, розгляд систем управління великими даними та моделей обробки даних. Аналіз програмних аналогів та обґрунтування вибору бібліотек та допоміжних засобів реалізації. Проектування структури програмного застосування, визначення алгоритму використання моделі обробки даних. Встановлення необхідного робочого оточення.
  • 8–14 тижні Розробка структур даних, основних сутностей та визначення зв’язків між ними. Створення інтерфейсу програмного застосування. Написання програмного коду реалізації основної логіки програми, тестування створеного функціоналу. Розгортання та перевірка роботи програмного застосування на віртуальній машині. Оформлення протоколу виконання РГР.
  • 15 тиждень Захист роботи.

 

Самостійна робота

Самостійна робота складає 46 годин. Розподіл самостійної роботи за видами навчальних робіт:

  • підготовка до лекційних занять – 10 годин;
  • підготовка до лабораторних занять – 20 годин;
  • виконання РГР – 15 годин;

 

Процедура оцінювання

Система оцінювання рівня навчальних досягнень ґрунтується на принципах ЄКТС та є накопичувальною. Дисципліна поділяється на два семестрові модулі. Здобувачі протягом семестру готуються до лекційних та лабораторних занять, виконують 2 модульні контрольні роботи.

Модульні контрольні роботи № 1 та № 2 виконуються у письмовій формі. Модульна робота складається з теоретичної частини (2 запитання) та практичної частини (1 задача). Відповідь на кожне теоретичне питання оцінюється максимум 10 балами. Правильне розв’язання задачі оцінюється в 10 балів.

Кожний модуль оцінюється у максимально можливі 50 балів.

 

Умови допуску до підсумкового контролю

Підсумковим контролем з дисципліни є залік, засвоєння навчального матеріалу з дисципліни оцінюється на підставі результатів поточного та рубіжного модульного контролю. Залік отримують здобувачі вищої освіти, які виконали всі види навчальних елементів навчальної дисципліни не менш, ніж на 60 %.

Семестровий модуль № 1

  • ПКО1 та ПКО2 – на базі отриманих результатів по відповідних лабораторних роботах, оцінка за кожне 5 балів. Термін проведення 3 та 7 тижні.
  • РГР(ч.1). Оцінка за виконання – 10 балів. Термін надання – 8 тиждень.
  • МКР1. Модульна контрольна робота – 30 балів (8 тиждень). Перескладання можливе протягом 9–11 тижнів за розкладом консультацій.

Семестровий модуль № 2

  • ПКО3 та ПКО4 – на базі отриманих результатів по відповідних лабораторних роботах, оцінка за кожне 5 балів. Термін проведення 11 та 14 тижні.
  • РГР(ч.2). Оцінка за виконання – 10 балів. Термін надання та захист – 14–15 тижні. 
  • МКР2. Модульна контрольна робота – 30 балів (15 тиждень).

Максимальна оцінка за повний обсяг виконаних навчальних елементів дисципліни – 100 балів.

 

Політика освітнього процесу

Здобувач зобов’язаний своєчасно та якісно виконувати всі отримані завдання; за необхідністю з метою з’ясування всіх не зрозумілих під час самостійної та індивідуальної роботи питань, відвідувати консультації викладача. Дотримуватись принципів академічної доброчесності. 

Виконаний не свій варіант завдання здобувачем не оцінюється.

Робота, яка виконана після встановлених викладачем термінів, не приймається.

Відсутність здобувача на екзамені або на контрольній роботі відповідає оцінці «0».

Складання/перескладання екзаменів – за встановленим деканатом розкладом.

Під час лекції здійснювати телефонні дзвінки забороняється.

Літературні джерела:

  1. Радченко І.О. Технології та інфраструктура Big Data / І.А. Радченко, І. М. Миколаїв. - СПб: Університет ИТМО. - 52 с.
  2. Кабаков Р. R в дії / Р. Кабаков. - М .: ДМК Пресс, 2014. - 588 с.
  3. Уайт Т. Hadoop: Детальний керівництво / Т. Уайт. - СПб .: Пітер, 2013. - 672 с.
  4. Ghavami P. Big Data Governance: Modern Data Management Principles for Hadoop, NoSQL & Big Data Analytics / P. Ghavami. - CreateSpace Independent Publishing Platform, 2016. - 204 p.
  5. Сенько А. Робота з BigData в хмарах. Обробка і зберігання даних з прикладами з Microsoft Azure / А. Сенько. - СПб .: Пітер, 2019. - 448 с.
  6. Рудніченко М.Д. Методичні вказівки до лабораторних робіт з дисципліни "Моделі обробки структурованих и слабо структурованих масивів даних" для студентів спеціальності 126 - Інформаційні системи и технології / Укл .: М.Д. Рудніченко, Н.В. Бут, Одеса. ОНПУ, 2019. - 32 с. (Електронна версія), Реєстраційний номер № 6994-РС-2019. МВ10985
  7. Френкс Б. Приборкання великих даних: як витягувати сенс з гігантських потоків даних за допомогою просунутої аналітики. - М .: Манн, Іванов і Фербер, 2014. - 352 c.
  8. Марц Н. Великі дані: принципи і практика побудови масштабованих систем обробки даних в реальному часі. - М .: ТОВ Вільямс, 2017. - 368 с.
  9. Ерл Т. Немає Основи Big Data. Концепції, алгоритми і технології. - М .: Баланс Бізнес Букс, 2018. - 320 с.
  10. Форман Д. Багато цифр. Аналіз великих даних за допомогою Excel / Д. Форман, М .: Альпіна Діджитал, 2016. - 465 с.
  11. Рудніченко М.Д. Методичні вказівки до розрахунково-графічної роботи з дисципліни ”Моделі обробки структурованих и слабо структурованих масивів даних” для студентів  спеціальності - 126 Інформаційні системи та технології / Укл.: М.Д. Рудніченко, Н.В. Бут. – Одеса: ОНПУ, 2020. – 10 с. (Електронна версія), Реєстраційний номер №7534-РС-2020 (МВ11512)