Аналіз даних інтернету речей
Анотація навчальної дисципліни
Мета вивчення дисципліни «аналіз даних інтернет речей» – полягає в тому, щоб надати студентам знання та практичні навички для збору, обробки, аналізу та інтерпретації даних, отриманих від пристроїв Інтернету речей (IoT). Курс націлений на формування компетенцій, необхідних для побудови систем обробки даних IoT, розуміння особливостей великих потокових даних і методів їх аналізу, а також розвитку навичок використання аналітичних інструментів для підтримки прийняття рішень в реальному часі.
Практичне значення та використання отриманих знань дисципліни «аналіз даних інтернет речей» – отримання здобувачами вищої освіти теоретичних знань, спеціальних умінь і практичних навичок з програмування мікроконтролерів, а саме:
– ознайомити з архітектурою та компонентами систем Інтернету речей, процесом збору даних від сенсорних мереж та їх передачею;
– вивчити методи збору та передобробки великих потокових даних, які надходять від IoT-пристроїв;
– надати знання з використання алгоритмів машинного навчання, штучного інтелекту та статистичного аналізу для інтерпретації даних IoT;
– опанувати інструменти та технології зберігання та обробки великих даних, такі як Hadoop, Spark, та бази даних NoSQL;
- розвинути навички інтеграції аналітичних платформ для візуалізації та моніторингу процесів IoT у реальному часі;
- підготувати студентів до прийняття управлінських рішень на основі аналізу даних IoT в різних галузях (розумні міста, охорона здоров'я, промисловість тощо).
Тематика та види навчальних занять
Для денної форми здобуття освіти
Лекція 1. Вступ до Інтернету речей (IoT) та його роль в аналізі даних
Огляд IoT-технологій, їх розвиток та вплив на обробку та аналіз великих даних; приклади застосування IoT у різних галузях.
Лекція 2. Архітектура та компоненти IoT-систем
Розгляд основних компонентів IoT, включаючи сенсори, шлюзи, протоколи зв’язку, платформи для обробки та зберігання даних.
Лекція 3. Сенсори та типи даних в IoT
Огляд різних типів сенсорів, які використовуються в IoT, та особливості даних, що вони збирають (температура, вологість, положення, швидкість тощо).
Лекція 4. Технології зв'язку в IoT: від мереж до протоколів
Протоколи зв’язку (MQTT, HTTP, CoAP) та технології передачі даних (Wi-Fi, LoRa, Bluetooth) в IoT, їхні особливості та приклади використання.
Лекція 5. Збір та передача даних з IoT-пристроїв
Методи збору, агрегування та передачі даних з пристроїв IoT, а також виклики, пов'язані з їх потоковою обробкою.
Лекція 6. Передобробка та очищення IoT-даних
Техніки очищення, фільтрації та нормалізації даних для підготовки до подальшого аналізу; обробка пропущених даних і аномалій.
Лекція 7. Зберігання великих даних в IoT: технології баз даних та платформи
Бази даних NoSQL, Hadoop, Spark та їх використання для зберігання та обробки великих обсягів IoT-даних.
Лекція 8. Алгоритми машинного навчання для аналізу IoT-даних
Огляд алгоритмів класифікації, регресії та кластеризації, які найчастіше використовуються для аналізу даних з IoT.
Лекція 9. Аналіз часових рядів для IoT-даних
Методи аналізу часових рядів та прогнозування, включаючи застосування ARIMA, LSTM, та інших моделей для даних IoT.
Лекція 10. Розпізнавання аномалій та виявлення відхилень в IoT-даних
Алгоритми та методи виявлення аномальних значень в IoT-даних, важливість виявлення збоїв та несправностей в реальному часі.
Лекція 11. Інтеграція даних IoT та використання API
Методи інтеграції IoT-платформ з аналітичними інструментами та сторонніми API для збору додаткових даних і розширення аналітичних можливостей.
Лекція 12. Візуалізація та моніторинг IoT-даних у реальному часі
Огляд інструментів візуалізації та побудови дашбордів для відображення стану IoT-систем у режимі реального часу.
Лекція 13. Безпека та конфіденційність даних у системах IoT
Методи захисту IoT-даних, управління конфіденційністю та дотримання етичних норм у роботі з персональними даними.
Лекція 14. Прикладні рішення для аналізу IoT-даних у різних галузях
Огляд прикладів застосування IoT-даних у промисловості, агротехніці, охороні здоров'я, розумних містах та інших галузях.
Лекція 15. Етичні та правові аспекти аналізу IoT-даних
Обговорення етичних та правових аспектів роботи з IoT-даними, включаючи питання захисту даних, прозорості алгоритмів та дотримання норм законодавства.
Лабораторні заняття.
Лабораторне заняття 1. Збір і передача даних з IoT-сенсорів (ESP8266/ESP32, DHT22, MQTT, Node-RED)
Мета заняття: використання контролерів ESP8266 або ESP32 з датчиком температури та вологості DHT22 для збору даних. Налаштування передачі даних через протокол MQTT та візуалізація в реальному часі за допомогою платформи Node-RED.
Лабораторне заняття 2. Передобробка та очищення IoT-даних (Python, Pandas, NumPy)
Мета заняття: використання Python і бібліотеки Pandas та NumPy, проведення очищення та фільтрації зібраних даних, усуваючи пропуски і викиди. Підготувлення даних для подальшого аналізу.
Лабораторне заняття 3. Зберігання IoT-даних у базах даних NoSQL (MongoDB, Python)
Мета заняття: підключення MongoDB для зберігання великих обсягів IoT-даних, зібраних із сенсорів, використовуючи Python для завантаження та структурування даних у базі даних NoSQL.
Лабораторне заняття 4. Аналіз часових рядів для IoT-даних (Python, Pandas, statsmodels, LSTM у Keras)
Мета заняття: за допомогою бібліотек Pandas та statsmodels провести аналіз часових рядів для побудови прогнозів. Застосування рекурентних нейронних мереж (LSTM) у Keras, використовуючи дані температурних або погодних змін для складніших моделей.
Лабораторне заняття 5. Застосування алгоритмів машинного навчання для класифікації та кластеризації IoT-даних (Python, Scikit-learn)
Мета заняття: застосування алгоритмів кластеризації KMeans та класифікації SVM для аналізу даних з IoT, таких як ідентифікація аномалій у показниках сенсорів на основі бібліотеки Scikit-learn.
Лабораторне заняття 6. Реалізація дашборду для моніторингу даних у реальному часі (Grafana, InfluxDB, Node-RED)
Мета заняття: налаштування баз даних InfluxDB для зберігання часових рядів та створення інтерактивного дашборду у Grafana, інтегруваного у Node-RED для відображення даних сенсорів температури та вологості в режимі реального часу.
Лабораторне заняття 7. Аналіз безпеки та захист IoT-даних (Python, OpenSSL, Wireshark)
Мета заняття: використання Python та OpenSSL, для шифрування данних перед їх відправкою, а також використовування Wireshark для аналізу пакетів та оцінки вразливостей у системі передачі даних IoT.
Для заочної форми здобуття освіти.
Лекційні заняття.
Лекція 1. «Архітектура та компоненти IoT-систем
Розгляд основних компонентів IoT, включаючи сенсори, шлюзи, протоколи зв’язку, платформи для обробки та зберігання даних.»
Лекція 2. «Алгоритми машинного навчання для аналізу IoT-даних
Огляд алгоритмів класифікації, регресії та кластеризації, які найчастіше використовуються для аналізу даних з IoT».
Лабораторні заняття.
Лабораторне заняття 1. Збір і передача даних з IoT-сенсорів (ESP8266/ESP32, DHT22, MQTT, Node-RED)
Мета заняття: використання контролерів ESP8266 або ESP32 з датчиком температури та вологості DHT22 для збору даних. Налаштування передачі даних через протокол MQTT та візуалізація в реальному часі за допомогою платформи Node-RED.
Лабораторне заняття 2. Аналіз часових рядів для IoT-даних (Python, Pandas, statsmodels, LSTM у Keras).
Мета заняття: за допомогою бібліотек Pandas та statsmodels провести аналіз часових рядів для побудови прогнозів. Застосування рекурентних нейронних мереж (LSTM) у Keras, використовуючи дані температурних або погодних змін для складніших моделей
Консультації здійснюються впродовж семестру згідно встановленого розкладу.
Індивідуальна робота.
Для денної форми здобуття освіти
Не передбачена
Для заочної форми здобуття освіти
Контрольна робота.
Форми контрольних заходів та оцінювання результатів навчання.
Для денної форми здобуття освіти
Оцінювання результатів навчання з дисципліни здійснюється за накопичувальною системою, яка дає можливість здобувачеві протягом семестру отримати максимально 100 балів.
Модуль 1
Лабораторна робота 1, 2 по 6 балів. Лабораторна робота 3 – 8 балів. Лабораторна робота 4 - 10 балів. Загалом лабораторні роботи – 30 балів.
Модульна контрольна робота 1 – 20 балів.
Модульна робота 1 складається з теоретичної частини (10 запитань). Кожне запитання дає 2 бала. Часткова відповідь на запитання 1 бал.
Модуль 2
Лабораторна робота 5 - 5 балів. Лабораторна робота 6 - 10 балів. Лабораторна робота 7 - 15 балів. Загалом лабораторні роботи – 30 балів.
Модульна контрольна робота 2 – 20 балів (15 тиждень).
Модульна робота 2 складається з теоретичної частини (10 запитань). Кожне запитання дає 2 бала. Часткова відповідь на запитання 1 бал.
Для заочної форми здобуття освіти
Оцінювання виконання контрольної роботи, залік.
Виконання контрольної роботи відповідно графіку, надання викладачу у встановлені терміни – 60 балів.
Залік – 60-100 балів. Набрані бали впродовж семестру не ураховуються, а забезпечують допуск до заліку.
Політика освітнього процесу та умови допуску до підсумкового контролю
Умови допуску до підсумкового контролю
Підсумковий контроль з дисципліни – залік.
Залік отримують здобувачі вищої освіти, які виконали всі види навчальних елементів навчальної дисципліни не менш, ніж на 60 балів.
Залік відбувається за всіма тематичними (змістовними) модулями дисципліни. Складання/перескладання заліку організовується за встановленим деканатом розкладом.
Активна участь в лабораторних заняттях, дотримання графіків здачі контрольних та індивідуальних завдань, самостійна робота здобувача при підготовці до всіх видів аудиторних занять, присутність на консультаціях. Здобувачі зобов’язані дотримуватись принципів академічної доброчесності при виконанні модульних контрольних робіт, поточних контрольних та індивідуальних завдань, складання заліку/екзамену.
Робота, яка виконана після встановлених викладачем термінів, не приймається.
Відсутність здобувача на контрольній роботі відповідає оцінці «0».
Під час всіх видів аудиторних занять здійснювати телефонні дзвінки забороняється.
Заборонено використання будь-яких підручників, посібників, конспектів лекцій, шпаргалок під час проходження модульних та підсумкового контролів.
К1. Здатність застосовувати методології, технології та інструментальні засоби для управління процесами життєвого циклу інформаційних і програмних систем, продуктів і сервісів інформаційних технологій відповідно до вимог замовника..
Алгоритмізація та програмування, Архітектура комп'ютерів, Комп'ютерні мережі
РН1: Вміти збирати та передобробляти дані, отримані від IoT-пристроїв. Студенти навчаться працювати з потоковими даними, зокрема виконувати їх очистку, фільтрацію та нормалізацію, щоб готувати до подальшого аналізу.
РН2: Застосовувати алгоритми машинного навчання та інструменти аналізу для обробки даних IoT. Оволодіння алгоритмами класифікації, кластеризації, прогнозування тощо для аналізу специфічних даних, отриманих з пристроїв IoT
РН3: Аналізувати результати обробки IoT-даних та приймати на їх основі обґрунтовані рішення. Навчитися інтерпретувати отримані результати для побудови прогнозів, оптимізації процесів, оцінки показників ефективності і розробки рекомендацій для покращення роботи систем.