Програмне забезпечення обробки великих обсягів даних

Abstract

Методичні рекомендації містять опис практичних робіт з дисципліни «Програмне забезпечення обробки великих обсягів даних», спрямованих на опанування сучасних засобів і технологій інженерії, зберігання, обробки та аналізу даних. У практичних роботах послідовно розглянуто використання мов SQL і Python, отримання даних із Web API, автоматизацію ELT-процесів за допомогою Apache Airflow, роботу з PostgreSQL, розподіленою файловою системою HDFS, платформами Hadoop і Apache Spark, а також побудову комплексних конвеєрів і платформ обробки даних із використанням CloudberryDB. Окрему увагу приділено встановленню, налаштуванню та розгортанню відповідного програмного забезпечення в операційній системі Linux. Методичні рекомендації призначено для здобувачів вищої освіти спеціальностей галузі знань F – «Інформаційні технології», а також можуть бути корисними здобувачам інших спеціальностей, які вивчають технології обробки великих обсягів даних.