Оптимізація генеративних змагальних нейронних мереж в умовах апаратно-параметричних обмежень

Abstract

Сучасний розвиток систем штучного інтелекту (ШІ) демонструє експоненціальне зростання параметрів штучних нейронних мереж (НМ) і їх залежність від хмарних обчислень. Проте для задач реального часу чи з забезпеченням конфіденційності даних необхідність постійного зв’язку з хмарним сервером є суттєвим недоліком. Тому реалізація систем ШІ безпосередньо на мікрокомп’ютерах та кордонних пристроях є актуальною необхідністю. Разом з тим, розгортання ресурсномістких генеративних архітектур в умовах апаратно-параметричних обмежень (АПО) пов’язано з обчислювальною складністю та нестабільністю навчання НМ. Дисертаційна робота присвячена вирішенню науково-практичної задачі розробки нових методів оптимізації генеративних змагальних нейронних мереж (ГЗМ), як систем ШІ, з урахуванням АПО та енергоефективності. ГЗМ доповнюють існуючі датасети з недостатньою кількістю реальних даних додатковими штучними зразками для ефективного навчання НМ та підвищення якості зображень з низькою роздільною здатністю, зашумленнями та візуальними артефактами. Спектр застосування ГЗМ охоплює критично важливі сфери: енергетичну безпеку, національну оборону, охорону здоров’я, економіку та ін. В основі ГЗМ лежить антагоністична взаємодія двох НМ (генератора (𝐺) і дискримінатора (𝐷)), де 𝐺 генерує нові зразки та мінімізує ймовірність їх 𝐷-виявлення, а 𝐷 максимізує здатність розпізнавати згенеровані дані і відрізняти їх від реальних, що дозволяє ГЗМ ефективно навчатися генерації даних, максимально наближених до реальних. Проте ефективне використання ГЗМ у областях від медичної діагностики та обробки супутникових даних до тестування стійкості біометричних систем проти кібератак обмежується нестабільністю навчання НМ та високими вимогами до системних характеристик обчислювальних комплексів. Актуальною задачею залишається підвищення алгоритмічної ефективності ГЗМ для стійкої конвергенції змагальних архітектур та стабілізації процесів навчання. Особливої гостроти набуває необхідність адаптації ГЗМ до реалізації в умовах АПО, які зумовлені дефіцитом обчислювальної потужності, обмеженим обсягом оперативної та постійної пам’яті та низьким енергоспоживанням кордонних пристроїв. Це ускладнює застосування ГЗМ в системах реального часу без попередньої апаратно алгоритмічної оптимізації. Дисертаційна робота спрямована на подолання зазначених недоліків ГЗМ, що підтверджує її актуальність та практичну цінність для розвитку сучасних систем ШІ. Метою дослідження є розробка та удосконалення методів оптимізації ГЗМ для підвищення ефективності складних динамічних процесів їх навчання та генерації нових даних з розширенням спектру їх застосування в умовах АПО кордонних пристроїв, вбудованих систем контролю та мікропроцесорних архітектур. Об’єктом дослідження є обчислювальні процеси навчання та функціювання ГЗМ у вбудованих комп’ютерних системах. Предметом дослідження є методи, моделі та схемотехнічні рішення для оптимізації архітектур ГЗМ з реалізацією на кордонних пристроях в умовах їх апаратно-параметричних обмежень. Новими науковими результатами дисертаційної роботи є: Вперше розроблено математичну модель каскадної оптимізації ГЗМ, яка, на відміну від існуючих, базується на ієрархічній декомпозиції простору гіперпараметрів та врахуванні адаптивної динаміки навчання, що дозволяє забезпечити необхідну точність та швидкодію функціонування ГЗМ в умовах АПО кордонних пристроїв. Вперше розроблено мультифазовий метод оптимізації навчання ГЗМ, який, на відміну від існуючих, базується на багаторівневому механізмі адаптивної конвергенції, що дозволяє запобігати колапсу моди та зникненню градієнтів функцій втрат без підвищення обчислювальної складності процедури навчання. Удосконалено механізм адаптації ГЗМ, який ґрунтується на гібридизації каскадного та мультифазового методів в поєднанні з апаратом нечіткої логіки, що дозволяє комплексно підвищити ефективність навчання та якість генерації штучних даних в задачах виявлення аномалій, біометрії та комп’ютерного зору, зокрема знизити функцію втрат генератора у 3,5 рази, уникнути перенавчання дискримінатора (на рівні ~92%), прискорити збіжність ГЗМ в 7,6 разів, покращити метрику FID у 2,3 рази та досягти точності виявлення аномалій AUC = 0,92 із забезпеченням повноти (Recall) на рівні 1,0. Набув подальшого розвитку програмно-апаратний метод для повного циклу функціонування ГЗМ на кордонних пристроях, який базується на інтеграції квантованого навчання та апаратно-орієнтованої каскадної оптимізації, що забезпечує реалізацію складних архітектур ГЗМ з врахуванням обмежень кордонних пристроїв та функціонування ГЗМ в режимі реального часу при зменшенні розміру імітаційної моделі ГЗМ в 3,9 рази та прискоренні процесу інференсу в 3,2 рази. Для оцінки продуктивності ГЗМ у роботі застосовано методи кількісного аналізу із використанням комплексу сучасних метрик (FID, Loss Value, Accuracy, Epochs to Convergence, Inference Time, Latency, Model Size, AUC, Recall), що дозволило об’єктивно порівняти ефективність розроблених методів із базовими підходами. Практична значущість дослідження підтверджена впровадженням результатів у наукові проєкти з Саарландським університетом ФРН та Інститутом проблем штучного інтелекту МОН і НАН України та в навчальний процес ЧНУ ім. П. Могили. Матеріали дисертаційної роботи доповідалися та обговорювалися на 8 міжнародних науково-технічних конференціях (IDAACS, DESSERT, ICTERI, ATIT, AICT, CMIS та ін.) та 3 Всеукраїнських наукових конференціях та семінарах. У вступній частині дисертаційної роботи обґрунтовано актуальність теми, показано взаємозв’язок дослідження з іншими науковими напрямами та дисциплінами, визначено об’єкт і предмет дослідження, сформульовано мету та завдання роботи, окреслено використані методи дослідження, а також наведено відомості про наукову новизну та прикладне значення здобутих результатів. Наведено список публікацій за темою дослідження та інформацію про особистий внесок автора. Перший розділ дисертації присвячений аналізу літературних джерел в області теоретичних основ проєктування та оптимізації ГЗМ, прикладного використання ГЗМ з реалізацією їх на мікропроцесорних і кордонних пристроях та мікрокомп’ютерах, перспектив їх застосування в різних областях людської діяльності. В результаті аналізу сучасного стану розвитку ГЗМ встановлено, що врахування особливостей проєктування ГЗМ на кордонних пристроях та їх АПО може здійснюватися шляхом (а) структурної реконфігурації архітектур ГЗМ, (б) розробки нових та модифікованих методів оптимізації та їх гібридної комбінації для процесів нейромережевого навчання та (в) шляхом апаратно-орієнтованої адаптації обчислювальних процесів і кордонних пристроїв. У другому розділі проаналізовано математичні моделі, функції втрат та алгоритми навчання ГЗМ, а також методи досягнення конвергенції. Обґрунтовано стратегії стабілізації процесів навчання ГЗМ на основі модифікації функцій втрат та активації, пакетної нормалізації, транспонованої згортки, підрізки ваг та градієнтного штрафу з фокусом на оптимізацію гіперпараметрів та адаптацію архітектур для забезпечення необхідної продуктивності, швидкодії та точності в умовах АПО кордонних пристроїв. Окрему увагу приділено аналізу недоліків існуючих ГЗМ, в тому числі з реалізацією на кордонних пристроях, та методів їх проєктування. Детально висвітлені особливості процесів навчання ГЗМ з виникненням колапсу моди, конвергенції мереж генератора і дискримінатора, зникненням градієнтів функцій втрат та перенавчанням. Підкреслено потенціал структурно параметричної оптимізації ГЗМ для адаптації їх математичних моделей, модифікації алгоритмів навчання та організації обчислювальних процесів на кордонних пристроях в умовах обмежень їх процесорної потужності, обсягів пам’яті і швидкодії. Третій розділ дисертації присвячений стратегіям та методам оптимізації ГЗМ в умовах АПО з забезпеченням стабільності процесів навчання і підвищення якості генерації. Запропоновано каскадний метод оптимізації і механізм структурно-параметричного навчання ГЗМ, що забезпечує узгодження архітектури, гіперпараметрів і темпу навчання, мінімізуючи вплив експертних помилок на кінцеву ефективність моделі та її збіжність. Додатково розроблено метод мультифазової оптимізації, що розділяє процес навчання на декілька етапів, націлених на усунення окремих недоліків ГЗМ. Для підвищення ефективності та стабілізації навчання ГЗМ запропоновано механізм гібридизації каскадного та мультифазового методів. Четвертий розділ дисертації присвячений імітаційному моделюванню експериментальній валідації розроблених методів оптимізації для архітектур на основі стандартної ГЗМ та її модифікацій з різними функціями втрат (бінарної перехресної ентропії, втрат Вассерштейна зі штрафом за градієнт, перцептивних та змагальних втрат, втрат контенту та середньої абсолютної похибки, втрата МНК та ін.). Детально описано результати експериментів (реалізація ГЗМ на мові Python 3 та TensorFlow, Keras, PyTorch), проведених для перевірки ефективності розроблених методів (у різних контекстах застосування ГЗМ) на датасетах MNIST, SOCOFing та BIRDS 400, зокрема для задач біометрії, покращення роздільної здатності та виявлення аномалій з використанням комбінованих функцій втрат. В ході проведених експериментів вдалось забезпечити зниження функції втрат генератора (з 9,16 до 2,57), уникнути перенавчання дискримінатора та стабілізувати його точність (на рівні 92%), прискорити збіжність нейромережі (з 1300 до 170 епох), покращити метрику FID (з 45,9 до 19,4), а також досягти точності виявлення аномалій (AUC = 0,92) із забезпеченням повноти Recall (на рівні 1.0). П’ятий розділ присвячено експериментальній верифікації адаптованих архітектур ГЗМ на кордонних пристроях (концепції On-Device Edge AI) для їх функціювання в умовах АПО. Серед спектру сучасних платформ для кордонних обчислень (таких як NVIDIA Jetson, Google Coral Dev Board, Intel Neural Compute Stick або FPGA-рішення) обґрунтовано в якості експериментальної платформи обрання одноплатного мікрокомп’ютера Raspberry Pi 5 (процесор Broadcom BCM2712, архітектура ARM Cortex-A76, 8 ГБ RAM). Raspberry Pi 5 не має спеціалізованих тензорних ядер, але його перевагами є низьке енергоспоживання, масо-габаритна компактність, універсальність до застосування в Інтернеті речей та низька вартість. Детально описано ключовий етап реалізації динамічного квантування ваг моделі у цілочисельний формат INT8 (засобами бібліотеки torch.quantization) з формату з плаваючою комою FP32. Це забезпечило критичне зниження ресурсомісткості ГЗМ: розмір моделі зменшено з 2,14 МБ до 0,55 МБ, що дозволяє розміщувати модель у швидкій кеш-пам’яті процесора. Профілювання інференсу (PyTorch Profiler) підтвердило прискорення часу відгуку до 0,61 мс порівняно з базовою FP32-версією (1,95 мс), при збереженні прийнятної якості генерації зразків. Використання каскадного та мультифазового методів оптимізації також дозволило досягти структурної узгодженості та покращення метричних показників коректності відтворення при генерації рукописного тексту MNIST, як тестового типу даних. Отримані і детально представлені в розділі результати доводять, що оптимізовані ГЗМ здатні працювати автономно в режимі реального часу на кордонних пристроях, усуваючи залежність від хмарних обчислень. У висновках узагальнено головні результати дисертаційної роботи та окреслено напрями подальших досліджень щодо апаратного прискорення, оптимізації та реалізації ГЗМ на різнотипних мікрокомп’ютерних платформах.