Розробка і реалізація методики інтелектуального аналізу даних із використанням теорії мереж Байєса та регресійного аналізу

Запропоновано новий двокроковий метод інтелектуального аналізу даних, що поєднує теорію мереж Байєса та регресійного аналізу. Метод грунтується на двох множинах математичних методів. Перша множина призначена для побудови топології мережі Байєса та формування ймовірнісного висновку, на основі якого будується прогноз-рішення. Друга множина призначена для створення регресійної моделі із використанням логістичної функції зв’язку, на основі якої обчислюється оцінка прогнозу.

Результати моделювання та оцінені прогнозні значення використовуються для побудови комбінованого інтегрованого значення прогнозу, що дозволяє надавати аналітику статистично обґрунтовані рекомендації стосовно розвитку процесу. При побудові моделі у формі мережі Байєса, для вибору значущих показників процесу використовуються значення взаємної інформації, а для побудови топології – мінімізація функціонала на основі опису мінімальної довжини. Для підбору оптимальних порогових значень станів реалізовано метод сукупності свідчень (weight of evidence). Побудова оптимальної моделі регресії відбувається прямим послідовним включенням регресорів на основі значення критерію хі-квадрат. Для калібрування комбінованої моделі використовується технологія послідовного розбиття вибірки на навчальний, перевірочний та тестовий набори даних з прив’язкою до стратифікаційної змінної аналізу.

На основі запропонованих методів і алгоритмів розроблена оригінальна архітектура системи підтримки прийняття рішень для математичного моделювання. Запропонований двокроковий метод реалізовано у вигляді програмного модуля DMTwoStage на мові програмування SAS/IML, що може використовуватися в будь яких програмах сімейства SAS. Використання універсальної платформи SAS забезпечує можливість оперативної модифікації створених обчислювальних процедур за рахунок відкритої модульної архітектури комп’ютерної системи підтримки прийняття рішень при моделюванні та прогнозуванні розвитку процесів. Із використанням програмного модуля DMTwoStage розв’язано низку практичних задач та отримано практично значущі результати у вигляді математичних моделей та комбінованих прогнозів на їх основі.

Для перевірки коректності теорії використано аналітичні процедури та обчислювальні експерименти з використанням значних об’ємів статистичних даних і експертних оцінок.