має ґрунтуватися на сучасній технології інтегрованих сховищ даних та поглибленого аналітичного оброблення нагромадженої інформації на базі сучасних інформаційних технологій.
Як уже зазначалося, традиційними й загальноприйнятими джерелами первинної інформації є статистична звітність, бухгалтерський та управлінський облік, фінансова звітність, анкетування, інтерв’ю, опитування тощо.
Етап аналітичного та статистичного оброблення структурованої первинної інформації також має кілька традиційних загальноприйнятих підходів. Виникнення цих підходів і системна інтеграція їх були зумовлені об’єктивною необхідністю автоматизації обліково-статистичних робіт з метою якомога точнішого, якісного та своєчасного відображення процесів, що протікають в аналізованій предметній царині а також виявлення їх характерних тенденцій.
Автоматизація статистичних робіт дістала відображення у створенні та функціонуванні автоматизованих статистичних інформаційних систем: у 1970-х роках — автоматизованої системи державної статистики (АСДС), а від 1988 року — у проектуванні єдиної статистичної інформаційної системи (ЕСІС) [1; 40]. Основним завданням цих розробок були збирання і оброблення обліковостатистичної інформації, необхідної для планування та управління народним господарством на базі широкого застосування економікостатистичних методів, засобів обчислювальної й організаційної техніки, систем зв’язку в органах державної статистики.
У структурно-територіальному аспекті АСДС була строго ієрархічною, мала чотири рівні: союзний, республіканський, обласний, районний (міський). На кожному рівні оброблення інформації здійснювалося з метою реалізації завдань насамперед даного рівня.
У функціональному аспекті в АСДС виокремлюють функціональні та забезпечувальні підсистеми. Ці підсистеми, незалежно від змісту конкретних статистичних задач, реалізовували функції збирання та оброблення статистичної інформації, комплексного статистичного аналізу, контролю над виконанням показників, отримання статистичних даних, необхідних для поточного й оперативного планування, своєчасного подання керівним органам усіх необхідних статистичних даних. З точки зору користувача моніторингові задачі за своїм призначенням поділяються на: регламентні задачі, пов’язані з обробленням даних статистичної звітності на відповідних структурно-територіальних рівнях АСДС;задачі інформаційно-довідкового обслуговування; задачі поглибленого економічного аналізу.
Регламентні задачі пов’язані з обробленням даних статистичної звітності на рівнях АСДС. Кожна регламентна задача, як правило, пов’язана з обробленням даних деякої конкретної форми статистичної звітності або декількох, тісно пов’язаних за змістом форм звітності. Вирішення таких задач здійснюється комплексами електронного оброблення інформації, що являють собою сукупність програмних, технічних й організаційних засобів із використанням локальних масивів інформації.
Задачі інформаційно-довідкового обслуговування передбачають формування за запитами необхідних статистичних даних для оперативного складання доповідей, аналітичних записок та довідок, не регламентованих за змістом. Їх вирішення забезпечується за допомогою автоматизованого банку даних у вигляді системи нагромадження, збереження, пошуку, оброблення та видачі інформації за запитами користувачів у потрібному вигляді.
Задачі поглибленого економічного аналізу ґрунтовані на використанні: динамічних рядів (побудова полігонів, гістограм частот і кумулятивних ліній, підбір трендів з обраного класу функцій); згладжування вихідного динамічного ряду, діагностика на основі обраного тренда і авторегресійної моделі, аналіз залишків на автокореляцію і нормальність); парної регресії (визначення рівнянь лінійної та нелінійної регресії, оцінювання їхніх статистичних характеристик, добір оптимальної форми зв’язку); множинної регресії (визначення матриці парних коефіцієнтів кореляції, визначення рівнянь множинної лінійної регресії), факторного аналізу (одержання лінійної моделі, що описується невеликим числом факторів, розрахунок значень «навантажень на загальні фактори» і самих загальних факторів, графічна інтерпретація факторів на площині й у просторі); кореляційного аналізу (отримання кореляційних матриць, середніх і стандартних відхилень).
Організаційно-технологічна форма розв’язання даного класу задач — аналітичні комплекси, що являють собою сукупність пакетів прикладних програм, зорієнтованих на реалізацію математико-статистичних методів. Для охоплення широких часових діапазонів аналізованих даних використовується регістрова форма моніторингу на основі автоматизованих регістрів, що дають змогу зберігати й обробляти значні сукупності даних, організованиху вигляді масивів, незалежних від структури статистичних звітів за кожним об’єктом або певною групою об’єктів моніторингу. Регістрова форма моніторингу особливо ефективна для статистичної інформації, що характеризує відносно стійкі об’єкти, тому регістри можна розглядати як автоматизовану картотеку груп однорідних одиниць статистичного спостереження певного типу. Її застосування дає можливість користувачеві шляхом заповнення уніфікованого бланка запиту отримувати різні дані, що характеризують стан того чи іншого об’єкта.
Важливим напрямом удосконалення статистичного моніторингу стало забезпечення підвищення змістовності, достовірності й оперативності звітних даних на засадах поєднання поточної звітності, одноразових обліків, вибіркових і монографічних обстежень, а також оптимізації потоків інформації. Особливий наголос зроблено на вдосконаленні економіко-математичних методів аналізу та прогнозування розвитку систем. Крім того, істотним прогресом в еволюції методів моніторингу послугувало використання нових інформаційних технологій, а саме: розроблення комплексної технології оброблення інформації за умов використання банків даних та комп’ютерних мереж; створення засобів комп’ютерного моделювання систем оброблення даних; розроблення інтелектуалізованих типів інтерфейсу кінцевого користувача з комп’ютером на базі автоматизованих робочих місць, що передбачають використання експертних систем.
Нові інформаційні технології істотно розширили можливість прямого автоматизованого доступу до необхідної статистичної інформації, що урізноманітнило склад і зміст аналітичних робіт. З’явилася можливість інтеграції однієї статистичної інформаційної системи моніторингу з іншими інформаційними системами всіх рівнів управління каналами телекомунікаційних зв’язків.
Однак усі розглянуті методи аналітичного та статистичного оброблення даних мають істотний недолік. Уся сукупність даних обробляється у них як розрізнена множина, через що відсутня їхня системна єдність. Між тими чи іншими інформаційними потоками може бути установлений лише штучний зв’язок шляхом об’єднання їх у певну звітну форму. Однак неможливо передбачити всі форми для всіх можливих явищ і зв’язків. Традиційні методи аналітичного та статистичного оброблення даних не враховують того, що між будь-якого роду явищами і подіям існує природний зв’язок, ґрунтований на універсальних, притаманних усім їм показниках. За наявності системи таких природнихзв’язків з’являється можливість зіставляти із розглядуваним явищем всі пов’язані з ним в явному чи неявному вигляді чинники, події, дані. Моніторингу, базованому на такому підході, властива повнота охоплення причинно-наслідкових зв’язків, чинників взаємовпливу прихованих тенденцій. Усе це розглядається в нерозривній системній єдності.
Усунути зазначений недолік можна завдяки вельми поширеному останнім часом підходу до проблеми аналітичного та статистичного оброблення даних на основі новітньої технології OLAP — Online Analitical Processing (оперативний аналіз даних) [28; 63].
Термін ОLAP позначає методи, які дають можливість користувачам баз даних у реальному часі генерувати описові та порівняльні зведення даних і отримувати відповіді на різні аналітичні запити. До визначальних принципів концепції ОLAP належать: багатовимірне концептуальне уявлення — бази даних ОLAP мають підтримувати багатовимірне подання даних, що передбачає класичні операції розбиття й обертання концептуального куба даних; прозорість — користувачам немає потреби знати, що вони використовують базу даних ОLAP. Для отримання ними даних і прийняття потрібних рішень вони можуть використовувати добре знайомі їм інструменти. Їм також не потрібно що-небудь знати про джерело даних; доступність — програмні засоби мають самі обирати і зв’язуватися з найкращим для формування відповіді на даний запит джерелом даних. Вони мають забезпечувати автоматичне відображення власної логічної схеми у різні гетерогенні джерела даних; узгоджена продуктивність — продуктивність практично не мусить залежати від кількості вимірювань у запиті. Системні моделі мають бути доволі потужними, щоб упоратися з усіма змінами аналізованої моделі; підтримка архітектури клієнт-сервер — засоби ОLAP мають бути у змозі працювати у клієнт-серверному середовищі, оскільки передбачається, що сервер багатовимірної бази даних має бути доступний з інших програм та інструментів; рівноправність усіх вимірювань — кожне вимірювання даних має бути еквівалентним одночасно і за структурою, і за операційним можливостям. Основна структура даних, формули та формати звітів не повинні орієнтуватися на якесь одне вимірювання даних; динамічне оброблення розріджених матриць — типові багатовимірні моделі можуть з легкістю звертатися до великої множинипосилань на комірки, багато з яких не мають даних в якийсь конкретний момент. Ці відсутні значення мають зберігатися ефективним чином і не справляти негативного впливу на точність чи швидкість вилучення інформації; підтримка безлічі користувачів — засоби ОLAP мають підтримувати й заохочувати роботу в групах та обмін ідеями і результатами аналізу між користувачами. Для цього дуже важливою є наявність багатокористувацького доступу до даних; підтримка операцій між різними вимірами. Всі багатовимірні операції (наприклад, агрегація) мають визначатися і бути доступними таким чином, щоб вони виконувалися одноманітно і злагоджено, незалежно від кількості вимірювань; інтуїтивне управління даними — дані, що надаються користувачеві-аналітику, мають містити всю інформацію, необхідну для ефективної навігації (формування зрізів, зміни рівня деталізації подання інформації) та виконання відповідних запитів; гнучке формування звітів — користувач має мати можливість витягати будь-які необхідні йому дані та формувати їх у будьякому необхідному йому вигляді; необмежені вимірювання та рівні агрегації — не має бути обмежень щодо кількості підтримуваних вимірювань.
Використання систем, ґрунтованих на технології ОLАP, дає можливість: організувати єдине інформаційне сховище, ґрунтоване на даних статистичної та іншої звітності; забезпечувати простий та ефективний доступ до інформації сховища з розмежуванням прав доступу; забезпечити можливість оперативного аналітичного оброблення збережених даних, проведення статистичного аналізу; упорядкувати, стандартизувати й автоматизувати створення форм аналітичних звітів з відображенням даних у заданому вигляді.
Головною відмінною особливістю і важливою перевагою багатовимірного подання даних порівняно з традиційними інформаційними методиками є можливість спільного аналізу великих груп параметрів у взаємному зв’язку, що важливо при вивченні складних явищ.
Технологія ОLАP помітно скорочує час збирання та аналізу первинної інформації, необхідної для прийняття рішень у тій чи іншій сфері людської діяльності, а також підвищує наочність й інформативність звітів про процеси та явища, що відбуваються у цих сферах.
ОLАP-системи дають змогу нагромаджувати великі обсяги даних, що збираються з різних джерел. Така інформація зазвичайнадходить в електронному вигляді. Далі ці докладні, актуальні дані з різних пунктів збирання об’єднують в одному місці, після чого аналітики можуть витягати з них значиму інформацію.
Перш ніж створювати таку систему, слід розглянути і з’ясувати три основні питання: які дані нагромаджувати і як на концептуальному рівні моделювати дані та управляти збереженням їх; як аналізувати дані; як ефективно завантажити дані з кількох незалежних джерел.
Ці питання можна співвіднести з трьома основними компонентами системи підтримки прийняття рішень: сервер сховища даних, інструментарій оперативного аналітичного оброблення даних та інструменти для поповнення сховища даних.
Оскільки організація інформаційних сховищ є предметом інших дисциплін, розглянемо лише питання аналітичного оброблення даних. На даний час існує низка засобів OLAP, які можна використовувати для аналізу інформації. Це такі програмні продукти як MicroStrategi 7i, WebIntelligence, Cognos Powerplay, AlphaBlox тощо. Зробимо огляд зазначених продуктів, ґрунтуючись на таких критеріях: зручність користування — програмний продукт має бути доволі простим для користувача, який не має спеціальної підготовки; інтерактивність — програмний засіб має реалізовувати інтерактивні можливості, в тому числі: перегляд документів, динамічне оновлення наявних документів, що забезпечує доступ до останньої інформації, динамічне виконання запитів до джерел даних, динамічне необмежене «заглиблення в дані»; функціональність — додаток має забезпечувати такі самі можливості, як і традиційні клієнт/серверні аналоги; доступність — інформація має бути доступною для будь-якого пристрою і робочого місця, а клієнтська частина — бути невеликою, щоб задовольнити різним рівням пропускної здатності мережі користувача та відповідати стандартизованій технології; архітектура — цей критерій характеризує аспекти програмної реалізації продукту; незалежність від джерел даних — додаток має забезпечувати доступ до документів будь-якого типу та надавати інтерактивний доступ до реляційних і багатовимірних баз даних; продуктивність і масштабованість — для забезпечення продуктивності й масштабованості додатка необхідно реалізувати можливості універсального доступу до баз даних, можливість кешування сервером даних тощо;забезпечення безпеки — аспекти адміністрування додатків для надання різних прав доступу різним категоріям користувачів; вартість впровадження й адміністрування — вартість упровадження продукту ОLАР в розрахунку на одного користувача має бути істотно нижчою, ніж для традиційних продуктів. MicroStrategi 7i [43] — набір програмних продуктів з широким діапазоном функцій, побудований на уніфікованій серверній архітектурі. Користувацьке середовище реалізоване у Micro-Strategi Web Professional.
Користувачам пропонується низка статистичних, фінансових і математичних функцій для комплексного ОLАP і реляційного аналізу. Для всіх користувачів передбачений доступ як до агрегованої, так і до детальної інформації (на рівні транзакцій). Можна виконувати нові обчислення, фільтрувати дані звіту, обертати і додавати проміжні сумарні значення, оперативно змінювати вміст звіту.
Основні функціональні можливості досягаються за рахунок таких засобів: MicroStrategi 7і OLAP Services — інтерфейс до продуктів «третіх» фірм; технологія Intelligent Cube
— спрощує виконання аналізу та розгортання, надаючи зведену інформацію для швидкого перегляду в інтерактивному режимі; MicroStrategi Narrowcaster
— дає користувачам можливість пересилати показники або передплачувати їх через Web-інтерфейс. Користувачі можуть пересилати електронною поштою свої звіти, планувати пересилання звітів, публікувати їх для робочих груп й експортувати в Ехсе1, РDF або НТМL-формати.
У цьому продукті забезпечується міжплатформенна підтримка й інтеграція, перенесеність в Unix, підтримка серверів додатків «третіх» фірм.
В основі продукту лежить ХМL-архітектура. Користувачі можуть інтегрувати ХМL-код, що згенерований у MicroStrategi Web, у свої додатки, або форматувати його потрібним чином.
Тонкий клієнт, реалізований у форматі НТМL, усуває проблеми сумісності з браузерами, розгортається через усі засоби мережевого захисту. Вид і функції програми можна налаштувати під конкретні потреби. Можна вбудовувати MicroStrategi Web в інші додатки, що працюють у мережі.
Комп’ютери, на яких працює MicroStrategi Web, можна об’єднувати в кластери, що забезпечує масштабованість і надійність. Передбачено додавання додаткового обладнання. Якщотрапляється збій при виконанні завдання, воно передається на інший комп’ютер з того самого кластеру.
Дані захищені на рівні ячейок з використанням фільтрів захисту і списків управління доступом. Безпека Web-трафіку забезпечується технологією шифрування даних на транспортному рівні
— SSL (Sесіге Sоскет Lеvе1 — рівень захищених сокетів). WebIntelligence [41] — Web-продукт для створення запитів, звітів та аналізу даних. Надає користувачам мережі (як Intгаnеt, так і Еxtгаnеt) захищений доступ до даних для подальшого дослідження їх та управління ними. Він робить аналітичні можливості доступними для різних категорій користувачів. Забезпечений широкий набір засобів бізнес-аналізу, у тому числі створення складних звітів, виконання обчислень, фільтрація, деталізація й агрегація. WebIntelligence забезпечує такі можливості: форматування та друк звітів у режимі візуального проектування; багатоблокові звіти. У складних звітах для передання вичерпної інформації іноді необхідно розмістити одразу кілька таблиць або діаграм. Для цього у WebIntelligence передбачено можливість додавання кількох блоків і діаграм в один звіт; можливості деталізації даних в інтерактивному режимі.
Продукт забезпечує низку функцій: доступ до даних, що зберігаються як у традиційних реляційних базах, так і на ОLАP-серверах; функції аналізу даних; можливість спільного використання інформації. WebIntelligence є «тонким» клієнтом, не вимагає установки й супроводу програмного забезпечення додатків або проміжного програмного забезпечення баз даних на клієнтському місці. При установці клієнтської частини передбачено можливість вибору технології. Забезпечується розгортання на платформах Microsoft Windows та Unix.
За допомогою WebIntelligence можна досліджувати й аналізувати різні ОLАP-джерела даних, а також спільно використовувати ОLАP і реляційні дані.
Продукт налаштовується таким чином, щоб найбільшою мірою відповідати корпоративній структурі будь-якого об’єкта. WebIntelligence може виконуватися як на одному сервері, так і на кількох NТ або Uniх-машинах. Сервери можна додавати у систему мірою потреби, якщо трапляєтьсяся збій на одному з компонентів, автоматично використовується інший. Зважене балансування навантаження між кількома серверами оптимізує системні ресурси і гарантує короткий час відгуку.WebIntelligence використовує різні технології захисту інформації. За необхідності компоненти позначаються за допомогою технології цифрових сертифікатів. Для роботи з різними системами мережевого захисту використовується протокол передання гіпертексту. Cognos Powerplay [42] уможливлює багатовимірний аналіз і створення звітів за ОLАP-даними у Web-середовищі. Виконавши аналітичне оброблення, можна опублікувати отримані звіти на порталі Cognos Upfront, тобто зробити їх доступними для інших користувачів. Останні, перетворивши файли з РDF-формату на динамічні Web-звіти (у форматі РоvегР1ау), зможуть досліджувати ці ОLАP-дані і потім вже поділитися своїми результатами з іншими користувачами порталу.
Додаток має стандартний Web-інтерфейс. Підтримуються основні можливості (вибірка даних із заданими вимірами і значеннями, «заглиблення» у дані, вкладені перехресні таблиці, обчислення, включення/відключення відображення рядків, стовпців і графіків; фільтри, сортування) для перегляду, дослідження, звітності та публікації ОLАP-даних в інтерактивному режимі. Cognos Powerplay забезпечує виконання таких функцій: застосування НТМL/JаvаSсript, яке надає універсальний доступ для користувача, що працює з Netscape Navigator версії 3.0 і вище або Мicrosoft Internet Ехрlover; доступ до ОLАP-даних будь-якого користувача об’єкта; створення та публікація ВРМ-звітів (Business Performance Management — управління ефективністю бізнесу) у вигляді РDF-документів для Cognos Upfront портала, завдяки чому користувачі мають доступ до найважливіших корпоративних даних у середовищі Web; перетворення даних з РDF-формату на динамічні звіти, їх подальше дослідження і передання результатів на Upfront; сервер підтримує роботу з платформами: Windows NT, Windows 2000 і вище, SUN Solaris, HP/UX, IBM AIX.
Завдяки підтримці протоколу SSL РоvегР1ау гарантує захищеність даних, що надсилаються через Web. Крім того, задаючи класи користувачів, системні адміністратори можуть контролювати доступ їх як до локальних кубів, так і в оболонці Web-портала. Ці класи зберігаються у спеціальному, доступному за протоколом LDАР (Light Directory Access Protocol
— полегшений протокол доступу до мережевого каталогу), програмному компоненті, який відповідає за централізоване управління безпекою всієї системи, а також за інтеграцію з поточним захистом.
Використання НТМL для реалізації клієнтських місць передбачає функціонування сервера РоvегР1ау в захищеному середовищі. Тим самим забезпечується безпечне розгортання додатків для клієнтів, партнерів і постачальників. AlphaBlox — сполучне програмне забезпечення, яке надає інструментарій та компонувальні блоки для роботи у WеЬ. Завдяки цьому усуваються складності, пов’язані із захистом мережевих з’єднань з базами даних, авторизацією і форматуванням даних. Аналітична платформа AlphaBlox реалізована на основі стандартизованої J2ЕЕ-сумісної архітектури.
Продукти AlphaBlox спроектовані для проведення аналітичних обчислень всередині і поза об’єктом.
Особливий інтерес становлять Jаvа-компоненти (В1ох). З цих компонентів можна створити аналітичний Web-додаток. Одна з трудомісткіших задач при створенні Wеb-продукту ОLАP — відображення і форматування даних у браузері. Дуже часто дані потрібно показувати як таблицю або діаграми. При створенні програми з використанням AlphaBlox у нього можна вставити будь-яку кількість таких Jаvа-компонентів і налаштувати їх для вирішення потрібних задач шляхом задавання певних параметрів аплетів, тим самим контролюючи вигляд і функції компонентів.
Цей програмний продукт забезпечує такі можливості: доступ до інформації — дані витягуються з різноманітних реляційних і багатовимірних баз даних; запити та аналіз — компоненти виконують прості і складні запити до різних джерел даних, при цьому не потрібне програмування на CQL; подання — можливість подання даних у різних форматах (у вигляді звітів, таблиць, діаграм). Jаvа-компоненти мають модульну структуру і можуть використовуватися багаторазово. Їх можна застосовувати при реалізації аналітичних можливостей для безлічі бізнес-функцій. Оскільки вони управляються набором параметрів, їхні властивості можна змінювати за допомогою текстового редактора. Це забезпечує гнучкість при розробленні й модернізації аналітичного рішення. Компоненти можна налаштовувати для задоволення певних бізнес-вимог і повторно використовувати, впроваджуючи додаткові додатки в інших сферах діяльності. Розробники додатків можуть писати додатковий код на JSР, JavaServlets або мовою JаvаSсript. AlphaBlox-рішення використовують сервіси, що надаються сервером додатків і середовищем Java Runtime Environment (JRE), будь-які Jаvа-розширення або замовні розширення, розроблені для цієї платформи.
Структура додатків AlphaBlox ґрунтується на стандартах і допускає інтеграцію з наявними операційними системами, транзакційною інфраструктурою, із традиційними системами. Забезпечується користувальницький доступ до даних з різних джерел і подальший аналіз їх. AlphaBlox використовує стандартні ресурси і можливості сервера додатків, у тому числі http-оброблення/кешування і керування пам’яттю/процесами, а також інтеграцію з Web-серверами. Крім того, J2ЕЕ-сумісна архітектура усуває зайве оновлення сторінок і дозволяє виконувати основну логіку на сервері. AlphaBlox використовує ту саму модель захисту, що й сервер додатка, реалізовану за допомогою стандартних функцій платформи J2ЕЕ. За рахунок цього усувається необхідність у створенні незалежної моделі механізму захисту.
Простота розгортання — одна з головних переваг Web-додатка. Це повною мірою стосується додатків AlphaBlox. Однак для них потрібні певні версії браузерів і Jаvа платформи, тоді як тонкий НТМL-клієнт працює у більшості браузерів.
Оперативний аналіз даних на базі технології OLAP дає змогу аналітикам, менеджерам і виконавцям вникнути у дані, використовуючи фіксований, спільний, інтерактивний доступ до широкого розмаїття можливих форматів даних, які були отримані з необроблених даних, щоб відобразити реальний стан об’єкта у вигляді, зрозумілому користувачам. Функціональність ОLАP характеризується динамічним багатовимірним аналізом зведених даних об’єкта, необхідних для підтримки кінцевого користувача аналітичними діями, включно з обчисленням та моделюванням, застосовним до даних шляхом аналізу тренда над послідовними інтервалами часу, виконання зрізу підмножини даних для перегляду на екрані, зміни рівня деталізації подання інформації до глибших рівнів узагальнення тощо.
ОLАP-засоби зосереджені на забезпеченні багатовимірного аналізу інформації. Для досягнення цього використовуються багатовимірні моделі збереження і подання даних. Дані організовані в кубах (або гіперкубах), які визначені у багатовимірному просторі, що складається з окремих вимірювань. Кожен вимір включає безліч рівнів деталізації інформації. Типові операції ОLAP включають операції зміни рівня деталізації подання інформації (просування вгору і донизу за ієрархією вимірів), вибору певних частин куба і переорієнтації багатовимірного подання даних на екрані (одержання зведеної таблиці).
Для баз даних ОLAP розроблено еталонний тест АРВ-1 [121]. Цей тест моделює реальну ситуацію для серверного програмного
забезпечення ОLAP. Стандарт визначає набір вимірювань, які визначають логічну структуру. Логічна структура бази даних складається з шести вимірників: час, сценарій, міра, продукт, замовник і канал. Еталонний тест не передбачає конкретної фізичної моделі: вхідні дані забезпечуються у форматі файлів АSCII. Операції тесту ретельно моделюють стандартні операції ОLAP над великими обсягами даних, які послідовно завантажуються із внутрішніх чи зовнішніх джерел. Дані операції включають агрегацію інформації, деталізацію даних за ієрархіями, обчислення нових даних, ґрунтованих на бізнес-моделях тощо.
Розглянуті можливості технології ОLAP є підґрунтям організації та багатомірного аналізу моніторингової інформації. Розглянемо етапи цього процесу.
Перш ніж завантажити інформацію у багатовимірну базу даних моніторингу (ББД), її слід витягти з різних джерел, очистити, перетворити і консолідувати (рис. 1.3). У подальшому цю інформацію треба періодично оновлювати.
Рис. 1.3. Етапи підготовки даних для аналізу
Витяг даних — це процес вибірки даних з операційних баз даних та інших джерел. Аналіз наявних джерел інформації показує, що більша частина їх подана у вигляді табличних даних, які є або в електронному, або у друкованому вигляді. Сучасні засоби сканування та розпізнавання зображень дозволяють практично повністю автоматизувати цей етап підготовки даних.
Перш ніж заносити інформацію в базу даних, обов’язково потрібно виконати її очищення. Зазвичай очищення передбачає заповнення відсутніх значень, коригування друкарських помилок та інших допущених при введенні даних помилок, визначення стандартних скорочень і форматів, заміну синонімів стандартними ідентифікаторами тощо. Дані, які визначаються як помилкові й не можуть бути виправлені, відкидаються.
Після очищення даних необхідно перетворити всю отриману інформацію на формат, який відповідатиме вимогам використовуваного програмного продукту (ОLАР-сервера). Процедура перетворення набуває особливої важливості, коли необхідно об’єднати дані, що надійшли з кількох різних джерел. Цей процес називається консолідацією.
Етап завантаження інформації в ББД полягає у створенні необхідної структури даних і заповненні її інформацією, отриманою на попередніх етапах підготовки даних.
Витяг інформації із ББД дозволяє здійснювати Microsoft SQL Server Analysis Services, що є одночасно постачальником як багатовимірних даних (multidimensional data provider), так і табличних даних (tabular data provider). Отже, виконання запиту повертає або багатовимірний набір даних, або звичайну таблицю залежно від використовуваної мови запитів. Analysis Services підтримує як SQL, так і розширення МDХ (multidimensional ехрrеssions). SQL-запити можуть передаватися в Analysis Services, використовуючи такі засоби доступу до даних: Microsoft OLE DB та OLE DB для OLAP; Microsoft ActiveX Data Objects (ADO) та ActiveX Data Objects Multidimensional (ADO MD).
ОLЕ DВ для ОLАР розширює можливості ОLЕ DВ, включно з об’єктами, специфічними для багатовимірних даних. АDО МD розширює АDО аналогічним чином. Microsoft SQL Server Analysis Services дозволяє виконувати запити з МDХ-розширеннями, які забезпечують багатий і потужний синтаксис запитів для роботи з багатовимірними даними, збереженими ОLАР-сервером у кубах. Analysis Services підтримує функції МDХ для визначення обчислюваних полів, побудови локальних кубів даних і виконання запитів, використовуючи компонент зведених таблиць (Рi1оt Таblе Services).
Можливе створення функцій користувача, які працюють з багатовимірними даними. Взаємодія з ними (передання аргументів і повернення результату) відбувається із використанням синтаксису МDХ. Analysis Services забезпечує понад 100 вбудованих МDХфункцій для визначення складних обчислюваних полів. Ці функції поділяють на такі категорії: робота з масивами; робота з вимірами; робота з ієрархіями; робота з рівнями ієрархій; логічні функції; робота з об’єктами; числові функції; робота з наборами; робота з рядками; робота з кортежами.
Можливе створення локальних кубів, призначених для перегляду на комп’ютерах, де не встановлено ОLАР-сервера. Створення локальних кубів вимагає використання МDХ-синтаксису і відбувається через компонент зведених таблиць (Рi1оt Таblе Services), який є ОLЕ DВ-клієнтом ОLАР-сервера. Цей компонент також уможливлює автономну роботу з локальними кубами за відсутності з’єднання з ОLАР-сервером, надаючи інтерфейс джерела даних ОLЕ DВ. Для створення локальних кубів використовують оператори CREATE CUBE i INSERT INTO.
Мова запитів МDХ, яка є розширенням SQL, дає змогу здійснювати запити кубів з даними і повертати результат у вигляді багатовимірних наборів даних.
Так само, як і в звичайному SQL, творець МDХ-запиту має спочатку визначити структуру набору даних, що повертається. У більшості випадків творець МDХ-запиту уявляє собі повернений набір даних у вигляді багатовимірних структур. На відміну від звичайного SQL-запиту, який оперує з таблицями для отримання двомірного набору записів, МDХ-запит має справу з кубами для формування багатовимірного результативного набору даних. Слід зазначити, що МDХ-запит може повертати і двовимірні набори даних, які є окремим випадком багатомірного набору даних.
Візуалізація багатовимірних наборів даних може бути досить важкою. Один із методів візуалізації полягає в обмеженні подання плоскою, двомірною таблицею, використовуючи безліч вкладених вимірювань вздовж однієї осі. Така вкладеність призведе до появи підзаголовків.
Рi1оt Таblе Services, що входить до складу Microsoft SQL Server Analysis Services, є ОLАР-сервером, призначеним для отримання доступу до даних ОLАР. Цей компонент функціонує як клієнт Analysis Services.
Функції Рi1оt Таblе Services полягають в аналізі даних, побудові кубів і в оптимальному управлінні пам’яттю. Компонент надає інтерфейс до багатовимірних даних. Можливе збереження даних у локальному кубі на комп’ютері клієнта і подальший аналіз без підключення до ОLАР-серверу. Рi1оt Таblе Services потрібен для виконання таких завдань: установлення з’єднання з ОLАР-сервером як клієнтським компонентом; надання програмам інтерфейсу ОLЕ DВ з ОLАРрозширеннями; функціонування в якості табличного джерела даних, що підтримує підмножина SQL;
функціонування в якості багатовимірного джерела даних, що підтримує МDХ-розширення; створення локального куба даних; функціонування в якості мобільного настільного ОLАРклієнта.
Компонент зведених таблиць може працювати тільки з одним локальним розділом куба. Також у ньому немає вбудованої системи управління рівнями надання інформації. Тому продуктивність Рi1оt Таblе Services прямо пропорційна обсягу даних, до яких він адресується.
Слід зазначити, що ОLАР-інтерфейс простий і вимагає знань не більше, ніж електронна таблиця. ОLАР надає можливість використовувати різні форми звітів, інтерфейс інтерактивного аналізу даних і можливість генерації друкарських форм. Однак порівняно з традиційними способами програмування і генерації користувацьких звітів ОLАР не тільки в сотні разів зменшує витрати на програмування, а й змінює сам принцип роботи користувача зі звітом.
Відмінність ОLАР як інструменту генерації звітів полягає в можливості автоматичного й інтерактивного виконання таких операцій з даними: рекурсивного угруповання даних; обчислення проміжних підсумків за підгрупами; обчислення остаточних підсумків.
Команди на виконання цих операцій даються самим користувачем. Як елементи управління виступають розділи використовуваної таблиці. Коли користувач змінює форму звіту (наприклад, переміщує стовпчики), система виконує розрахунки проміжних підсумків і відображає новий звіт.
Додатково користувач може змінити сортування і виконати фільтрацію за довільними сполученнями даних, побачити дані у відсотковому вираженні, змінити масштаб і виконати інші необхідні перетворення звіту (ці можливості не є неодмінним атрибутом технології ОLАР, а залежать від конкретної реалізації інструменту).
У результаті користувач може самостійно, інтуїтивно зрозумілим йому способом з наявного набору даних сформувати всі можливі для цього набору види звітів. Це допомагає подолати одвічне обмеження інформаційних систем, яке полягає в тому, що потужність інтерфейсів завжди нижча за потужність бази даних.
Технологія ОLАР дає змогу реалізувати практично всі можливі види табличного зображення вмісту бази даних. Якщо продукт досить гнучкий, то завданням програміста є опис семантичного шару (словника), після чого кваліфікований користувач може са-мостійно створювати нові куби, оперуючи термінами відомої йому предметної царини. Решта користувачів можуть формувати звіти по кожному кубу.
Таким чином, технологія ОLАР слугує як розробникам, так і користувачам у всіх тих випадках, коли потрібно бачити інформацію у формі табличних звітів, в яких дані згруповані, а для груп обчислено підсумкові показники.
Досвід свідчить, що недостатньо надати користувачам великий куб, що складається з безлічі вимірювань і фактів. Це зумовлено такими причинами.
По-перше, у кожен момент користувачеві потрібен цілком певний звіт.
По-друге, деякі алгоритми обчислення підсумків описуються складними формулами, а користувач може не володіти достатньою кваліфікацією для їх визначення.
По-третє, ОLАР-звіт може мати специфічну, задану автором звіту методику розрахунку підсумків, розташування вимірювань і початкових умов сортування.
По-четверте, у багатьох випадках зрозуміти дані простіше, якщо дивитися не на таблицю з цифрами, а на діаграму. Для налаштування ОLАР-діаграми іноді потрібно мати непогану просторову уяву, оскільки куб із безліччю вимірів потрібно відобразити як набір фігур або ліній у тривимірному рисунку. Кількість властивостей сучасних графічних компонентів обчислюється тисячами, тому попереднє налаштовування діаграми або графіка для ОLАР-звіту може забрати багато часу.
По-п’яте, як і для будь-якого іншого звіту, для ОLАР-звіту важливим є його ефектне оформлення, що включає налаштування заголовків і підписів, кольорів і шрифтів.
Таким чином, для комфортної роботи користувача ОLАР-звіт має містити певний набір прикладних метаданих, що описують алгоритми агрегації, попередні умови фільтрації і сортування, заголовки і коментарі, правила візуального оформлення.
При візуалізації інформації багатовимірного куба значущим чинником є упорядкування вимірювань згідно з їх схожістю. Основна ідея полягає в тому, що вимірювання, які характеризують схожі параметри, розташовуються поруч. Для визначення схожих вимірювань застосовують різні методи кластеризації, зокрема, можна використовувати евристичні алгоритми.
Описана інформаційно-аналітична технологія не є єдино можливою. Але всі вони є розвитком Business intelligence (BI), призначенням якої є збирання, систематизація, аналіз та подання ін-формації. Вибір конкретної інформаційно-аналітичної технології залишається за користувачем з урахуванням особливостей об’єкта предметної царини. ?
Контрольні запитання до розділу 1
1. Дайте визначення моніторингу.
2. Наведіть структурну схему моніторингу в системі управління об’єктом.
3. Що є ознаками класифікації систем моніторингу?
4. Наведіть класифікацію систем моніторингу.
5. Дайте визначення кожного з видів моніторингу.
4. Які функції і задачі виконує моніторинг?
5. У чому полягають принципи організації моніторингу?
6. У чому полягають сутність і призначення технології OLAP?
7. Сформулюйте принципи концепції OLAP.
8. Якими можливостями володіє технологія OLAP?
9. Схарактеризуйте можливі засоби аналізу інформації.
Література до розділу 1
1. Бушмелева Г.В. Содержание категории «мониторинг социальноэкономических и экологических процессов» / Г.В. Бушмелева // Управление общественными и экономическими системами. — 2006.
— № 2.
— 8 с. — Режим доступа: http://www.bali.ostu.ru
2. Галіцин В.К. Системи моніторингу: Монографія / В.К. Галіцин. — К.: КНЕУ, 2000. — 231 с.
3. Елманова Н. Введение в технологии Microsoft / Н.Елманова, А.Федоров. — М.: Диалог-МИФИ, 2002.
— 268 с.
4. Методы и модели анализа данных: OLAP и Data Mining /[А.А.Барсегян, М.С.Куприянов, В.В.Степаненко, И.И.Холод]. — СПб.: БХВ-Петербург, 2004. — 336 с.
5. Посібник з моніторингу та оцінювання програм регіонального розвитку / [Винницький Б., Лендьел М., Ратейчак Ю., Санжаровський І.]. — К.: К.І.С., 2007. — 80 с.
6. Руководство по планированию, мониторингу и оценке результатов развития: Программа Развития Организации Объединенных наций.
— New York, NY 10017, USA. — 223 с. — Режим доступа: http://www.undp.org/eo/handbook
7. Шевяков А.Ю. Социально-экономический мониторинг: концепция, проблемы, перспективы / А.Ю. Шевяков, Г.Б. Клейнер // Экономика и математические методы.
— 1993. — Т. 29.
— Вып. 1.
— С. 5–14.РОЗДІЛ 2
