Важливою перевагою даного методу порівняно з FAM є те, що правила не зважуються. Проблемою є визначення кількості вихідних нейронів і значень a для кожної задачі навчання. Оскільки форма функції приналежності суттєво впливає на якість роботи мережі, дані можуть бути краще використані порівняно з FAM. Оскільки процедура навчання Коско не бере до уваги відношення сусідства між вихідними нейронами, не завжди можна отримати гарне топологічне відображення вхідних даних до вихідного. Отже, навчальна процедура FAM більше залежить від послідовності навчальних даних, ніж навчальна процедура Педрича. Спочатку визначається структура простору ознак і потім, використовуючи доступні нечіткі розбиття, отримують лінгвістичні описи, що найкраще відповідають результатам навчання. Якщо велика
Ефективність зазначеного методу все ще залежить від кроку навчання та розміру околиці для модифікації ваг, які залежно від задачі визначаються евристично.
Системи, здатні навчати нечіткі множини. Учені Номура (H. Nomura), Хаяши (I. Hayashi) та Вакамі (N. Wakami) запропонували метод контрольованого навчання для настроювання параметрів нечітких множин нечіткої системи Такагі-Сугено.
Метод навчання використовує процедуру градієнтного спуску, котра використовує міру помилки E (різниця між фактичним і цільовим значенням виходу) для настроювання параметрів функцій приналежності. Указана процедура подібна дельта-правилу багатошарових персептронів. Навчання здійснюється в режимі реального часу. Для вхідного вектора обчислюється результатна помилка E, заснована на зміні консеквентів правил. Потім для тих самих екземплярів настроюються параметри функцій приналежності. Це робиться для того, аби врахувати зміни в консеквентах, коли модифікуються антецеденти.
Серйозним недоліком даного методу є те, що подання лінгвістичних значень вхідних змінних залежить від правил, у яких вони з’являються. Спочатку ідентичні лінгвістичні терми подаються ідентичними функціями приналежності. Протягом процесу навчання вони можуть по-різному змінюватися, так щоб ідентичні лінгвістичні терми були подані різними нечіткими множинами. Даний метод застосовується тільки до систем нечіткого виведення типу Такагі-Сугено.
Використовуючи подібний підхід, Мійоши (T. Miyoshi), Тано (S.Tano), Като (Y. Kato) та Арнольд (T. Arnould), налагоджували оператори t-норми і t-конорми, у той час, як Ягер (R. Yager) налагоджував оператор дефазифікації, використовуючи метод контрольованого навчання.
15.6. Конкурентні нейро-нечіткі системи
У конкурентній моделі нейронна мережа допомагає системі нечіткого виведення безупинно визначати необхідні параметри, особливо, якщо вхідні змінні не можуть бути безпосередньо вимірювані. Така комбінація мереж не оптимізує нечітку систему,
кількість екземплярів не відповідає жодному з описів, це може пояснюватися неправильним вибором функцій приналежності, і вони можуть бути перевизначені. Отже, для навчання нечітких правил цей підхід є кращим порівняно з FAM.
У деяких випадках виходи нечіткої системи безпосередньо не можуть бути застосовні до керованого процесу. У цьому випадку нейронна мережа може діяти як постпроцесор виходів нечіткої системи.
На рис. 5.5 зображено конкурентну нейро-нечітку систему, де вхідні дані подаються на входи нейронної мережі, а вихід нейронної мережі далі обробляється нечіткою системою.
Рис. 5.5. Конкурентна нейро-нечітка система
15.7. Апріорна інформація про навчальну вибірку
Нейро-нечіткі мережі поєднують у собі концепції нечітких систем та нейромереж: вони дозволяють одержувати моделі, у яких виведення здійснюється на основі апарату нечіткої логіки, але відповідні функції приналежності налагоджуються з використанням методів навчання нейромереж. Такі моделі є логічно прозорими, але відомі методи їхнього синтезу дуже повільні та високо ітеративні. Крім того, точність і узагальнювальні властивості нейро-нечітких моделей, одержуваних на основі традиційних методів, є недостатніми й залежать як від тривалості навчання, так і від кількості термів для кожної із вхідних змінних, що задається користувачем.
Тому актуальним є розроблення методів, які дозволяють у неітеративному режимі (без тривалої оптимізаційної підгонки параметрів) синтезувати ефективні нейро-нечіткі моделі з високими узагальнювальними властивостями.
Для синтезу нейро-нечітких моделей у неітеративному режимі пропонується враховувати апріорну інформацію про екземпляри навчальної вибірки, а скорочення надмірності та підвищення якості апроксимації і рівня узагальнення моделей пропонується досягати шляхом редукції блоків мережі, що дублюються.
але допомагає поліпшити експлуатаційні якості всієї конкуруючої системи. Навчання застосовується тільки для нейронної мережі, а нечітка система залишається незмінною протягом цієї стадії.
Нехай ми маємо навчальну вибірку x, що складається з S екземплярів x s , де s — номер екземпляра, s = 1, 2, ..., S. Кожен s-ий екземпляр будемо характеризувати набором значень N ознак x s j , де j — номер ознаки s-го екземпляра, j = 1, 2, ..., N. Крім того, кожному екземпляру x s зіставимо цільову ознаку y s* — номер класу s-го екземпляра.
До апріорної інформації про екземпляри навчальної вибірки можна віднести показники індивідуальної інформативності ознак, а також параметри, що характеризують межі областей групування екземплярів.
Розіб’ємо інтервал значень кожної ознаки екземплярів навчальної вибірки на інтервали, в яких номер класу залишається незмінним. Це дасть нам можливість визначити, з одного боку, скільки буде потрібно поділяючих площин, перпендикулярних вісі кожної ознаки, а з другого — дозволить визначити ліву і праву межі інтервалів для класів за віссю кожної ознаки. Кількість інтервалів, а також значення меж і номери класів інтервалів для кожної ознаки можна знайти, виконавши кроки 1—12.
Крок 1. Ініціалізація. Задати навчальну вибірку екземплярів, подану у вигляді масиву даних x, у якому ознаки лінеаризовано за рядками, а екземпляри — за стовпцями, а також відповідний масив y * = {y s* }, що містить номери класів, зіставлені екземплярам навчальної вибірки. Створити масив {D j }, котрий за розміром дорівнює кількості ознак N, елементи якого будуть містити кількість інтервалів для кожної ознаки. Установити: D j = 0, j = 1, 2, ..., N, де j — номер поточної ознаки. Занести кількість екземплярів навчальної вибірки до змінної S. Установити номер поточної ознаки: i = 1.
Крок 2. Якщо i ? N, тоді перейти до кроку 3, інакше — перейти до кроку 12.
Крок 3. Занести до буфера ознаки x вектор значень i-ої ознаки з навчальної вибірки: x(j) = x s i ; занести до буфера класу в копію масиву y * : y(s) = y s* , s = 1, 2, ..., S.
Крок 4. Відсортувати масиви x та y у порядку зростання масиву x (кроки 4.1—4.7 реалізують найпростіший метод бульбашкового сортування, який можна замінити на практиці більш швидким методом).
Крок 4.1. Установити номер поточного екземпляра: s = 1.
Крок 4.2. Якщо s ? S, тоді перейти до кроку 4.3, інакше — до кроку 5.
Крок 4.3. Установити номер поточного екземпляра: k = s + 1.
Крок 4.4. Якщо k ? S, тоді перейти до кроку 4.5, у протилежному випадку — перейти до кроку 4.7.
Крок 4.5. Якщо x(s) > x(k), тоді установити: z = x(s), x(s) = x(k), x(k) = z, z = y(s), y(s) = y(k), y(k) = z, де z — буферна змінна.
Крок 4.6. Установити: k = k + 1. Перейти до кроку 4.4.
Крок 4.7. Установити: s = s + 1. Перейти до кроку 4.2.
Крок 5. Установити: s = 1, k = 1.
Крок 6. Якщо s ? S, тоді установити: a t= x(s), де a t — буфер для збереження лівої межі k-го інтервалу i-ої ознаки, та перейти до кроку 7, у протилежному випадку — перейти до кроку 11.
Крок 7. Поки s < S та y(s) = y(s + 1) виконувати: s = s + 1.
Крок 8. Якщо s = S та y(s) = y(s – 1), тоді установити: K(i, k) = y(s), A(i, k) = a t , B(i, k) = x(s), k = k+1, s = s + 1, перейти до кроку 10. Тут K(i, k) — номер класу, зіставлений екземплярам навчальної вибірки, значення i-ої ознаки яких потрапляє всередину k-го інтервалу; A(i, k) і B(i, k) — ліва і права межі k-го інтервалу i-ої ознаки, відповідно.
Крок 9. Якщо s < S та y(s) ? y(s + 1), тоді установити: K(i, k) = y(s), A(i, k) = a t , B(i, k) = x(s), k = k + 1, s = s + 1, D i = D i + 1, у протилежному випадку — установити: K(i, k) = y(s), A(і, k) = x(s), B(і, k) = x(s), k = k + 1, s = s + 1.
Крок 10. Перейти до кроку 6.
Крок 11. Установити: і = і + 1, перейти до кроку 2.
Крок 12. Зупинення.
У результаті виконання кроків 1—12 для навчальної пари {x, y} ми дістанемо масив {D j }, що містить для кожної ознаки кількість інтервалів, на які вона розбивається, а також масиви {A(i, k)}, {B(i, k)} та {K(i, k)}, що містять інформацію про межі інтервалів і номери класів, зіставлених їм для всіх ознак.
На основі цих масивів сформуємо масив {K(q)}, що містить номери класів для інтервалів ознак, упорядкованих у порядку зростання номерів ознак і номерів інтервалів значень ознаки.
Даний метод поряд із визначенням меж інтервалів значень ознак дозволяє визначити й оцінки інформативності ознак. Як міру інформативності ознаки стосовно вихідного параметра (міру впливу ознаки на вихідний параметр) будемо використовувати кількість інтервалів, на які розбивається діапазон значень ознаки, таких, що екземпляри зі значенням ознаки, які потрапили в один інтервал, належать до одного класу, а екземпляри суміжних інтервалів належать до різних класів (чим менша кількість інтервалів, тим більша інформативність ознаки, і навпаки).
Показники інформативності ознак I j , таким чином, будемо
визначати за формулою: jj Ni j DDІ ? ? ? ? ? ? = =,...,2,1 min, j = 1, 2, ..., N.
Будь-яка нечітка нейронна мережа працює як система нечіткого логічного висновку, але будується не за допомогою інженерії знань, а за допомогою навчання за зразками. У результаті матриця ваг відображає щільність зв’язку вхідних і вихідних змінних. Результатом навчання нечіткої нейронної мережі служить не тільки матриця ваг, але й сукупність правил та оцінок їх достовірності. Отже, будь-яка гібридна система є як мінімум дворівневою, що включає систему і метасистему, яка відображатиме систему першого рівня. Виходячи з викладеного, можна уявити нечіткі нейронні мережі як когнітивні моделі, що мають співвідношення свідомого (логічного) і несвідомого (аналогового, обчислювального) процесів у розв’язанні інтелектуальної задачі.
Отже, у нечіткій нейронній мережі можна поєднувати маніпулювання образами, заданими кількісними параметрами, з переробленням символів (слів). Така можливість закладена в самій базовій конструкції теорії нечітких множин. Кожна нечітка множина пов’язує слово, ім’я з порядковою або метричної шкалою за допомогою функції приналежності, тобто кількісно моделює нову якість — сенс. Інтеграція НМ та імовірнісних обчислень привела до створення і широкого використання радіальних базисних мереж, мереж регресії, імовірних мереж, баєсовський мереж. Першою особливістю таких мереж є паралельне формування не тільки рішення, але й імовірнісної оцінки такого рішення. Наприклад, мережі регресії, які використовують переважно для класифікації, не тільки співвідносять з класом вектор вхідних даних, а й формують імовірність такого класифікування.
Таким чином, імовірнісні нейронні мережі поєднують власне розпізнавання образу з формуванням його оцінки і можуть служити для моделювання сприйняття.
Особливістю гібридних систем є їхня принципова інтерпретованість, тобто як і будь-яка система логічного висновку, гібридна система пояснює свій результат за допомогою зворотного пошуку.
Другою особливістю імовірнісних НМ служить складна пошарова структура, тому що різні шари містять різні типи нейронів. Така структура приводить і до складних багатокрокових алгоритмів навчання, які часто включають у себе змагальне навчання за Кохоненом, навчання на основі штрафів, за алгорит-jj Ni j DDІ ? ? ? ? ? ? = =,...,2,1 min, j = 1, 2, ..., N.
Будь-яка нечітка нейронна мережа працює як система нечіткого логічного висновку, але будується не за допомогою інженерії знань, а за допомогою навчання за зразками. У результаті матриця ваг відображає щільність зв’язку вхідних і вихідних змінних. Результатом навчання нечіткої нейронної мережі служить не тільки матриця ваг, але й сукупність правил та оцінок їх достовірності. Отже, будь-яка гібридна система є як мінімум дворівневою, що включає систему і метасистему, яка відображатиме систему першого рівня. Виходячи з викладеного, можна уявити нечіткі нейронні мережі як когнітивні моделі, що мають співвідношення свідомого (логічного) і несвідомого (аналогового, обчислювального) процесів у розв’язанні інтелектуальної задачі.
Отже, у нечіткій нейронній мережі можна поєднувати маніпулювання образами, заданими кількісними параметрами, з переробленням символів (слів). Така можливість закладена в самій базовій конструкції теорії нечітких множин. Кожна нечітка множина пов’язує слово, ім’я з порядковою або метричної шкалою за допомогою функції приналежності, тобто кількісно моделює нову якість — сенс. Інтеграція НМ та імовірнісних обчислень привела до створення і широкого використання радіальних базисних мереж, мереж регресії, імовірних мереж, баєсовський мереж. Першою особливістю таких мереж є паралельне формування не тільки рішення, але й імовірнісної оцінки такого рішення. Наприклад, мережі регресії, які використовують переважно для класифікації, не тільки співвідносять з класом вектор вхідних даних, а й формують імовірність такого класифікування.
Таким чином, імовірнісні нейронні мережі поєднують власне розпізнавання образу з формуванням його оцінки і можуть служити для моделювання сприйняття.
Особливістю гібридних систем є їхня принципова інтерпретованість, тобто як і будь-яка система логічного висновку, гібридна система пояснює свій результат за допомогою зворотного пошуку.
Другою особливістю імовірнісних НМ служить складна пошарова структура, тому що різні шари містять різні типи нейронів. Така структура приводить і до складних багатокрокових алгоритмів навчання, які часто включають у себе змагальне навчання за Кохоненом, навчання на основі штрафів, за алгорит-визначати за формулою: jj Ni j DDІ ? ? ? ? ? ? = =,...,2,1 min, j = 1, 2, ..., N.
Будь-яка нечітка нейронна мережа працює як система нечіткого логічного висновку, але будується не за допомогою інженерії знань, а за допомогою навчання за зразками. У результаті матриця ваг відображає щільність зв’язку вхідних і вихідних змінних. Результатом навчання нечіткої нейронної мережі служить не тільки матриця ваг, але й сукупність правил та оцінок їх достовірності. Отже, будь-яка гібридна система є як мінімум дворівневою, що включає систему і метасистему, яка відображатиме систему першого рівня. Виходячи з викладеного, можна уявити нечіткі нейронні мережі як когнітивні моделі, що мають співвідношення свідомого (логічного) і несвідомого (аналогового, обчислювального) процесів у розв’язанні інтелектуальної задачі.
Отже, у нечіткій нейронній мережі можна поєднувати маніпулювання образами, заданими кількісними параметрами, з переробленням символів (слів). Така можливість закладена в самій базовій конструкції теорії нечітких множин. Кожна нечітка множина пов’язує слово, ім’я з порядковою або метричної шкалою за допомогою функції приналежності, тобто кількісно моделює нову якість — сенс. Інтеграція НМ та імовірнісних обчислень привела до створення і широкого використання радіальних базисних мереж, мереж регресії, імовірних мереж, баєсовський мереж. Першою особливістю таких мереж є паралельне формування не тільки рішення, але й імовірнісної оцінки такого рішення. Наприклад, мережі регресії, які використовують переважно для класифікації, не тільки співвідносять з класом вектор вхідних даних, а й формують імовірність такого класифікування.
Таким чином, імовірнісні нейронні мережі поєднують власне розпізнавання образу з формуванням його оцінки і можуть служити для моделювання сприйняття.
Особливістю гібридних систем є їхня принципова інтерпретованість, тобто як і будь-яка система логічного висновку, гібридна система пояснює свій результат за допомогою зворотного пошуку.
Другою особливістю імовірнісних НМ служить складна пошарова структура, тому що різні шари містять різні типи нейронів. Така структура приводить і до складних багатокрокових алгоритмів навчання, які часто включають у себе змагальне навчання за Кохоненом, навчання на основі штрафів, за алгорит-
Резюме за змістом теми
Одним з найпотужніших засобів для побудови нечітких моделей є пакет Matlab. Операції з нечіткою логікою у пакеті Matlab дозволяє виконувати модуль Fuzzy Logic Toolbox. Він дає змогу створювати системи нечіткого логічного виведення і нечіткої класифікації в межах середовища MatLab, з можливістю їх інтеграції в засіб Simulink пакета Matlab.
Перша категорія програмних інструментів пакета Fuzzy Logic Toolbox містить функції, які можуть бути викликані безпосередньо способом набору імені функції в командному вікні або з власних, призначених для користувача додатків. Більшість із цих функцій є функціями Matlab у вигляді m-файлів. У цьому випадку користувач може подивитися запрограмовані в указаних функціях алгоритми, а також редагувати і коректувати ці файли.
За способом відображення нечітких множин у структурі мережі нейро-нечіткі мережі бувають трьох основних типів:
— системи, побудовані на вибіркових нечітких множинах. У таких системах ступені приналежності описані лише для деяких значень з області визначення і функція приналежності подана у вигляді вектора. Кожному ступеню приналежності відповідає тільки один вхідний або вихідний нейрон. Існує два підходи до реалізації таких систем. У першому система просто апроксимує відповідність виходів входам, така система є «чорною скринею». У другому створюється система зі спеціальною архітектурою, в якій утілюються нечіткі правила;
— системи, параметризовані функції приналежності яких зберігаються в нейронах. Прикладом таких систем є ANFIS;
— системи, в яких параметризовані функції приналежності використовуються як ваги зв’язків між нейронами. Таку систему інакше можна назвати персептроном з нечіткими зв’язками або нечітким персептроном. Прикладами таких систем є NEFCON, NEFCLASS, NEFPROX.
За характером навчання виокремлюють такі типи нейро-нечітких мереж:
— самоналагоджувані нейро-нечіткі мережі — з адаптацією структури та параметрів;
— адаптивні нейро-нечіткі мережі — із жорсткою структурою та адаптацією параметрів мережі.
мом зворотного поширення помилки. Такі алгоритми навчання далекі від мінімізації функції помилки за допомогою методу градієнтного спуску, вони комбінують кластеризацію зразків, пошук залежностей, тобто моделюють узагальнення, породження понять у процесі навчання.
Адаптивні нейро-нечіткі мережі за видом методу оптимізації поділяють на такі, що використовують детерміновані методи типу градієнтного пошуку, та такі, що використовують стохастичні методи, зокрема еволюційні.
Адаптивні нейро-нечіткі мережі за типом параметрів адаптації поділяють на мережі з адаптацією параметрів функцій приналежності, мережі з адаптацією ваг правил та мережі з адаптацією параметрів оператора агрегації.
Терміни та поняття до теми Fuzzy Logic Toolbox — це пакет прикладних програм, що входять до складу середовища MatLab.
Нейро-нечітка мережа — це подання системи нечіткого виведення у вигляді нейронної мережі, зручної для навчання, поповнення, аналізу та використання.
Копіювання навчальної вибірки в БЗ — для кожного екземпляра навчальної вибірки формується окреме правило.
Питання для самоконтролю
1. Що таке нечіткість знань та у чому воно проявляється?
2. Де і для яких задач доцільно та недоцільно застосовувати нечітку логіку? Які теореми це підтверджують?
3. Надайте визначення поняттям: нечітка множина, чітка підмножина, функція приналежності, нечітка підмножина, множина приналежностей, нечітка змінна, лінгвістична змінна, терммножина, терм, нечіткий терм, семантична процедура. Наведіть приклади цих понять.
4. Які існують методи побудови та запису функцій приналежності?
5. Як візуалізувати функції приналежності нечітких множин?
6. Які основні типи функцій приналежності реалізовано у пакеті Matlab? Наведіть їх аналітичний запис, формат виклику в пакеті Matlab та побудуйте графіки.
7. Надайте визначення характеристик та властивостей нечітких множин: висота, нормальність, субнормальність, порожність, унімодальність, ядро, носій, скінченність, нескінченність, межі, точки переходу, найближча чітка множина, опуклість, міра нечіткості Ягера, лінійний індекс нечіткості, квадратичний індекс нечіткості, ентропія, міра нечіткості Коско, кардинальне число, чітка множина альфа-рівня.
8. Надайте визначення операцій над нечіткими множинами: доповнення, інволюція, включення, непорівненість, рівність, власна нечітка підмножина, об’єднання, перетинання, різниця, симетрична різниця, диз’юнктивна сума, алгебраїчний добуток, алгебраїчна сума, обмежена сума, обмежена різниця, обмежений добуток, драстичне перетинання, драстичне об’єднання, ?-сума, піднесення до степеня, СОN, DIL, множення на число, опукла комбінація, декартовий добуток, нормалізація, імплікація, включення, еквівалентність, оператор збільшення нечіткості. Які нечіткі операції реалізовано у пакеті Matlab?
9. Які властивості мають нечіткі операції та які існують закони нечіткої логіки?
10. Які існують узагальнення нечітких операцій?
11. Надайте визначення T-норми та S-конорми?
12. Що таке: нечітка величина, нечіткий інтервал, нечітке число, нечіткий нуль, позитивне і негативне нечіткі числа, нечітке число (L-R)-типу, функція приналежності нечітких чисел (L-R)-типу, нечітке n-арне відношення, нечітке відношення на множині?
13. У чому відмінності звичайних та нечітких чисел?
14. Як визначаються операції над нечіткими числами?
15. Що таке: n-арне відношення, повне та пусте нечіткі відношення, нечіткий предикат, предметні змінні та ПРГ нечіткого предикату?
16. Які існують способи задавання нечітких відношень?
17. За допомогою яких показників характеризують нечіткі відношення?
18. Надайте визначення поняттям: мода нечіткого відношення, скінчене й нескінчене, рефлексивне й антирефлексивне, симетричне й асиметричне, зворотне й транзитивне нечіткі відношення, транзитивне замикання нечіткого відношення.
19. Як визначаються операції над нечіткими відношеннями? Що таке звичайне відношення, найближче до нечіткого?
20. Як визначаються згортки: (mах-*)-композиція, (min-*)-композиція та (sum-prod)-композиція? Які властивості вони мають?
21. Що таке нечітка БЗ, правила Мамдані, правила ТакагіСугено, антецедент і консеквент правила, імплікація, нечітке логічне виведення, нечіткий «modus ponens»?
22. Які існують етапи та з яких компонентів складаються системи нечіткого виведення? На які типи класифікують системи нечіткого виведення?
23. У чому полягають висхідний та низхідний методи нечіткого виведення? Опишіть основні етапи методів Мамдані, Цукамото, Сугено та Ларсена.
24. Що таке фазифікація та дефазифікація? Надайте визначення основних методів дефазифікації: середній з максимальних, найбільший з максимальних, найменший з максимальних, центр тяжіння, метод медіани, висотна дефазифікація.
25. Що таке: клас, кластер, кластерний аналіз, задача кластеризації, норма, евклідова норма, діагональна норма, норма Махаланобіса, індекс Хіє-Бені?
26. На які різновиди класифікують методи кластер-аналізу?
27. У чому полягають методи нечітких с-середніх, Густавсона-Кесселя, гірської та субтрактивної кластеризації?
28. Які існують засоби для створення нечітких моделей у пакеті Matlab? Що таке структура FIS?
Завдання для індивідуальної роботи, обов’язкові та додаткові практичні завдання
Підготувати реферат на одну з таких тем:
1. Методи визначення функцій приналежності нечітких множин.
2. Операції над нечіткими множинами та відношеннями.
3. Закони чіткої та нечіткої логік.
4. Узагальнення нечітких операцій.
5. Нечіткі числа та операції з ними.
6. Методи нечіткого виведення.
7. Методи дефазифікації.
8. Нечіткий кластерний аналіз.
9. Програми для нечіткого моделювання.
Література для поглибленого вивчення матеріалу
1. Люгер Дж. Ф. Искусственный интеллект. — М.: Вильямс, 2005.
— 864 с.
2. Заде Л. А. Размытые множества и их применение в распознавании образов и кластер-анализе. — В сб.: Классификация и кластер. — М.: Мир, 1980. — С. 208—247.
3. Іванченко Г. Ф. Системи штучного інтелекту: Навч. посіб. — К.: КНЕУ, 2011. — 382 с.
4. Дубровiн В. I., Субботiн С. О. Методи оптимiзацiї та їх застосування в задачах навчання нейронних мереж: Навч. посiб. — Запорiжжя: ЗНТУ, 2003. — 136 с.
