Преподаватель: к. ф.-м.н. Ежов А.А.
Лекции 1 неделя Нейрокомпьютер – средство работы с образами. Системы, основанные на теории и на данных. Биты как физические системы. Логические гейты и их реализация. Нейрокомпьютер как средство работы с образами (широкополосными сигналами). Пределы развития фон Неймановских компьютеров. Закон Рента и сложность программ. Программирование и обучение.
2 неделя Модели мозга и биологических нейронов. Мозг, его структура и функции. Обработка информации и межполушарная асимметрия. Принятие решений. Биологический нейрон – структура и свойства. Синаптические связи, порог. Нейрон как нелинейный элемент.
3 неделя Искусственные пороговые нейроны и Булевы функции. Пороговые нейроны и их геометрическая интерпретация. Реализация простейших Булевых функций. Функция XOR. Роль нелинейности. Нелинейность функций И и ИЛИ. Скрытые нейроны. Конструирование нейронных сетей. Теорема о реализации булевой функции двухслойной сетью. Сложность сети.
4 неделя Обучение нейронные сетей – персептроны. Персептрон Розенблатта – структура и свойства слоев связей. Теорема Кавера о сепарабельности. Банковские технологии - распознавание рукописных символов. Дихотомизирующие сети как элементы распознающих систем. Алгоритм обучения персептрона и теорема о его сходимости. Достоинства и ограничения персептрона. Нереализуемость предиката “связность”. Проблема сложности. Необходимость рассмотрения других моделей нейронов.
5 неделя Линейные нейроны и их обучение. Линейные нейроны-ассоциаторы. Нахождение весов нейронов и псевдообратные матрицы. Обучение методом градиентного спуска. Правило Хебба. Дельита-правило. Обучение в режимах on line и off line. Правило Ойа. Обратное распространение сигнала. Сети, обучаемые с учителем и самоорганизующиеся сети. Применение к задачам классификации.
6 неделя Сигмоидные нейроны и аппроксимация функций многих переменных. Сигмоидные нейроны. Формула Байеса и интерпретация выходов нейронов. Логистическая функция. Задача о финансировании проекта. Теорема об аппроксимации функций многих переменных с помощью двухслойных сетей. Применение к моделированию нелинейных динамических систем.
7 неделя Метод обратного распространения ошибки. Обучение многослойных персептронов методом обратного распространения ошибки. Сложность метода. Обучающая и тестовые выборки. Переобучение. Момент. Инициализация весов. Прореживание связей. Варианты метода.
8 неделя Обобщение в нейронных сетях. Проблема обобщения в нейронных сетях. Размерность Вапника-Червоненкиса и ее масштабирование для линейных пороговых и сигмоидных нейронов. Оптимальное кодирование информации. Код Хаффмена. Метод минимальной длины описания Риссанена. Эвристические правила определения числа нейронов в скрытом слое.
9 неделя Сети радиального базиса. Нейроны радиального базиса. Сети радиального базиса и их обучение. Сравнение сетей радиального базиса и многослойных сетей сигмоидных нейронов
10 неделя Нейросетевое сжатие и визуализация данных Метод главных компонент и его реализация с помощью двухслойной сети. Ограничения метода. Универсальная сеть для сжатия данных. Нейросетевая кластеризация данных. Сети Кохонена и визуализация многомерных распределений. Применение сетей Кохонена для анализа экономической информации.
11 неделя Модели ассоциативной памяти. Адресная и ассоциативная память. Сети, минимизирующие энергию. Модель Хопфилда. Модели содержательно-адресованной памяти. Методы обучения сети Хопфилда. Емкость памяти и ее фазовая диаграмма. Максимальная емкость памяти. Ложная память и прототипы. Вероятностная интерпретация энергии сети. Предсказательная кластеризация и ее применение в экономике. Рекурсивная автоассоциативная память Поллака.
12 неделя Нейросетевая оптимизация. Сеть Хопфилда с градуальными нейронами. Динамическое программирование и инвариантное погружение. Уравнение Беллмана. Нейроны и сети Поттса. Нейросетевая оптимизация. Применение к решению задачи коммивояжера. Метод симулированного отжига. Генетические алгоритмы
13 неделя Нейронные сети и сложные системы. Представление о сложных системах и их примеры. Эмерджентные свойства. Нейронные сети и экономика как примеры сложных систем. Возможность применения нейронных сетей для моделирования экономических процессов.
14 неделя Нейросетевые модели многоагентных систем. Моделирование многоагентных систем. Использование сетей с прямым распространением сигнала для моделирования процесса установления рыночной цены. Принятие решений и интерпретация нейронов и сети.
15 неделя Нейросетевая обработка временных последовательностей. Обучение многослойных нейронных сетей на временных последовательностях данных. Система NetTalk. Универсальный аппроксиматор динамических последовательностей. Метод обратного распространения во времени. Использование рекуррентных сетей.
16 неделя Применение нейронных сетей для прогнозирования Ограниченность гипотезы эффективного рынка. Динамические системы, аттракторы и фракталы. Теорема Такенса. Использование нейронных сетей для прогнозирования поведения экономических систем.
