Главная » 2014 » Октябрь » 1 » Разработка алгоритмов и процедур повышения точности факторного прогнозирования на основе эволюционной стратегии поиска прогнозирующего
1:37 AM
Разработка алгоритмов и процедур повышения точности факторного прогнозирования на основе эволюционной стратегии поиска прогнозирующего
Разработка алгоритмов и процедур повышения точности факторного прогнозирования на основе эволюционной стратегии поиска прогнозирующего описания актуального процесса
Диссертация
Автор: Горелов, Андрей Александрович
Название: Разработка алгоритмов и процедур повышения точности факторного прогнозирования на основе эволюционной стратегии поиска прогнозирующего описания актуального процесса
Справка: Горелов, Андрей Александрович. Разработка алгоритмов и процедур повышения точности факторного прогнозирования на основе эволюционной стратегии поиска прогнозирующего описания актуального процесса : диссертация кандидата технических наук : 05.13.18 Рязань, 2005 180 c. : 61 05-5/3905
Объем: 180 стр.
Информация: Рязань, 2005
Содержание:
ВВЕДЕНИЕ
ГЛАВА 1 АНАЛИЗ СУЩЕСТВУЮЩИХ
МЕТОДОВ АППРОКСИМАЦИИ И
ПРОГНОЗИРОВАНИЯ ПРОЦЕССОВ С ПРЕОБЛАДАЮЩЕЙ
ДЕТЕРМИНИРОВАННОЙ СОСТАВЛЯЮЩЕЙ
11 Определение предметной области
111 Необходимость прогнозирования
112 Существующие направления развития информационных технологий
113 Выбор метода прогнозирования
114 Возможные направления развития методов прогнозирования
12 Перечень актуальных задач ф 121 Достигнутые результаты
122 Разработка внутренней структуры и механизма функционирования прогнозирующей системы
123 Подготовка данных для прогнозирования
124 Обеспечение качества прогнозирования
13 Построение всех возможных регрессий
131 Предварительные замечания
132 Порядок построения
133 Метод построения
134 Построение только наилучших регрессий
135 Пошаговая регрессия
136 Другие методы ц^ 14 Выбор критерия
141 Коэффициент детерминации R2
142 Скорректированный коэффициент детерминации
143 Ср-статистика Мэлоуса
144 MSEP-критерий
145 Другие меры
15 Основные результаты
ГЛАВА 2 РАЗРАБОТКА АЛГОРИТМОВ АВТОПОСТРОЕНИЯ АЛГОРИТМИЧЕСКИХ ОПИСАНИЙ ПРОЦЕССОВ НА ОСНОВЕ МЕТОДА ЭВРИСТИЧЕСКОЙ САМООРГАНИЗАЦИИ
21 Общая схема построения алгоритмов, реализующих метод группового учета аргументов
211 Описание алгоритма
212 Критерии МГУА
22 Разработка модифицированного метода группового учета аргументов на основе процедуры оптимизации частных полиномов (МГУАоп)
221 Проблемы восстановления функций классическим МГУА и пути их преодоления
222 Алгоритм автопостроения модели без использования селекции в последовательных рядах приближения
23 Разработка метода группового учета аргументов на основе дифферальных частных приближений (МГУАдп)
231 Аппроксимация процессов решениями линейных дифференциальных уравнений
232 Результаты аппроксимации процессов решениями линейных дифференциальных уравнений
24 Разработка метода группового учета аргументов на основе самоорганизующихся искусственных нейронных сетей (МГУАнс)
241 Математическая постановка задачи
242 Постановка и возможные пути решения задачи обучения нейронных сетей
243 Нейронная сеть с обучением по методу обратного распространения ошибки
224 Автоматическое построения «наилучшей» искусственной нейронной сети
225 Метод группового учета аргументов на основе аппарата нейронных сетей
25 Основные результаты
ГЛАВА 3 РАЗРАБОТКА ПРОЦЕДУР АВТОМАТИЧЕСКОГО ВЫБОРА СТРУКУТУРЫ МОДЕЛИ, ОЦЕНКИ ЕЕ ПАРАМЕТРОВ И ОПРЕДЕЛЕНИЯ ОПТИМАЛЬНОГО ОБЪЁМА ВЫБОРКИ
31 Предварительные замечания
32 Автоматизация построения модели для прогнозирования процессов с детерминированной составляющей методом экстраполяции тенденций
321 Классический способ выбора структуры и вычисления параметров прогнозирующей модели в методе экстраполяции тенденций
322 Принципы организации программной системы автоматического синтеза структуры и оценки параметров прогнозирующих функций
323 Выбор адекватной стандартной функции по результатам анализа характеристического отношения
324 Способ автоматического выбора структуры модели, оценки её прогнозирующей силы и определения наилучшей длины обучающей последовательности с помощью тестовой последовательности
33 Методика построения прогнозирующей регрессионной модели
331 Основные положения методики построения модели
332 Устойчивость модели и способы её оценки
333 Векторный показатель качества прогнозирующей модели
334 Проверка гипотез относительно параметров модели
335 Использование векторного критерия качества модели в процессе поиска лучшей модели
34 Основные результаты
ГЛАВА 4 МОДЕЛИ ДЛЯ ПРОГНОЗИРОВАНИЯ ПОКАЗАТЕЛЕЙ ПРОИЗВОДСТВЕННОГО ТРАВМАТИЗМА В РОССИЙСКОЙ ФЕДЕРАЦИИ И РЕЗУЛЬТАТЫ ПРОГНОЗА
41 Подготовка данных для окончательного прогноза показателей травматизма до 2005 года
411 Сценарные условия
412 Исходные данные для решения задачи прогноза
42 Прогноз показателей производственного травматизма на основе выявления и экстраполяции тенденций
43 Характеристики финальных прогнозирующих моделей показателей травматизма с помощью факторного регрессионного анализа
44 Характеристики моделей для прогнозирования показателей травматизма с помощью нейросетевых технологий
46 Сравнительные результаты прогноза показателей травматизма
47 Окончательный прогноз показателей производственного травматизма до 2006 года
48 Графическое представление результатов моделирования и прогноза
49 Основные результаты
Введение:
Актуальность проблемы. Перманентная потребность в повышении эффективности и действенности управленческих решений и организационных планов достаточно очевидна. Конкурентная борьба на рынке товаров и услуг, стремление максимизировать прибыль предприятия и минимизировать издержки производства, желание локализовать и уменьшить последствия аварий и техногенных катастроф стимулируют работы, нацеленные на повышение точности и надежности прогноза процессов различной физической и социальной природы, представленных временными рядами данных. Подавляющее большинство социально-экономических процессов могут быть кате-горированы как процессы с детерминированной составляющей. В настоящее время существует значительное количество методов моделирования и прогнозирования таких процессов, такие как классический и специальный регрессионный анализ, искусственные нейронные сети, эволюционные стратегии, системы одновременных уравнений, метод выявления и экстраполяции тенденций, авторегрессия и так далее.
Одновременно с этим, в настоящее время практически отсутствует математическое и программное обеспечение, нацеленное на автоматическое построение наилучшего формализованного описания проблемного социально-экономического процесса в классе всех возможных описаний. Создание такого обеспечения сопряжено с необходимостью разработки методов поиска наилучшего описания. Эти методы должны включать:
1) средства квалификации проблемного процесса и определения адекватного класса методов для его моделирования;
2) векторные показатели качества аппроксимации процесса;
3) алгоритмы многокритериального поиска решения в различных классах методов моделирования.
Средства квалификации проблемного процесса должны реализовывать эвристические алгоритмы, методы теории групповых решений и механизмы логического вывода с развиваемой базой знаний.
Успешное решение поставленных проблем позволит существенно повысить эффективность создания прогнозирующих моделей, применяемых для анализа и прогноза показателей социально-экономической сферы, в частности, для прогнозирования результатов производственно-хозяйственной деятельности предприятий, а также социальных и политических процессов в стране. Полученные результаты найдут широкое применение при создании информационно-аналитических систем в соответствии с концепциями оперативной аналитической обработки (OLAP) и интеллектуального анализа данных (Intelligent data analysis). Принципиально новыми элементами разрабатываемой концепции моделирования и прогнозирования проблемных процессов является внедрение и интенсификация использования процедур альтернативного моделирования и обобщения альтернативных результатов, механизмов мониторинга состояния информационного обеспечения, процессов решения задач прогноза, актуализации моделей, идентификация параметров которых становится возможной по мере накопления статистического материала.
Актуальной темой современной теории моделирования и прогнозирования процессов остаётся задача оценки коэффициентов множественной регрессии в различных «специальных» условиях, которая неявно основывается на предположении существования жестких причинно-следственных отношений между факторными признаками и результативным признаком. Это предположение и порождает традиционные подходы к семантической интерпретации коэффициентов множественной регрессии. В то же время в реальных условиях для прогнозирования процессов достаточно наличия только косвенных причинно-следственных связей, порожденных наличием общих закономерностей в процессах изменения факторных и результативных признаков, примером вышесказанного может служить метод прогнозирования на основе сценарных условий.
Сценарные моделирование и прогнозирование основаны на делении социально-экономических показателей на две группы (факторные и результативные показатели, или признаки) и построении модели зависимости вторых показателей от первых. Деление на указанные группы достаточно услов-^ но, жестких руководящих принципов осуществления такого деления нет, хотя определенная традиция уже сформировалась.
К факторным показателям относят те, которые считают условно управляемыми, т.е. планируемыми. Прогнозирование этих показателей осуществляется, главным образом, экспертным путем. Конечно же, при этом могут использоваться и методы математического моделирования, включая метод выявления и экстраполяции тенденций, аппроксимирующие дифференциальные уравнения, системы одновременных разностных уравнений, искусственные нейронные сети и т.д.
Группу результативных (проблемных) показателей образуют многочисленные прочие показатели. Моделирование и прогнозирование этих показателей также могут осуществляться различными методами, но при прогнозе на основе сценарных условий обычно используется линейная множественная регрессия, в которой в качестве регрессоров используются факторные экзо->41. генно задаваемые «управляемые» («входные») показатели.
В практике прогнозирования многих процессов, в том числе и социально-экономических, типична ситуация, когда объем статистических данных невелик. В таких условиях результаты прогноза, полученные по разным методам, как правило, существенно отличаются друг от друга. Кроме того, ни один из существующих методов решения задачи прогноза не обладает явными преимуществами и не может быть использован как предпочтительный. Решением данной проблемы может служить одновременное использование нескольких альтернативных методов, таких как регрессионный анализ, метод выявления и экстраполяции тенденций, метод прогноза поведения процесса и т.д., в сочетании с процедурой согласования (обобщения) альтернативных результатов прогноза.
Существует множество параметров, оценивающих качество прогноза, но практически все они являются показателями качества аппроксимации и, основываясь на предположении, что прогнозируемый процесс не меняет своего поведения в дальнейшем, используются как показатели прогнозирования. ^ Использование показателей аппроксимации в качестве показателей прогнозирования не является очевидным, но из-за отсутствия последних - это наиболее приемлемое решение. Все это подтверждает необходимость введения новых показателей качества прогноза.
В настоящее время в области моделирования процессов с детерминированной составляющей чётко обозначилась актуальность задачи повышения уровня автоматизации процессов построения. Создание средств высокоуровневого моделирования и прогнозирования позволит расширить и интенсифицировать применение современных высокоэффективных методов разработки прогноза, что, в свою очередь, позволит повысить качество и своевременность принимаемых управленческих решений и планов.
При разработке теории и методов моделирования и прогнозирования процессов охватывается широкий круг математических и прикладных проблем, в развитие которых значительный вклад внесли российские и зарубеж-41 ные ученые: В.М. Глушков, А.А. Амосов, В.А. Трапезников, В.А. Котельников, А.А. Харкевич, Б.Р. Левин, Л.М. Финк, ЯЗ. Цыпкин, С.М. Самойленко, Р.Л. Стратонович, В.И. Тихонов, Д.А. Поспелов, B.C. Шварцман, Э.Л. Блох, И.А. Мизин, Ю.М. Мартынов, Л.П. Пуртов, А.Н. Тихонов, М.Л. Лидов, Н.Дрейпер, Г.Смит, А.Алберт, Дж.Себер, Ф.Уоссермен, Дж.Форрестер и др. В разработку современных концепций организации хранения, представления и автоматизированного анализа данных наибольший вклад внесли Дж.Тьюки, Э. Кодд, В. Инмон.
Задача повышения уровня автоматизации неотрывно связана с задачей автоматического выбора адекватных прогнозирующих описаний проблемных процессов, для решения которой необходима разработка средств квалификации, многоальтернативного моделирования и обобщения альтернативных результатов, интерпретации и формирования итогового отчёта.
Многоальтернативное моделирование и процедуры обобщения результатов альтернативного прогноза необходимы не только для осуществления возможности автоматического поиска адекватной прогнозирующей модели, но и для решения проблемы углубления степени извлечения информационного содержимого из имеющегося статистического материала, поэтому, несмотря на обилие существующих методов прогнозирования процессов с детерминированной составляющей, в контексте проблемы разработки многоальтернативных прогнозов сохраняется актуальность задач разработки новых и улучшения известных методов построения прогнозирующих описаний. Актуальностью этих задач обусловлен выбор цели и задач диссертационной работы.
Целью работы - является повышение точности и надёжности прогнозирования процессов с преобладающей детерминированной составляющей, в частности, социально-экономических процессов за счет повышения эффективности и уровня автоматизации процедур построения адекватных формализованных описаний и их применения для решения задач прогноза.
Задачи исследования. Для достижения целей диссертационной работы необходимо решение следующих задач.
1. Разработка методики автоматического построения «наилучшей» прогнозирующей модели в классе форм линейной множественной регрессии.
2. Разработка векторного показателя качества — совокупности показателей, по которым осуществляется сравнение вариантов описания зависимости проблемного показателя от факторных признаков, а также способа применения векторного показателя качества для сравнения частных описаний, то есть способ многокритериального сравнения вариантов модели.
3. Разработка программного комплекса, реализующего предложенную методику поиска лучшей регрессионной модели.
4. Разработка способа автоматического определения наилучшего описания процесса в методе выявления и экстраполяции тенденций.
5. Разработка альтернативных алгоритмов автоматического построения математических моделей, основанных на эвристической самоорганизации, отличающихся структурой интегрирующего ядра, оптимизацией частных приближений и способом формирования популяции описаний.
Методы исследования. При выполнении работы использовались теория математического моделирования, методы вычислительной и прикладной математики, статистическое и имитационное моделирование, эвристическое программирование.
Научная новизна работы состоит в следующем:
1. Предложена методика построения модели линейной множественной регрессии, отличающаяся применением эволюционной стратегии поиска и векторного показателя качества для выбора группы предварительных описаний, включаемых в популяцию, что повышает полноту анализа вариантов и объективность получаемых результатов.
2. Предложена совокупность показателей качества прогнозирующих описаний, включающая показатели структурной и параметрической устойчивости модели, что гарантирует выбор среди возможных альтернатив описания с наибольшей прогностической силой.
3. Разработан способ автоматического определения наилучшего описания процесса в методе выявления и экстраполяции тенденций оригинален, аналогов не имеет, обеспечивает автоматический выбор адекватного описания и автоматическое определение наилучшей по критерию минимума сред-неквадратической ошибки длины обучающей последовательности.
4. Разработаны алгоритмы автоматического построения математических моделей, основанные на методе эвристической самоорганизации, отличающиеся возможностью изменения структуры интегрирующего ядра (полиномы 2-й степени, дифференциальные уравнения 2-го порядка, искусственные нейронные сети), оптимизацией частных приближений и способом формирования популяции описаний, что обеспечивает повышение показателей качества формируемых алгоритмических описаний моделируемых процессов за счёт синтеза структуры модели, наиболее адекватной составу факторных признаков и специфике изучаемого процесса.
5. Предложена методика разработки прогноза социально-экономических показателей, отличающаяся применением альтернативных прогнозирующих моделей, что обеспечивает наиболее полное использование информационного содержимого имеющихся статистических данных.
Практическая ценность. Полученные результаты являются существенной, но всё же начальной частью реализации концепции создания математических и программных средств для интегрированной высокоуровневой системы моделирования и прогнозирования социально-экономических процессов, обеспечивающий высокий уровень доступности современных методов прогнозирования широкому кругу аналитиков и управленцев. Основные результаты нашли отражение в программах:
Mavin" - программа интеллектуальной аппроксимации и прогнозирования процессов с детерминированной составляющей;
NeuroMap - программа моделирования зависимостей скалярной величины от векторного аргумента и прогнозирования экономических процессов на основе технологии искусственных нейронных сетей;
Factj>r - программа эвристического поиска решения предназначена для автоматического построения линейной факторной прогнозирующей модели процесса изменения во времени показателей социально-экономической сферы.
Система Factpr внедрена в Федеральной службе государственной статистики. Результаты диссертации успешно использованы при разработке прогнозов показателей занятости населения РФ в экономике страны, показателей производственного травматизма («Численность пострадавших с утратой трудоспособности на 1 рабочий день и более и со смертельным исходом, чел.», «Численность пострадавших со смертельным исходом, чел.», «Численность пострадавших с утратой трудоспособности на 1 рабочий день и более и со смертельным исходом в расчете на 1000 работающих», «Численность пострадавших со смертельным исходом в расчете на 1000 работающих», «Число дней нетрудоспособности у пострадавших с утратой трудоспособности на 1 рабочий день и более и со смертельным исходом в расчете на 1 пострадав-W шего») в РФ.
Внедрение результатов. Результаты диссертационной работы внедрены: в Федеральной службе государственной статистики и используется для прогнозирования показателей занятости населения Российской Федерации (численность безработных, численность занятых в экономике, численности экономически активных и неактивных); в учебный процесс студентов специ-ф альности 220400, 351400 в Рязанской государственной радиотехнической академии.
Внедренный программный продукт имеет свидетельство №5020050719 от 27.05.05 об официальной регистрации программы «Программа эвристического поиска решения» (краткое название "FactPr" vl.l) для ЭВМ в Отраслевом фонде алгоритмов и программ (ОФАП) Государственного координационного центра информационных технологий Минобразования России.
Основные результаты, выносимые на защиту:
1. Методика автоматического построения «наилучшей» прогнозирующей модели в классе форм линейной множественной регрессии, предназначенная для прогнозирования методами сценарных условий и лагированных переменных.
2. Понятие и способ применения векторного показателя качества в процессе поиска «наилучших» прогнозирующих описаний.
3. Программный комплекс, реализующий предложенную методику поиска лучшей регрессионной модели.
4. Способ автоматического определения «наилучшего» описания процесса в методе выявления и экстраполяции тенденций.
5. Алгоритмы автоматического построения математических моделей, основанные на эвристической самоорганизации, включающие процедуры оптимизации частных приближений, решения аппроксимирующих дифференциальных уравнений и синтеза искусственных нейронных сетей как механизма интеграции частных приближений.
Апробация работы. По теме диссертации сделаны доклады на 10-ой Международной научно-технической конференции «Проблемы передачи и обработки информации в сетях и системах телекоммуникаций», Рязань, 2001 г.; 11-ой Международном научно-техническом семинаре «Проблемы передачи и обработки информации в сетях и системах телекоммуникаций», Рязань, 2002 г.; 12-ой Международной научно-технической конференции «Проблемы передачи и обработки информации в сетях и системах телекоммуникаций», Рязань, 2004 г.; 13-ой Международной научно-технической конференции «Проблемы передачи и обработки информации в сетях и системах телекоммуникаций», Рязань, 2004 г.; VII Международной научно-практической конференции «Фундаментальные и прикладные проблемы приборостроения, информатики, экономики и права», Москва, 2004 г.
Публикации. Основные результаты диссертационной работы опубликованы в 8 печатных работах, получены 3 свидетельства о регистрации программы для ЭВМ.
Структура и объем работы. Диссертация состоит из введения, четырех глав, заключения, списка литературы и трех приложений. Основной текст содержит 170 страниц, 29 таблиц, 12 рисунков. Список литературы состоит из 136 наименований. Приложения выполнены на 8 страницах.
