Портал "Русская Профессиональная Астрология"
Astrologer.ru - Фундаментальная Астрология StarGate.Ru - Популярная Астрология Консультационная Служба

Личная консультация у профессионального астролога


Subject: Re: Новая программа по финансовой астрологии Date : 09 Apr 2001 13:50 GMT From : Sergey [SergeyT] (tarassov@home.com) To : Albert R. Timashev [arta] (arta@astrologer.ru)
Здравствуйте, Альберт! Да, конечно же, Вы правы - back propagation - это метод обучения нейросети. Просто часто в литературе по нейросетям объединяются вместе и тип, и метод обучения нейросети. Может быть, для того, чтобы отличить эту сеть от персептрона. Нейросеть, которую я использовал (как Вы уже поняли), имеет один скрытый слой. В принципе, в течение двух лет я экспериментировал с различными конфигурациями нейросетей и обнаружил, что два и более скрытых слоя только все портят. Сеть обучается гораздо медленнее, а результат тот же. По поводу функций активации нейронов. Если говорить вообще, то обязательно нужно где-то использовать сигмоидную функцию, дабы обеспечить нелинейность. Но сигмоидная функция имеет тот недостаток, что она отсекает края при большом возбуждении. Поэтому обычно комбинируют линейные и сигмоидные функции. Наша нейросеть - это несколько другая структура. От обычной нейросети осталось, фактически, только то, что это - граф. Больше ничего по этому поводу сказать не могу, так как не являюсь единоличным создателем и правообладателем этой системы. Уж извините. S>> Использовалась такая нейросеть: back propagation. AT> AT> Вообще-то, это метод обучения нейронной сети, а не название ее AT> разновидности AT> :-) Разновидность скорее определяется конфигурацией и функциями нейронов. AT> Насколько я понял, Вы использовали трехуровневую сеть (входы - скрытые AT> нейроны - AT> выход). А нейроны были заданы какими функциями? Какими-нибудь стадартными AT> или AT> собственного изобретения? AT> S>> Наша специализированная нейросеть прекрасно работает на 7-летнем интервале, S>> причем собственно процесс обучения нейросети занимает всего лишь 3-4 минуты AT> AT> Интересно, как эта оптимизация сказывается на качестве обучения? AT> Например, AT> если допустить время обучения хотя бы несколько часов, можно было бы AT> повысить AT> качество, или найденный Вами алгоритм обучения дает заведомо оптимальный AT> разультат на данном классе задач и конфигурации нейронной сети? Теперь, собственно, о процессе обучения. Дело в том, что, повозившись со всякими разными критериями качества оптимизации, я им теперь просто не верю. Сейчас я делаю так: пользователь запускает оптимизацию и тут же, в параллельном режиме, может видеть график нейросети и график того, что нужно оптимизировать. То есть, процесс оптимизации происходит на глазах. Я хотел дать почувствовать пользователю, как все это происходит, визуально. Потому что если заставить нейросеть обучаться, к примеру, в течение нескольких часов, оптимизационный интервал будет оптимизирован идеально, две кривые практически совпадут. Но это не есть гарантия того, что на тестовом интервале результаты станут лучше. Часто происходит так: в течение нескольких тысяч эпох обучения (это составляет несколько минут) нейросеть очень здорово схватывает какие-то закономерности на тестовом интервале, а далее результат начинает портиться. Нейросетевики часто называют этот процесс "оптимизация ошибки нейросети". Это еще один вариант переобучения. С уважением, Сергей


Правила Подписка по электронной почте Зарегистрироваться   Вернуться к списку сообщений Отсортировать по темам Архив Форума Редактор картинок   Предыдущее сообщение Создать новое сообщение Ответить Следующее сообщение

Астрологическая Консультационная Служба портала Русская Профессиональная Астрология

Участник Rambler's Top100 TopList