Subject: Re: Нейронный астроробот
Date   : 16 Aug 1997 15:34 GMT
From   : Vladimir (VSAZONOV@AOL.COM)
To     : Albert R. Timashev (arta@infopro.spb.su)

Добрый день!
 AT> Поэтому извиняюсь за ламерский вопрос: то есть нейронная есть
 AT> - это набор неких (придуманных мной?) функций, которые, используя некие
 AT> вычисляемые самой нейронной сетью коэффициенты, должны как-то преобразовать
 AT> исходные показатели к одному выходному. Я правильно говорю?

Да, нейронная сеть в ее самом распространенном представлении -
на первом этаже - это просто сумма входных параметров с 
весами, но пропущенная через "пороговую" функцию для разделения
качества. Обычно используется функция логистики.
После первого этажа из 12 входных параметров остаются (в соответствии с
замыслом разработчика сети) 4-6 промежуточных (скрытых) параметров.
На втором этаже та же история повторяется со "скрытыми" параметрами
и получаются выходные - 1 или несколько.
Маньяки используют несколько скрытых этажей, но это чаЯто не оправдано.

Потом, если у нас есть например 10000 статистических данных, то
подбираются так веса, чтобы эта функция как можно точно аппроксимировала
статистику. Так как функция нелинейна (иГ-за пороговых функций),
а коэффициентов в ней много, то задача оптимизации оказывается не такой
простой как кажется.
Классический метод сопряженных градиентов работает в поиска минимума
нисЙолько не хуже(как я убедился) чем методы, пришедшие собственно из
теории нейронных сетей (Back propagation). Но проблема оказывается не в
том чтобы найти минимум - их то как раз много, и все они локальны,
сколько выйти из него в другое пространство где бывают минимумы
еще лучше. Для этого используют метод "Annealing" , который в сочетании
с методом сопряженных градиентов уже позволяет "воспитывать" сети.


С уважением,
Владимир