Subject: Re: Пресловутые 80%? Нет, вполне реальные! 
Replies: 18330 18377
Date   : 08 May 2002 17:51 GMT
From   : Павел Свиридов [ctp] (info@ctp.ru)
To     : Albert R. Timashev [arta] (arta@astrologer.ru)

Добрый вечер, Альберт!

Re: Павел, меня (и, я думаю, не только меня) ОЧЕНЬ смущает Ваша цифра "80%",
поэтому я хочу, чтобы Вы окончательно прояснили этот вопрос.

Весьма приятно ваше смущение, оно говорит о многом. 

Re: При разговоре с Вами после записи "Большой стирки" у меня сложилось
впечатление, что Вы не вполне понимаете принцип НЕОБХОДИМОСТИ проверки нейросети
на ТЕСТОВОЙ выборке и АБСОЛЮТНУЮ БЕССМЫСЛЕННОСТЬ тех процентов, которые получены
на обучающей выборке (проценты на обучающей выборке просто НИ О ЧЕМ НЕ
ГОВОРЯТ!).

Альберт, я действительно еще много чего не понимаю и очень хочу, чтобы хватило
времени понять в жизни побольше. Но в отношении того разговора в Останкино,  у
меня в свою очередь, сложилось впечатление, что вы не понимаете, о чем я говорю.
Я бы сказал больше, ваша вышеприведенная фраза, к сожалению, показывает  уровень
ваших представлений о нашей работе. Нет времени снова повторять здесь уже
многократно высказанные мысли,  просто советую прочитать две статьи на нашем
сайте о принципах, положенных в основу 'Neuro Hit!'. Вот ссылка:
http://www.ctp.ru/NN&Neuro_Hit!.shtml 

Возможно, вам трудно поверить в реальность 80 % достоверность прогноза, но вы
сами можете  это легко проверить с помощью нашей программы. Возможно, вы не
знаете, что с декабря прошлого года программа 'Neuro Hit!' открыта к свободному
скачиванию с нашего сайта. http://www.ctp.ru/cgi/ECountHit.cgi 
Это полнофункциональная trial версия, ограниченная по времени использования
двумя месяцами (я думаю, что этого хватит, чтобы разобраться).  Нами также на
сайт помещена программа-утилита Index Menager, с помощью которой можно пополнять
имеющиеся в Нейро Хите! архивы индексов свежими данными и заниматься реальным
прогнозированием. Более того, понимая, что все-таки программа достаточна сложна,
хотя и проще в использовании, чем другие нейропакеты, мы обучили нейросеть до
заявленных нами 80 % и открыли эту реальную нейросеть к скачиванию с нашего
сайта для всех желающих. Это вообще шаг беспрецедентный - фактически мы открыли
алгоритм настройки сети. Об этом было сообщено на нескольких астрологических
сайтах. Вот пара ссылок: 
http://www.webcenter.ru/webboard/rus/message.php?id=633365 
http://www.diada.ru/cgi-bin/board/config.pl?read=81
Доска объявлений сайта ДИАДА
Обученные нейросети для Neuro Hit!
Отправил: Павел Свиридов <info@ctp.ru>
Date: Пятница, 8 Февраля 2002, в 16:32 
Как уже сообщалось, на сайте Фонда темпоральных исследований, анализа и прогноза
размещена для скачивания trial-версия нейросетевой программы финансового
прогнозирования Neuro Hit! Данная версия представляет собой полнофункциональную
программу с ограниченным на два месяца периодом работы. Она позволяет работать с
текущими данными финансовых индексов и котировок акций с заявленной нами
точностью. 
Для облегчения процесса освоения программы и построения текущих прогнозов в
данный момент помещены для скачивания файлы нейросети, обученной по текущим
значениям индекса Dow Jones. Ee использование позволяет сделать реальный прогноз
по этому индексу на ближайшие две-три недели. 
Скачав zip-архив (размер 60К), распакуйте содержащиеся в нем файлы в папку
Examples системы Neuro Hit! и загрузите данные нейросети совместно с файлом
индекса в программу. Настройки нейросети будут регулярно корректироваться с
учетом прошедших торгов. Успехов вам в построении прогнозов и освоении
программы. 
Кроме того, в ближайшее время мы подготовим аналогичные данные настройки
нейросети для прогнозирования индексов Nikkei, Nasdaq и др. 


Эта обученная нейросеть лежала на нашем сайте по адресу в течение трех недель:
http://www.ctp.ru/files/Current%20Dow%20Jones02.2002.zip 

Альберт, что еще нужно, чтобы взять и самому убедиться в 80%? Есть подробнейшие
инструкции-статьи, есть сама программа, есть уже обученная нейросеть. Бери и
работай! Если нужна какая помощь, то я всегда иду навстречу. Всем, кто просил, я
выслал и подробнейшую инструкцию к программе, которая прилагается как
Руководство пользователя. Тому же Олегу Юминову я в личной переписке
подсказывал, как лучше выстроить алгоритм работы с Нейро Хитом! Только он как-то
быстро потерял интерес. Даже неискушенный пользователь может добиться 75-80 %
точности прогноза по индексу Доу-Джонса на трехнедельном интервале как с
общетрендовым показателем, так и по конкретному прогнозу на каждый день. Эти
проценты я получаю за 25-30 минут работы на NH! Попробуйте и вы, если не
получится, я подскажу. Многое кроется  в  генетических алгоритмах  (хотя,
конечно, не все, но многое). Т.е. простым обсчетом добиваетесь 60-65 % точности,
а потом начинаете отбирать из сохраненных сетей
наиболее удачные, грузите их в бокс ген.алгоритмов и начинаете селекционную
работу. Там тоже есть хитрости, неплохо и Менделя бы почитать и современных
Вейсманистов - Морганистов, но уже на 2-3 популяции сетей-хромосомах точность
вытягивается до 75 - 78 %. А 80-82 % - ну, это уже просто профессионализм
работает. Я хочу подчеркнуть, что эти проценты достигаются на тестируемом
интервале. А то, что сеть на обучаемом может запомнить со 100% точностью, я
полагаю, что не стоило вам этого мне говорить, т.к. я прекрасно понимаю, чьи
слова вы цитируете, что вызывает у меня легкие припоминания пяти-четырехлетней
давности. Я, конечно, приведу вам тех.параметры той нейросети, которую я
запустил, начав писать вам этот пост. В настоящий момент достигнутая точность на
тестируемом интервале 70 %. Только что это вам даст?

Re: - первичная постановка задачи - структуры сети (количество уровней и
нейронов на каждом уровне)

Вы имеете ввиду количество СЛОЕВ? В данной сети имеется три промежуточных слоя:
Первый - 51 нейрон, тип связи - все со всеми, тип синопса линейный, тип
передаточной функции - сигмоид.
Второй слой - 31 нейрон,
Третий - 11 нейронов
На выходной слой подается реальное значение индекса при бесприбыльном спреде
0,125 и максимальном убытке 2 %. 

Re: -  входное пространство (количество и состав астрологических факторов,
подаваемых на вход)

 Вы имеете ввиду ГИПОТЕЗЫ? Если позволите, то перечислю большинство, но не все
(чтобы оставить вам простор для личного творчества, т.к. вы сами можете их
выбрать). Аспекты - мажорные, планеты все, кроме двух; положения планет с учетом
взаимного влияния: по знаку, терм, фас, градус, рецепция; фазы непрерывные с 
типом сигнала -  скорость планет, широта планет, склонение планет, взаимные
планетные фазы; фазы дискретные с типом сигнала - фазы Луны, лунные дни, лунные
стоянки, Луна без курса, управители дня, управители часа, влияющие персоны -
пять основных уровня Уорена Баффета и т.п.; тип функции - кусочно-линейная,
общая кластеризация на входном слое.

Re: мощность, состав, временной отрезок обучающей выборки

Про мощность и состав - это я не понял о чем это вы. Интервал обучения - индекс
Доу с октября 2001 года по март 2002 г. 

Re: мощность, состав, временной отрезок тестовой выборки

Тестовый интервал с 1 по 25 апреля 2002 года. Интервал прогноза 21 день.

 
Re: количество шагов тренировки нейросети

Вы имеете ввиду количество иттераций? У нас они сведены в Эпохи. На данный
момент прошло больше 9 тыс. эпох.  


Re: проценты достоверности, достигнутые на обучающей и на тестовой выборках.

Я уже говорил, что процент на обучающей для меня не так важен, он меняется в
зависимости от жесткости заданных условий (т.е. степень гибкости в обучении), на
тестируемом интервале сейчас вероятность ошибки - 26 %. Т.е. 74 % точности.
С этого момента из блока сохраненных нейросетей я выбираю 12 лучших сетей,
которые будут хромосомами, и загружаю их в блок генетических алгоритмов.
Параметры: кроссовер (генератор новой хромосомы) - множественный, мутация - по
группам генов, вероятность мутации - средняя, инверсия - один ген, вероятность
инверсии - высокая.
Все. 
Началась работа по выращиванию талантливых или даже гениальных (!)
сетей-хромосом. Тут уж каждый - как творец! Больше секретов не раскрываю.  Хотя,
могу сказать, что с определенного момента хромосомы начинают вырождаться, им
надо добавить 'свеженькую' с грубой ошибкой. Погрешность резко скакнет, но это
на короткий интервал, зато последующие поколения станут более умненькими. Ну, в
общем, все как у людей! :0) 
Творите Альберт! Только у меня одна просьба - вы меня порядком загрузили сегодня
своими прямыми вопросами-вызовами. (И вот я уже опаздываю на день рождения одной
очень симпатичной Тельчихи). Поэтому, Альберт, если вы ДЕЙСТВИТЕЛЬНО
заинтересовались, то предстоящие выходные попробуйте самостоятельно разобраться,
т.к. ближайшее время меня в Инете не будет. Все-таки праздники! 
Всех Вас поздравляю с ними!
Удачи
Павел Свиридов