Subject: Re: Альберту 
Date   : 20 May 2002 15:11 GMT
From   : Павел Свиридов [ctp] (info@ctp.ru)
To     : Albert R. Timashev [arta] (arta@astrologer.ru)

 Доброй день, Альберт!
 
AT>    Чтобы перевести нашу дискуссию в конструктивное русло, предлагаю Вам
AT> провести
 AT> следующий экспеимент: загрузить в НейроХит индект Доу-Джонса за ВСЮ его
 AT> историю,
 AT> исключив последние год-два (ВООБЩЕ!). Натренировать нейросеть и потом
 AT> проверить
 AT> результат ее работы на значениях индекса за последние год-два, которых
 AT> вообще не
 AT> было, ни в обучающей, ни в тестовой выборке.

Предлагаю встречный эксперимент. Инсталлируйте НейроХит, загрузите Доу за
полгода или чуть больше. Следуя инструкции, создайте нейросеть потренируйте
часок, полчасика погоняйте на генетике и получите 72-75 % точности на тестовом
интервале. Потом через Index Menager освежите данные по Доу и пару недель
посмотрите за прогнозом и реальным трендом инекса, ежедневно добавляя свежие
данные по состоявшимся торгам в интервал обучения. Результаты обсудим. Там есть
интересные моменты, но о них лучше по мылу.

 AT>    По-моему, тут Вы неправы. Я готов согласиться с допущением, что
 AT> усложнение
 AT> сети (например, варьируемые коэффициенты передаточных функций и варьируемые
 AT> типы
 AT> функций) потенциально способно повысить ее предсказательную способность, но
 AT> с
 AT> тем, что усложнение сети снимает часть проблем ее обучения, я категорически
 AT> НЕ
 AT> согласен! Это противоречит элементарной логике!
 AT>    Чем сложнее сеть (не важно, каким образом мы ее усложняем), тем сложнее
 AT> ее
 AT> правильно тренировать. Усложнение сети ОДНОЗНАЧНО УСЛОЖНЯЕТ ее
 AT> тренировку!
 
Альберт, вовсе нет. Не все так ОДНОЗНАЧНО!. Не будьте столь категоричны. Просто
ответьте на вопрос - кого легче учить умного ребенка или тупого? Программа с
гибким алгоритмом и варьируемыми коэффициентами ЛЕГЧЕ учится. Я долго бился над
проблемой сводимости всех нейросетей к трем базовым слоям в однородных
нейросетях. Все во мне протестовало против этого. Потому что мозг человека как
раз эволюционировал в сторону неоднородности и огромной многослойности с большим
числом дублирующих, даже паразитарных связей. Оказалось, что увеличение слоев и
изменение сруктуры связей между ними по факту (экспериментально) приводит к
некоему скачкообразному появлению новых системных свойств. Из трех кирпичей дом
не сложишь, и из груды кирпичей тоже. Но вот если эту груду кирпичей выложить
определенным образом и скрепить раствором, то это будет уже дом, а не груда
кирпичей. Сергей Тарасов дожен помнить, что еще пять лет назад я пытался
сделать, и ставил ему задачу попытаться создать сеть, которая состояла бы из
нескольких подсетей (каждая на свою задачу) с надстройкой из управляющей ими
нейросети. Тогда эта задача была невыполнима, во всяком случае с точки зрения
математики. Сейчас ситуация не так безнадежна, но может быть я самообольщаюсь.
Вы знаете, как ученый я достаточно безумен, но как человек практичный я понимаю,
каких это требует усилий, каких средств и сколько времени. На несколько порядков
больше, чем имеется у нас сейчас. Пожалуй, только идей в избытке. Но тем не
менее мы двигаемся вперед. 

 AT>    Хорошо. Я ТОЖЕ ОБЕИМИ РУКАМИ ЗА ТАКОЙ ПОДХОД! Потому, как уже говорил в
 AT> приватной беседе, жду выхода модификации Вашей нейросетевой программы, 

То, что выходит в виде коммерческий версий - лишь малая часть того, с чем мы
работаем. Выпускать модификацию программы для того, чтобы удовлетворить
любопытство (пусть даже не праздное) 2-3 человек - стоит ли овчинка выделки?
Создание программ на серьезном уровне - это очень дорогое удовольствие. И вы,
Альберт, это знаете не хуже меня. 

 AT>    Я НЕ считаю возможным качественно натренировать нейросеть ДАЖЕ с
 AT> несколькими десятками входов на выборке из 150 записей.
 AT>    Всё равно здесь ЧТО-ТО НЕ ТАК!

А вы пытались?
 
 AT>    Я - математик и программист, Павел. Я знаю, что ЧУДЕС НЕ БЫВАЕТ. Не
 AT> бывает
 AT> так, что какая-то "чудесная" математика или программа ВДРУГ выдает такие
 AT> фантастические результаты, как получились у Вас. Это называется "ищите
 AT> подвох".

Альберт, я не спорю. Ищите подвох, но только не на уровне эмоций. "Этого не
может быть, потому что не может быть никогда". Для начала просто поработайте с
программой. 

 
 AT>    Речь идет совсем о другом - о том, НАСКОЛЬКО В ПРИНЦИПЕ НАУЧНО ТО, что
 AT> Вы
 AT> делаете. 

Вопрос философский. Что есть собственно НАУКА? НАсколько научны работы
С.Э.Шноля, который сорок лет мыл пробирки и измерял в них скорость протекания
реакций, чтобы открыть дискретную природу времени? Алхимики средневековья вели
совсем ненаучный поиск получения золота из дерьма, но сделали массу научных
открытий в химии и физике. Альберт, я самодостаточен и удовлетворяю свой научный
(и любой другой интерес) за свой счет. А время покажет, что в чем мы
заблуждались, а в чем нет. Приходится, порой, "отшивать" тех, кто лезет с
поучениями, обличениями и спасениями моей заблудшей души.

 AT>    Настоящий ученый-исследователь, Павел, ВСЕГДА сомневается, и даже
 AT> РАДУЕТСЯ,
 AT> когда обнаруживает, что феномен, ранее принимаемый им за истинный, на деле
 AT> оказался "глюком", не имеющим место в реальности :)

Альберт, вы производите впечатление ВСЕГДА радостного и постоянно сомневающегося
человека. Наверное, ваша жизнь - сплошной научный подвиг.


 AT>    А учитывая то, что, как правильно написал Тарасов, даже чуть-чуть
 AT> поумневшая
 AT> обезъяна может прогнозировать направление тренда с достоверностью выше 50%

Да, ну?!! Вот бы Дарвину рассказать, пусть старик порадуется. Альберт, сделайте
одолжение, попросите Тарасова найти такую обезьяну. Говорят, на Уолл стрите они
толпами ходят. Можно даже попросить ее приехать в Россию и провести семинар для
местных астрологов, а то у них прогноз никак не поднимается выше 50 процентов.
Наверное, избыток интеллекта мешает.

 AT> также учитывая малую мощность тестовой выборки (всего 15 записей), реальная
 AT> достоверность прогноза Вашей нейросети может быть какой угодно в диапазоне,
 AT> скажем, от 60% до 100% (80% +/- 20%).

Ах, Альберт, ну, нельзя же так! "Мощность" может быть хоть два дня, лишь бы сеть
давала устойчивый результат и точный прогноз. Кстати, на двух-трех днях точность
прогноза подтягивается до 90 - 93 %. 
Как вы себя чувствуете, Альберт? Вам плохо?

 AT> Тарасов, какова в этих процентах достоверности роль собственно самой
 AT> АСТРОЛОГИИ,
 AT> абсолютно никому неизвестно, В ТОМ ЧИСЛЕ И ВАМ, Павел :)
AT>    Нецжели нет желания САМОМУ с этим разобраться? ;) Ведь я, по сути, именно
AT> к
 AT> этому Вас и призываю. А Вы пытаетесь от меня отбиваться ;)))
 

Почему никому неизвестно, Альберт??????? Ну, что за детский сад! В этих
процентах - только астрология, других гипотез мы не используем. Те же гипотезы
для других динамических рядов (статистика ДТП, число Вольфа в солнечной
активности и т.п.) дают тот же результат. Для меня это очевидно. Как и за любым
явлением в нашем мире. Астрология - это и есть философский камень, ключ ко
всему. Вы, уж там постарайтесь с Сергеем разобраться с процентами и ролью, а
потом других призывать.  


С уважением
Павел Свиридов