Subject: Re: 80% или очередной Гоклен 
Replies: 18361 18508
Date   : 08 May 2002 20:48 GMT
From   : Albert R. Timashev [arta] (arta@astrologer.ru)
To     : Павел Свиридов [ctp] (info@ctp.ru)

Добрый вечер, Павел!

 ПС> Re: Павел, меня (и, я думаю, не только меня) ОЧЕНЬ смущает Ваша
 ПС> цифра "80%", поэтому я хочу, чтобы Вы окончательно прояснили этот вопрос.
 ПС> Возможно, вам трудно поверить в реальность 80 % достоверность прогноза, но
 ПС> вы сами можете это легко проверить с помощью нашей программы.

   Павел, я бы предпочел, чтобы Вы написали серьезную научную статью с
нормальным описанием эксперимента, доказывающим возможность 80% достоверности
прогноза нейросети на основе астрологических факторов. С конкретными формулами,
таблицами и графиками.
   Во-первых, это пойдет на пользу, в первую очередь, ВАМ САМОМУ.
   Во-вторых, любого скептика можно будет отсылать к этой статье. А то, Вы меня
извините, но в научных кругах не принято оппоненту отвечать словами: "Вы сами
можете это легко проверить с помощью нашей программы". Если уж Вы берете на себя
смелость делать УТВЕРЖДЕНИЕ о некотором ФАКТЕ/ЭКСПЕРИМЕНТЕ, будьте добры его
САМИ И ДОКАЗАТЬ. А оппонент Ваше доказательство и результаты рассмотрит и, если
ему нечего будет сказать, умолкнет. А если будет что сказать, Вам же лучше -
будет шанс закрыть недоработанный момент в работе.

   Далее. Хорошо, что Вы меня успокоили, разрешив непонимание с обучающей и
тестовой выборками. Но теперь у меня встает следующий вопрос: а ЧТО это за 80%?
80% ЧЕГО? Можно хотя бы (статью-то Вы всё же напишите!;) ознакомиться с
формулой, по которой была получена эта цифирь "80%"?

   Я, например, представляю себе ситуацию так, что достоверность прогноза
индекса Доу-Джонса может быть рассчитана ТОЛЬКО ПРИ УСЛОВИИ ЗАДАНИЯ МАКСИМАЛЬНО
ДОПУСТИМОЙ ОШИБКИ. Каков заданный Вами максимально допустимый уровень ошибки, за
который выходят оставшиеся 20%?

 ПС> Re: -  входное пространство (количество и состав астрологических факторов,
 ПС> подаваемых на вход)
 ПС> Аспекты - мажорные, планеты все, кроме двух; положения планет с учетом
 ПС> взаимного влияния: по знаку, терм, фас, градус, рецепция; фазы непрерывные
 ПС> с типом сигнала -  скорость планет, широта планет, склонение планет,
 ПС> взаимные планетные фазы; фазы дискретные с типом сигнала - фазы Луны,
 ПС> лунные дни, лунные стоянки, Луна без курса, управители дня, управители
 ПС> часа, влияющие персоны - пять основных уровня Уорена Баффета и т.п.; тип
 ПС> функции - кусочно-линейная, общая кластеризация на входном слое.

   Таким образом, входных параметров - как МИНИМУМ НЕСКОЛЬКО ТЫСЯЧ.

 ПС> Re: мощность, состав, временной отрезок обучающей выборки
 ПС> Про мощность и состав - это я не понял о чем это вы. Интервал обучения -
 ПС> индекс Доу с октября 2001 года по март 2002 г. 

   Таким образом, мощность обучающей выборки (мощностью называется количество
элеметнов в множестве) - около 150 записей (6 месяцев по 24 рабочих дня в
каждом).

   Павел, ВЫ КОГО ХОТИТЕ ОБМАНУТЬ??? Себя или меня??? (пояснения см. ниже)

 ПС> Re: мощность, состав, временной отрезок тестовой выборки
 ПС> Тестовый интервал с 1 по 25 апреля 2002 года. Интервал прогноза 21 день.

   То есть, мощность тестовой выборки - 21 запись.
   Павел, ВЫ ИЗДЕВАЕТЕСЬ??? (пояснения см. ниже)

   Ваши результаты в ТАКОМ случае НЕ СТОЯТ НИЧЕГО!!!

   Теория нейросетей говорит о том, что мощность обучающей выборки должна быть 
в ДЕСЯТЬ раз больше мощности множества входов сети (т.е. подающихся на вход
параметров). У Вас же ВСЁ НАОБОРОТ - обучающая выборка МИЗЕРНАЯ, а количество
входных параметров - просто астрономическое для нее!

   При мощности обучающей выборки в 180 записей, Вы МАКСИМУМ можете подавать на
вход нейросети 18 астрологических факторов - например, положение Луны в знаках и
5 птолемеевских аспектов между Солнцем и Луной. 12+5=17. Ну, можете еще один
какой-нибудь параметр добавить, например, ретроградность Меркурия. ВСЁ!!!
бОльшее количество входных параметров приведет к совершенно непредсказуемым
результатам - нейросеть станет, по сути, генератором случайных чисел, что у Вас
и произошло.

   Что же касается мощности тестовой выборки в 21 запись, то это просто
СМЕХОТВОРНО! 100%/21 = ~5% - это ЧИСТО ТЕОРЕТИЧЕСКАЯ МИНИМАЛЬНАЯ ПОГРЕШНОСТЬ
полученного Вами результата! А если учесть возможные случайные флуктуации в
исходных данных, то на 21 записи погрешность может составить все 100%!
   Запомните: Гоклен получил свои 4% на 2000 карт (записей). И эти 4%
оказались при независимой проверке СЛУЧАЙНОЙ ФЛУКТУАЦИЕЙ в собранных им данных.

 ПС> С этого момента из блока сохраненных нейросетей я выбираю 12 лучших сетей,
 ПС> которые будут хромосомами, и загружаю их в блок генетических алгоритмов.

   Теперь я понимаю, ПОЧЕМУ Вы говорите о генетических алгоритмах!

   Для несведующих поясняю: проблема применения генетических алгоритмов
заключается в том, что объектом для них является, в данном случае,
натернированная нейросеть. Тренировка нейросети с 400 входами на обучающей
выборке мощностью 4000 занимает около 2-3 часов на моем PIII-550 (каюсь, надо
делать апгрейд! но даже если скорость возрастет в 4 раза, "это не спасет отца
русской демократии":))). Теперь представьте, сколько времени нужно, чтобы взять
хотя бы несколько десятков нейросетей (скажем, 20 сетей) и выростить хотя бы
несколько их поколений (одно поколение = 20x(20-1) на 2 часа = 760 часов = 1
месяц)! То есть, через ОДИН ГОД мы получим 12-ое поколение, и совершенно не
факт, что за 12 поколений результат нейросетей заметно возрастет.

   Что делает Павел? Он тренирует нейросеть на 180 записях, и достигает
приемлемого результата тренировки за считанные минуты (хотя, сам по себе этот
"результат" абсолютно ФИКТИВЕН, ВИРТУАЛЕН и НЕРЕАЛЕН:).
   Да, он может применять к этим нейросетям генетические алгоритмы. Но, они тут
- что мертвому припарка! :)

   А! Я понял главную ошибку Павла!
   Павел, признавайтесь! Вы используете в качестве параметра, по которому
производите отбор в генетических алгоритмах ТОЧНОСТЬ РЕЗУЛЬТАТА НА ТЕСТОВОЙ
ВЫБОРКЕ, ТАК? Если так, тогда ВСЁ ПОНЯТНО!
   Нейросеть со, скажем, 5000 выходами и 150 записями в обучающей выборке, по
сути, является сложным, настраиваемым генератором случайных чисел. Выбирая
десяток "лучших" (по результату на ТЕСТОВОЙ выборке) сетей, Павел их
"скрещивает" пока не получает ТАКОЙ генератор случайных чисел, который выдает
нужные цифры и для обучающей (150 записей) и для тестовой (21 запись) выборок -
немудрено при общей мощности множества исследуемых данных в ~170 записей!

   Короче говоря, меня опять постигло жестокое разочарование! :-)
   Павел, ну НЕЛЬЗЯ ЖЕ ТАК!!! :-) Опять какие-то бредовые результаты, какая-то
ФИКЦИЯ выдается за научно обоснованную астрологию! Я бы рад оказаться неправым,
но Вы сами привели ЦИФРЫ: 6 месяцев, 21 день - и перечислили ТЫСЯЧИ входных
параметров...

 ПС> вы меня порядком загрузили сегодня своими прямыми вопросами-вызовами.
 ПС> ...если вы ДЕЙСТВИТЕЛЬНО заинтересовались, то предстоящие выходные
 ПС> попробуйте самостоятельно разобраться, т.к. ближайшее время меня в Инете
 ПС> не будет. Все-таки праздники!

   Из Ваших объяснений мне стало ясно, что у Вас произошла ошибка на этапе
постановки задачи - Вы решили тренировать нейросеть с тысячами входов на
обучающей выборке из 150 записей, что есть АБСОЛЮТНО некорректно.
   Я рад бы был оказаться неправым. Но всё же я не буду тратить своё время на
повторение Ваших ошибок, и лучше подожду Вашего ответа на свои критические
замечания о некорректной постановке эксперимента.
   В случае, если я всё же окажусь неправ, я Вас убедительно прошу написать
научную статью об этом эксперименте.
   Если же я прав, то, как это ни печально, Вам следует СЕРЬЕЗНО ПЕРЕСМОТРЕТЬ
свой подход к применению нейросетей в астрологии, а для начала исправить свои
ошибки и огласить реальные результаты, получающиеся при КОРРЕКТНОЙ постановке
задачи.

   Одно я Вам могу сказать по собственному опыту, как программист, астролог и
математик: ЧУДЕС НЕ БЫВАЕТ. Нейросеть в астрологии может дать РЕАЛЬНО не более
15%. На фоне того, что статистика дает полный 0%, это уже ОЧЕНЬ НЕПЛОХО, и
является серьезным заявлением на научную достоверность астрологии. Но нейросеть
- это еще НЕ ТА математика, с помощью которой можно достичь РЕАЛЬНЫХ результатов
в астрологии.

С уважением,
Альберт Тимашев