Jump to content
Pesso

Критерий закономерности.

Recommended Posts

Pesso

Приветствую коллег.  Предмет моего вопроса вынесен в заголовок.
1. Что для вас является критерием того, что после очередного прогона в тестере вы таки нашли сильную закономерность, которую можно начать тестировать на крысах демо-счете?
Для примера - вот такую штуку сейчас обкатываю:
 

Скрытый текст

image.png.f76826a267d1e8e08c668870987bcaac.png

Профит фактор 1.7,  750 сделок с 1 января 2010 года. На графике - достаточно плавный рост. При торговле с полным реинвестированием (постоянным риском) историческая просадка 25%. В селл торгует получше, чем в бай. На GBPUSD результат выше, на других фунтовых парах похуже (из-за спреда в том числе), но остальных мажорах - либо в ноль, либо слив.
Этого достаточно? На какие моменты вы еще обращаете внимание?


2. Насчет подгонов. Я видел на форуме мнение, что, дескать, оптимизация на исторических данных - суть и есть подгон под эти самые исторические данные. Я в корне не согласен.
Вот заметили вы, что если выполняются условия А и Б, то можно открыться с положительным МО. Начали чуть-чуть крутить фильтры, и поняли, что с условиями А1 и Б1 результат лучше в полтора раза. Почему это считается подгоном? А если бы условия А1 и Б1 были выставлены с самого начала, и в дальнейшем параметров оптимальней вы бы не нашли? Тогда не подгон? В моем видении подгон это "сегодня сделка открылась в 15:00 и дала 95% просадки. Значит выставляем запрет на открытие сделок в 15:00"


3. Важен ли для вас ответ на этот вопрос: "почему при использовании таких-то фильтров я получаю хорошее мат.ожидание?"  Если вы найдете хорошую закономерность, но не будете понимать, почему же именно она работает/почему работает только на этой паре и т.д., станете ли вы разрабатывать ее дальше, или выбросите?

Share this post


Link to post
Share on other sites
RazorFish
3 минуты назад, Pesso сказал:

Для примера - вот такую штуку сейчас обкатываю

 

Это результат оптимизации с 2010 года, или бэк-тест?

 

4 минуты назад, Pesso сказал:

оптимизация на исторических данных - суть и есть подгон

 

Всегда. Бэк-тест - также возможно подгонка, при неоднократном повторе...


I invite investors and partners into my PAMM! To acquisition partners, the payment for an invitation is from 1% up to 55% for an unlimited term. 

Приглашаю инвесторов и партнеров в мой ПАММ! Партнерам по привлечению выплаты от 1% до 55% на неограниченный срок.

Share this post


Link to post
Share on other sites
Pesso
5 минут назад, RazorFish сказал:

Это результат оптимизации с 2010 года, или бэк-тест?

Это картинка из тестера, полученная после подкрутки изначальных условий. Читай - оптимизация. Но ведь она не перестает быть бэк-тестом, разве не так?
Что вы вкладываете в определения оптимизации и бэк-теста?

Edited by Pesso

Share this post


Link to post
Share on other sites
RazorFish
2 минуты назад, Pesso сказал:

Это картинка из тестера, полученная после подкрутки изначальных условий. Читай - оптимизация. Но ведь она не перестает быть бэк-тестом, разве не так?
Что вы вкладываете в определения оптимизации и бэк-теста?

 

Бэк-тест - запуск ранее оптимизированной системы вне интервала дат, на котором проводилась оптимизация, и как правило, в диапазоне, в несколько раз большем использовавшегося для оптимизации.

Что касается подгонки, она возникает очень легко в том случае, если многочисленные управляющие коэффициенты ТС оказывают значительное влияние на ее работу, но слабо скоррелированы  между собой.


I invite investors and partners into my PAMM! To acquisition partners, the payment for an invitation is from 1% up to 55% for an unlimited term. 

Приглашаю инвесторов и партнеров в мой ПАММ! Партнерам по привлечению выплаты от 1% до 55% на неограниченный срок.

Share this post


Link to post
Share on other sites
Pesso
13 минут назад, RazorFish сказал:

Бэк-тест - запуск ранее оптимизированной системы вне интервала дат, на котором проводилась оптимизация

Мы возвращаемся к определению подгона.
Смотрите, я вам показал оптимизированный результат за 8.5 лет в своем первом посте. Я - подгоняльщик, результат - в топку.
Вася Пупкин решил накодить тот же алгоритм, что и я, но выставил те же параметры в настройках сразу (методом научного тыка). И нажал кнопку "Старт" всего один раз. Уже не подгон?

Вот такая логическая цепочка:
- я заметил, что, если выполняЛИСЬ условия А и Б, то на этом можно БЫЛО заработать на протяжении Х лет/месяцев

- я делаю предположение, что в дальнейшем, при выполнении этих условий можно будет продолжать зарабатывать.
- я торгую по этим условиям.
Я и Вася Пупкин пришли к этим условиям. Я - путем оптимизации (подгона), Вася - по наитию. В чем разница, если в дальнейшем мы совершенно одинаково по ним торгуем? Какая разница, как мы пришли к А и Б, если дальше наши действия не отличаются?

Edited by Pesso

Share this post


Link to post
Share on other sites
RazorFish

Это совершенно неважно, пришли ли Вы к данному результату через один проход, или через десять тысяч. Сейчас все параметры ТС настроены на уникальную рыночную ситуацию, пусть и длиной в несколько лет, которая больше никогда не повторится!

Именно поэтому оптимизатор стратегий метатрейдера я считаю абсолютно бесполезным, несмотря на то, что он совсем неплохо подгоняет коэффициенты советников под рыночную историю!

 

Я это прошел давным-давно, когда-то оптимизировал неделями(!) советники на огромных интервалах в режиме "все тики"...

Edited by RazorFish

I invite investors and partners into my PAMM! To acquisition partners, the payment for an invitation is from 1% up to 55% for an unlimited term. 

Приглашаю инвесторов и партнеров в мой ПАММ! Партнерам по привлечению выплаты от 1% до 55% на неограниченный срок.

Share this post


Link to post
Share on other sites
Pesso
1 минуту назад, RazorFish сказал:

Это совершенно неважно, пришли ли Вы к данному результату через один проход, или через десять тысяч. Сейчас все параметры ТС настроены на уникальную рыночную ситуацию, пусть и длиной в несколько лет, которая больше никогда не повторится!

Именно поэтому оптимизатор стратегий метатрейдера я считаю абсолютно бесполезным, несмотря на то, что он совсем неплохо подгоняет коэффициенты советников под рыночную историю!

Хорошо. Прокомментируйте тогда это:
 

10 минут назад, Pesso сказал:

- я заметил, что, если выполняЛИСЬ условия А и Б, то на этом можно БЫЛО заработать на протяжении Х лет/месяцев

- я делаю предположение, что в дальнейшем, при выполнении этих условий можно будет продолжать зарабатывать.
- я торгую по этим условиям.

Я прав, или нет?
По вашей логике любой результат из тестера это " уникальная рыночная ситуацию, пусть и длиной в несколько лет, которая больше никогда не повторится", и ими пожно подтереться.

Share this post


Link to post
Share on other sites
RazorFish

Если бы условия "А" и "Б" были некими вероятностными критериями, тогда можно было бы считать, что основанная на них система будет продолжать успешно работать хотя-бы некоторое время... Но тестер, в силу принципа своей работы, всегда выдает эти "А" и "Б" четко привязанными к графику, использованному для их подгонки вычисления, а это значит:

8 минут назад, Pesso сказал:

и ими пожно подтереться

 

То же самое касается и бэк-тестов, хотя они, казалось бы, как раз и используются для проверки на подгонку. Но они лишь расширяют эту подгонку на больший интервал, так как трейдер снова и снова опробует на одном и том же интервале разные наборы коэффициентов советника, пока не увидит красивый результат.

Edited by RazorFish

I invite investors and partners into my PAMM! To acquisition partners, the payment for an invitation is from 1% up to 55% for an unlimited term. 

Приглашаю инвесторов и партнеров в мой ПАММ! Партнерам по привлечению выплаты от 1% до 55% на неограниченный срок.

Share this post


Link to post
Share on other sites
Pesso
3 минуты назад, RazorFish сказал:

Если бы условия "А" и "Б" были некими вероятностными критериями, тогда можно было бы считать...

Не могли бы вы привести пример. "На пальцах", так сказать.

Share this post


Link to post
Share on other sites
Ugar68

Форвард тест. Можно даже на нескольких участках.

Edited by Ugar68

Пишу советники и индикаторы по вашим алгоритмам. Пишите в личку.
Чужие программы не переделываю.

Share this post


Link to post
Share on other sites
Pesso
13 минут назад, Ugar68 сказал:

Форвард тест. Можно даже не нескольких участках.

Но ведь предпосылкой для форвард теста будет все тот же бэк тест.
 

46 минут назад, Pesso сказал:

- я заметил, что, если выполняЛИСЬ условия А и Б, то на этом можно БЫЛО заработать на протяжении Х лет/месяцев

- я делаю предположение, что в дальнейшем, при выполнении этих условий можно будет продолжать зарабатывать.
- я торгую по этим условиям.

- я торгую по этим условиям. - это и есть форвард тест.

 

Или в вашем понимании это выглядит так:
- я решил проверить, можно ли заработать на условия А и Б?
- я торгую по этим условиям

Edited by Pesso

Share this post


Link to post
Share on other sites
ZeleBoba

to Pesso

Не слушайте противников тестера.

Для них вся история - пустой звук.

В любом случае, если оптимизация на каком-то интервале Вас устраивает и дает схожий результат на форварде в последнем периоде - торгуйте эту ТС.

Но с одним НО!.

Ваш тест показал что на рынке существует "тенденция", которую Вы вычислили.

И она м.б. существует очень давно (проверяется бэк-тестом). И может быть еще продлится какое-то время, м.б. даже довольно продолжительное.

А МОГЕТ и закончиться ПРЯМО СЕЙЧАС!

Вот к этому Ваша ТС должна быть готова - просигнализировать и остановить работу с минимально возможным убытком.

И еще момент - необходимо понимание ПОЧЕМУ изменение в тех или иных условиях ТС приводят к тому или иному результату.

Т.е. понимание механизма Ваших фильтров, а не "научный тык", типа выставлю кучу всяких индюков (фильтров) и по сумме буду входить/выходить. 

т.к. многие фильтры имеют противоположную "природу", как между собой, так и по отношению к состоянию рынка

 

Edited by ZeleBoba

Лучше маленький профит, чем большие рога.

Share this post


Link to post
Share on other sites
AntFX
6 часов назад, Pesso сказал:

Вот заметили вы, что если выполняются условия А и Б, то можно открыться с положительным МО. Начали чуть-чуть крутить фильтры, и поняли, что с условиями А1 и Б1 результат лучше в полтора раза. Почему это считается подгоном? А если бы условия А1 и Б1 были выставлены с самого начала, и в дальнейшем параметров оптимальней вы бы не нашли? Тогда не подгон? В моем видении подгон это "сегодня сделка открылась в 15:00 и дала 95% просадки. Значит выставляем запрет на открытие сделок в 15:00"

 

5 часов назад, Pesso сказал:

Вот такая логическая цепочка:
- я заметил, что, если выполняЛИСЬ условия А и Б, то на этом можно БЫЛО заработать на протяжении Х лет/месяцев

- я делаю предположение, что в дальнейшем, при выполнении этих условий можно будет продолжать зарабатывать.
- я торгую по этим условиям.
Я и Вася Пупкин пришли к этим условиям. Я - путем оптимизации (подгона), Вася - по наитию. В чем разница, если в дальнейшем мы совершенно одинаково по ним торгуем? Какая разница, как мы пришли к А и Б, если дальше наши действия не отличаются?

Рассуждения в стиле "если бы" не имеют никакого смысла. Мы работаем исключительно с тем, что есть, а не с тем, что было бы. Если было бы другое, работали бы с другим и делали бы другие выводы.

Здесь все более тонко, и в деле защиты тестов от подгонки работает та же вероятностная логика, что в самой торговле как таковой. Точно также, как в торговле мы стремимся торговать так, чтобы иметь наибольшие шансы получить прибыль, но при этом никогда не имеем гарантии, что не получим вместо этого убыток, при разработке ТС мы стремимся делать тесты и оптимизацию так, чтобы иметь наибольшие шансы, что результат не является подгонкой под случайные характеристики временного ряда, а не регулярные закономерности, поскольку у последних есть высокий шанс повторяться как минимум в ближайшем будущем, а у первого таких шансов нет совсем (кроме чистой случайности).

Поэтому: форвард тесты обязательны, причем, производимые не абы как (если их тупо поставить "на поток", то результат действительно будет мало чем отличаться от оптимизации сразу на всем периоде), а с умом, чтобы они действительно повышали вероятность не случайности улучшения от изменения конкретных оптимизируемых параметров.

 

Что касается Вашего графика, "запил" на последнем участке вызывает беспокойство. Именно последние участки тестов имеют наибольшее значение, поскольку то, что было в отдаленном прошлом для настоящего момента уже не имеет значения. Учитывая то, что очевидно Вы оптимизировали параметры без всякой защиты от подгонки, и все равно на последнем периоде теста происходит такой "запил", результат торговли по этой ТС неопределен ИМХО.

Edited by AntFX
  • Upvote 1

1

Share this post


Link to post
Share on other sites
Pesso
49 минут назад, AntFX сказал:

Что касается Вашего графика, "запил" на последнем участке вызывает беспокойство.

Я не защищаю свою ТС с пеной у рта если что (да это и не ТС, а просто баловство в тестере, приведенное для примера) Но о каком "запиле" речь? о_О

Share this post


Link to post
Share on other sites
AntFX
5 минут назад, Pesso сказал:

о каком "запиле" речь?

Ну сравните результат последнего периода между двумя последними обновлениями максимума на графике с результатами любого такого же по числу сделок периода до этого (если визуально не понятно)...

Скрытый текст

2.png

 

Edited by AntFX

1

Share this post


Link to post
Share on other sites
Ugar68
1 час назад, AntFX сказал:

Что касается Вашего графика, "запил" на последнем участке вызывает беспокойство. Именно последние участки тестов имеют наибольшее значение, поскольку то, что было в отдаленном прошлом для настоящего момента уже не имеет значения. Учитывая то, что очевидно Вы оптимизировали параметры без всякой защиты от подгонки, и все равно на последнем периоде теста происходит такой "запил", результат торговли по этой ТС неопределен ИМХО.

"Залип" или точнее провал в конце не может нравиться. Но после провала на графике небольшой рост. И на предыдущей истории были провалы чередовавшиеся с ростами. А если бы в коне был бы рост, возможно что после начнётся очередной провал. А после рост, если закономерность сохраняется, или ещё больший провал если сдохла. Не помешает сравнить последний провал с предыдущими. Если он самый большой или самый длительный, похоже на вымирание.


Пишу советники и индикаторы по вашим алгоритмам. Пишите в личку.
Чужие программы не переделываю.

Share this post


Link to post
Share on other sites
Pesso

Ладно, фиг с ним с "запилом". Повторюсь, на данном этапе это просто баловство в тестере.
Вот вы говорите, нужны форвард-тесты. Читай - реальная торговля.
Как я это вижу:

- потестировали

- настроили фильтры

- торгуем год и смотрим


А я вот предлагаю другой вариант:

- потестировали

- настроили фильтры

- год курим

- через 365 дней проводим бэк-тест за прошедший год. С настроенными ранее параметрами.

Я не вижу принципиальной разницы. Не беря в учет тонкости работы на реальном счете (проскальзывания и прочее - у нас не пипсовка) результат (в смысле определения работоспособности конкретной системы) мы получим один и тот же.
Вопрос - нафига определять работоспособность по форвард тесту, если по указанной схеме можно провести кучу бэк-тестов с тем же успехом?

Share this post


Link to post
Share on other sites
AntFX
32 минуты назад, Pesso сказал:

Вопрос - нафига определять работоспособность по форвард тесту, если по указанной схеме можно провести кучу бэк-тестов с тем же успехом?

По какой схеме - ждать год вместо того, чтобы получить результат сразу? :) А если таких форвардов за год проводятся десятки или даже сотни?

Edited by AntFX

1

Share this post


Link to post
Share on other sites
Pesso
1 минуту назад, AntFX сказал:

По какой схеме - ждать год вместо того, чтобы получить результат сразу? :) А если таких форвардов за год проводятся десятки или даже сотни?

Или вы не поняли вопрос, или я - ответ 😃
Перефразирую: зачем ждать год для проведения форвард-теста, если уже сейчас можно провести бэк-тест за последний год с параметрами, выбранными на предыдущей истории?

Share this post


Link to post
Share on other sites
AntFX
2 минуты назад, Pesso сказал:

Или вы не поняли вопрос, или я - ответ

...или Вы не понимаете, что такое форвард-тест :)

Edited by AntFX

1

Share this post


Link to post
Share on other sites
Pesso
Только что, AntFX сказал:

...или Вы не понимаете, что такое форвард-тест :)

Возможно. Просветите.

Share this post


Link to post
Share on other sites
AntFX
Только что, Pesso сказал:

Возможно. Просветите.

Погуглите для начала... Если останутся вопросы, я объясню. Ветка не совсем для новичков, вроде

Edited by AntFX

1

Share this post


Link to post
Share on other sites
Ugar68
7 часов назад, Pesso сказал:

Но ведь предпосылкой для форвард теста будет все тот же бэк тест.

Это ещё почему? Только если воспринимать оптимизацию как серию бэк тестов. 


Пишу советники и индикаторы по вашим алгоритмам. Пишите в личку.
Чужие программы не переделываю.

Share this post


Link to post
Share on other sites
Pesso
13 часов назад, AntFX сказал:

Погуглите

Из гугла:

Форвард тест торговых роботов может проводиться двумя способами:

  • прогон эксперта на определенном историческом участке, который заранее оставляется под форвард-тест. Этот вариант, как правило, используется для оптимизации советников.
  • установка советника на небольшой (центовый) реальный торговый счет. Применяется для окончательной проверки работоспособности эксперта.

Признаюсь, я считал форвард-тестом именно второе, а все варианты прогонов в тестере - бэк-тестами. Даже по названию back - позади, история то бишь, forward - впереди, стало быть реальная торговля.

Share this post


Link to post
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now

  • Recently Browsing   0 members

    No registered users viewing this page.

×