Jump to content
Shcherbakov Evgeniy

Нюансы тестирования стратегий

Recommended Posts

Shcherbakov Evgeniy

Наконец решился автоматизировать свою систему, что бы проверить ее на более длительной истории, разных парах, и побаловаться с оптимизацией. 

Можно было потратить на это несколько месяцев у монитора и окончательно свихнуться, но проще было освоить язык MQL4. 

 

После того как удостоверился, что эксперт рабочий и жизнеспособен (прогон по контрольным точкам, система на Daily, по-этому погрешность должна быть не большая), начал тестирование по "Всем тикам". Оптимизировал за последние пол года, прогон по одной паре занимал 3-5 часов, не знаю много это или мало, но одновременно тестировалось 4 параметра. 

 

Некоторые результаты получились чрезмерно "сладкими" например с коэф.прибыльности более 3-4(примерно за 200 сделок)... Не верю в такие системы на продолжительном периоде.

 

В итоге начал проверять, преимущественно профитные сделки в ручную.

 

Многое совпадало, но нашел какие то разногласия, как мне показались в котировках. 

 

Когда смутили уровни на которых выставлены отложки, то включил тестер через "Визуализацию", увидел большое расхождение в котировках с тем графиком который у меня перед глазами (всё в альпари), например отложка была выставлена на 50 пунктов выше, чем это должно быть на графике, более того SELLSTOP выставлен выше цены на данным момент более чем на 30 пунктов, неудивительно, что в результатах эта сделка сработала и принесла профит, хотя выставленная по графику поймала бы лося. 

 

Вопрос, кто в данном случае прав? котировки из теста (и откуда он вообще их берет) или котировки которые на графике? 

Точность тестирования была примерно 72%, так полагаю не много. 

 

Поделитесь приобретенными навыками тестирования и оптимизации  ;)  :)


Тем, кто ищет легких денег, неизменно приходится платить за привилегию послужить окончательным доказательством того, что в нашем черством мире легких денег просто не бывает.

 

Эдвин Лефевр

Share this post


Link to post
Share on other sites
Ivan Gurov

Вопрос, кто в данном случае прав? котировки из теста (и откуда он вообще их берет) или котировки которые на графике? 

Точность тестирования была примерно 72%, так полагаю не много. 

 

Точность 72% это говорит уже, что то не то. Точность должна быть 90%. Например так.

 

153474360-6d2f8781ce36.png

 

Скорее всего ты не загрузил котировки. Нажми F2 в терминале и посмотри, все ли котировки ты загрузил.

Edited by Ivan Gurov
  • Thanks 1

Share this post


Link to post
Share on other sites
Shcherbakov Evgeniy

Скорее всего ты не загрузил котировки. Нажми F2 в терминале и посмотри, все ли котировки ты загрузил.

Откуда? =)

  • Thanks 1

Тем, кто ищет легких денег, неизменно приходится платить за привилегию послужить окончательным доказательством того, что в нашем черством мире легких денег просто не бывает.

 

Эдвин Лефевр

Share this post


Link to post
Share on other sites
Shcherbakov Evgeniy

Разобрался про F2

 

Читал мельком про тестирование в 99% 

Это ближе к реальности? или внешние котировки могут отличаться от Альпари и лучше тестировать по данным того брокера где будет работа?

Edited by Shcherbakov Evgeniy
  • Thanks 1

Тем, кто ищет легких денег, неизменно приходится платить за привилегию послужить окончательным доказательством того, что в нашем черством мире легких денег просто не бывает.

 

Эдвин Лефевр

Share this post


Link to post
Share on other sites
Ivan Gurov

Откуда? =)

 

С сервера Альпари.

 

10c31c344570.png

 

Например, тут видно, что загружено только M5. А надо все.

Как загрузишь все, скорее всего результат изменится.

 

Это ближе к реальности? или внешние котировки могут отличаться от Альпари и лучше тестировать по данным того брокера где будет работа?

 
Естественно, надо тестировать на котировка того брокера. Где планируешь работать.
Edited by Ivan Gurov

Share this post


Link to post
Share on other sites
AntFX

 

 

Читал мельком про тестирование в 99%  Это ближе к реальности?
 

Это актуально для скальперов и систем, чувствительных к размеру спреда, с небольшим матожиданием. Для систем на дневках это абсолютно не актуально.

  • Thanks 2

1

Share this post


Link to post
Share on other sites
Ivan Gurov

 

Это актуально для скальперов и систем, чувствительных к размеру спреда, с небольшим матожиданием. Для систем на дневках это абсолютно не актуально.

 

 

99% даже наверное невозможно на MT4 протестировать? Ибо тики генерируются, а не хранятся. Максимум 90%?

Share this post


Link to post
Share on other sites
AntFX

 

 

99% даже наверное невозможно на MT4 протестировать? Ибо тики генерируются, а не хранятся. Максимум 90%?

Тики генерирует МТ4 перед тестированием. А можно самому сгенерировать эти тики (файл fxt) по реальным тиковым данным. Вот только чтобы спред на этих тиках был реально плавающим, нужно некоторое вмешательство, которое производилось примочкой под названием Birt's Tick Data Suite. 

  • Thanks 1

1

Share this post


Link to post
Share on other sites
Ivan Gurov

Тики генерирует МТ4 перед тестированием. А можно самому сгенерировать эти тики (файл fxt) по реальным тиковым данным. Вот только чтобы спред на этих тиках был реально плавающим, нужно некоторое вмешательство, которое производилось примочкой под названием Birt's Tick Data Suite. 

 

Это да. Но самому их генерировать на основе чего?) Где то нужно реальные тики брать.

Вообщем, если ТС не скальпирует.. то 90% нормальный процент для тестирования.

Share this post


Link to post
Share on other sites
AntFX

 

 

Это да. Но самому их генерировать на основе чего?) Где то нужно реальные тики брать.

ticks.alpari.org 

  • Thanks 1

1

Share this post


Link to post
Share on other sites
Ivan Gurov

ticks.alpari.org 

 

Ну вообщем да. Так и есть. =)

Share this post


Link to post
Share on other sites
Shcherbakov Evgeniy

Скачал тики для GBPUSD через F2 

Картинка изменилась, но пишет качество n/a, я так понимаю это совсем не 90% =)


Тем, кто ищет легких денег, неизменно приходится платить за привилегию послужить окончательным доказательством того, что в нашем черством мире легких денег просто не бывает.

 

Эдвин Лефевр

Share this post


Link to post
Share on other sites
AntFX

 

 

пишет качество n/a

Вероятно, Вы используете модель тестирования не "все тики", а какую-то другую. 


1

Share this post


Link to post
Share on other sites
Shcherbakov Evgeniy

Вероятно, Вы используете модель тестирования не "все тики", а какую-то другую. 

Ее, "все тики" период Daily, спред текущий


Тем, кто ищет легких денег, неизменно приходится платить за привилегию послужить окончательным доказательством того, что в нашем черством мире легких денег просто не бывает.

 

Эдвин Лефевр

Share this post


Link to post
Share on other sites
Dagnar

Если система сильно чувствительна к +-50п, то тестировать ее на D1, неважно, тики или не тики, не совсем разумно. Если какие-то параметры, ТП, СЛ, отступ для отложек и тому подобного меньше  среднего размера бара по используемому таймфрейму, то такому тесту полностью доверять нельзя. Это мое мнение.

 

Используйте iOpen и iClose, считывайте данные с D1, но таймфрейм для тестирование поставьте M1. Будет достовернее, чем на D1 всё что внутри бара было MT4 наэмулирует.

 

p.s. Да , и еще проверку, чтобы цены закрытия раньше времени не считывал, а то получится "грааль на истории".

Edited by Dagnar
  • Thanks 1

Share this post


Link to post
Share on other sites
Shcherbakov Evgeniy

 

 

Если система сильно чувствительна к +-50п, то тестировать ее на D1, неважно, тики или не тики, не совсем разумно. Если какие-то параметры, ТП, СЛ, отступ для отложек и тому подобного меньше  среднего размера бара по используемому таймфрейму, то такому тесту полностью доверять нельзя. Это мое мнение.

Да верно! Сигналы возникают на Daily, но отложка выставляется в определенный час, и срок сделки максимум сутки!

Я понял Вас, спасибо! Буду работать :)  


Тем, кто ищет легких денег, неизменно приходится платить за привилегию послужить окончательным доказательством того, что в нашем черством мире легких денег просто не бывает.

 

Эдвин Лефевр

Share this post


Link to post
Share on other sites
kazakov.v

Скачал тики для GBPUSD через F2 

Картинка изменилась, но пишет качество n/a, я так понимаю это совсем не 90% =)

 

- Закачиваешь M1 по F2

- Отключаешь интернет (по крайней мере для терминала)

- Проверяешь максимальное количество баров в окне: д.б. не меньше 2 млн. Если меньше - ставишь 2 млн. и перезагружаешь терминал

- Открываешь график М1, переходишь в самое начало - д.б. 1999 год виден

- Перестраиваешь все ТФ: например, бросаешь PeriodConverter на М1 с умножением х5, х15, х30, х60, х240, х1440 

 

Ну и вот. Должно качество получиться 90%.

  • Thanks 1

Никому верить нельзя.

Мне - можно.

 

Share this post


Link to post
Share on other sites
Ugar68

- Закачиваешь M1 по F2

- Отключаешь интернет (по крайней мере для терминала)

- Проверяешь максимальное количество баров в окне: д.б. не меньше 2 млн. Если меньше - ставишь 2 млн. и перезагружаешь терминал

- Открываешь график М1, переходишь в самое начало - д.б. 1999 год виден

- Перестраиваешь все ТФ: например, бросаешь PeriodConverter на М1 с умножением х5, х15, х30, х60, х240, х1440 

 

Ну и вот. Должно качество получиться 90%.

Зачем такие сложности?

- Закачиваешь M1 по F2 нажав кнопку "загрузить"

- после загрузки, разу снова нажать кнопку "загрузить". Терминал сообщит что нет новых данных и предложит пересчитать все таймфреймы. Ответить да и терминал сам пересчитывает все таймфреймы.

  • Thanks 1

Пишу советники и индикаторы по вашим алгоритмам. Пишите в личку.
Чужие программы не переделываю.

Share this post


Link to post
Share on other sites
Shcherbakov Evgeniy

Нажал загрузить М1, перешел на график М1, там 2 месяца только доступно

При загрузке пишет база данных 65001 / 6052608 записей


Тем, кто ищет легких денег, неизменно приходится платить за привилегию послужить окончательным доказательством того, что в нашем черством мире легких денег просто не бывает.

 

Эдвин Лефевр

Share this post


Link to post
Share on other sites
Shcherbakov Evgeniy

Нажал загрузить М1, перешел на график М1, там 2 месяца только доступно

При загрузке пишет база данных 65001 / 6052608 записей

Разобрался,

Сервис - Настройки - График - Количество баров в истории - 9999999999


Тем, кто ищет легких денег, неизменно приходится платить за привилегию послужить окончательным доказательством того, что в нашем черством мире легких денег просто не бывает.

 

Эдвин Лефевр

Share this post


Link to post
Share on other sites
kazakov.v

 

 

Зачем такие сложности?

 

Затем, что пока терминал подключен к интернету, он норовит подкачать историю с торгового сервера, и изгадить таким образом согласование различных ТФ.

Вообще,эти 90% не говорят о качестве котировок, а только лишь наличие и согласованность разных ТФ.


Никому верить нельзя.

Мне - можно.

 

Share this post


Link to post
Share on other sites
Shcherbakov Evgeniy

Всё чудесно, закачал большую историю М1, переделал эксперта, торгует те же сигналы в то же время но по графику М1 

Запустил с 1.09.2016, проверил пару сделок с Визуализацией (4 торговых дня на минутном графике, чуть не уснул) всё устроило, расхождений нет. 

Решил прогнать всё тоже самое на 8 месяцев (до сентября) и дает такую вот картину:

 

57cf2b6b5a55f_TesterGraph.gif

 

Качество теста 25% В чем дело опять?


Тем, кто ищет легких денег, неизменно приходится платить за привилегию послужить окончательным доказательством того, что в нашем черством мире легких денег просто не бывает.

 

Эдвин Лефевр

Share this post


Link to post
Share on other sites
AntFX
Качество теста 25% В чем дело опять?

Качество теста на ТФ М1 всегда 25%. Причина в том, что внутри минуток МТ4 эмулирует движение цены, как цена реально двигалась внутри минуток он не знает.

Откуда взялось именно это число 25%, не больше и не меньше? А вот это науке ещё не известно =))

Edited by AntFX
  • Thanks 1

1

Share this post


Link to post
Share on other sites
Paukas

Всё чудесно, закачал большую историю М1, переделал эксперта, торгует те же сигналы в то же время но по графику М1 

Запустил с 1.09.2016, проверил пару сделок с Визуализацией (4 торговых дня на минутном графике, чуть не уснул) всё устроило, расхождений нет. 

Решил прогнать всё тоже самое на 8 месяцев (до сентября) и дает такую вот картину:

 

57cf2b6b5a55f_TesterGraph.gif

 

Качество теста 25% В чем дело опять?

Отлично. А теперь тот же тест на м1 по опен баров.

Share this post


Link to post
Share on other sites
Shcherbakov Evgeniy

Отлично. А теперь тот же тест на м1 по опен баров.

Что то я не совсем понял) То есть результаты те же самые но в 200 раз быстрее?) :D

Edited by Shcherbakov Evgeniy

Тем, кто ищет легких денег, неизменно приходится платить за привилегию послужить окончательным доказательством того, что в нашем черством мире легких денег просто не бывает.

 

Эдвин Лефевр

Share this post


Link to post
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now

  • Recently Browsing   0 members

    No registered users viewing this page.

×