Что происходит при подборе
У стратегии десятки настроек. Перебирая их, вы неизбежно находите сочетание, которое на выбранном отрезке даёт отличный результат. Проблема в том, что часть этого результата — совпадение: конкретные свечи конкретного периода сложились удачно именно для этих чисел.
Такое сочетание называется переподгонкой. Оно узнаётся по одному признаку: на новых данных результат резко хуже.
Почему двадцать прогонов — это не двадцать проверок
Если проверить двадцать случайных стратегий, одна из них почти наверняка покажет «статистически значимый» результат просто по случайности. Это не особенность нашего сервиса, это свойство любого перебора.
Поэтому сервис считает число испытаний: сколько прогонов вы уже сделали по этому инструменту и пересекающемуся периоду — включая прогоны других ваших стратегий. Десять стратегий по разу — тот же перебор, что одна стратегия десять раз. Поправка на число испытаний делает порог значимости строже с каждым новым прогоном.
Что делать вместо подбора
- Проверяйте на нескольких периодах, а не на одном.
- Оставляйте часть истории нетронутой и проверяйте на ней в конце —
это и есть проверка вне выборки.
- Меняйте по одной настройке за раз.
- Смотрите на устойчивость, а не на максимум: стратегия, дающая
умеренный результат на всех периодах, надёжнее той, что блестит на одном.
Хорошая проверка выглядит скучно: похожие числа на разных отрезках. Кривая, которая выглядит как мечта, обычно и есть мечта.