Существующие измерения неустойчивы

Проводя тестирование, вы пытаетесь определить относительную результативность системы, оценить возможную результативность в будущем, а также выяснить, насколько обоснованна та или иная идея. Одна из проблем этого процесса состоит в том, что общепринятые показатели измерения нестабильны. Поэтому сравнительная оценка той или иной идеи затруднена – небольшие изменения за счет одной-двух сделок способны существенно повлиять на значения этих слабых показателей. Вследствие нестабильности измерений вы можете поверить в то, что идея более ценна, чем на самом деле, или отказаться от идеи, потому что она не кажется столь привлекательной, каковой является на самом деле, если к ее измерению применить более стабильные показатели.

Статистические исследования являются устойчивыми, если изменение небольшого набора данных не приводит к существенным изменениям результатов. Существующие показатели измерения слишком чувствительны к изменениям данных. Это одна из причин того, что при проведении исторического моделирования при анализе торговых систем небольшие изменения значения параметра существенно изменяют значения результирующих показателей. Сами по себе показатели не являются устойчивыми, иначе говоря, они чувствительны к небольшим информационным массивам. Соответственно, все, что влияет на эти информационные массивы, способно также существенно повлиять на результаты. В итоге дело может закончиться подгонкой, и вы будете дурачить себя результатами, недостижимыми в реальной жизни. Первый шаг в тестировании согласно Пути Черепах состоит в том, чтобы найти показатели измерения результативности, которые являются устойчивыми и независимыми от небольших изменений в исходных данных.

Во время собеседования перед началом программы Черепах Билл Экхардт спросил меня: «Знаешь ли ты, что такое устойчивый статистический показатель?» Я помолчал немного, а затем сказал: «Не имею никакого представления». Теперь я могу ответить на этот вопрос. Речь идет о разделе математики, занимающемся проблематикой несовершенной информации и неправильными предположениями, называемом статистикой надежности или робастной статистикой.

Из самого вопроса было ясно, что Билл осознавал несовершенную природу тестирования и исследования на базе исторической информации, а также понимал суть непознаваемого, – редкое качество для тех времен (да и теперь). Я думаю, что в этом и заключалась причина отличных результатов трейдинга Билла на протяжении многих лет.

Это – еще один пример того, насколько далеко по сравнению с другими игроками в отрасли продвинулись в своих исследованиях и размышлениях Рич и Билл. Чем больше я учусь, тем большее уважение испытываю к их вкладу в нас. И меня крайне удивляет, как недалеко продвинулась отрасль относительно того, что Рич и Билл знали в еще 1983 году.

Устойчивые показатели измерения результативности

Ранее мы говорили о таких показателях измерения сравнительной результативности, как коэффициент MAR, CAGR% и коэффициент Шарпа. Эти показатели не очень устойчивы, так как существенно зависят от дат начала и окончания периода тестирования. Это особенно справедливо для тестов менее чем 10-летних периодов. Представьте себе, что случится, если мы скорректируем сроки начала и окончания теста на несколько месяцев. Для этого проведем тест не с начала января 1996 года, а с начала февраля того же года. В качестве срока окончания возьмем не 30 июня 2006 года, а 30 апреля – то есть уберем всего один месяц с начала и два месяца с конца тестируемого периода.

Тест тройной скользящей средней с первоначальными данными дал нам 43,2 процента отдачи с коэффициентом MAR, равным 1,39, и коэффициентом Шарпа, равным