Почему проваливаются тесты альтернативных данных
И чего на самом деле ждут фонды от поставщиков
·
Реальность продажи альтернативных данных квантовым фондам
Почти в каждой презентации поставщика данных есть график, похожий на этот:
К сожалению, результаты реальной торговли редко совпадают с результатами бэктеста. Из разговоров с командами как крупных, так и небольших квантовых фондов мы видим, что перспективные наборы данных часто не доходят до сделки из-за способа подготовки и предоставления данных, а не из-за отсутствия сигнала.
Как квантовые фонды оценивают данные
Главная трудность для фонда, который использует альтернативные данные, — не найти сигнал, а получить достаточно оснований, чтобы на него опереться.
Многие стратегии, которые выглядят многообещающе на обучающей выборке, дорого обходятся при реальной торговле на новых данных. Даже у надёжных стратегий с хорошими результатами бывают периоды просадки, поэтому по короткому отрезку трудно отличить сигнал от шума.
Фонды проверяют потенциальные торговые стратегии с помощью бэктестов. Их надёжность зависит от качества исторических исходных данных, а эти данные редко остаются неизменными: методики развиваются, записи пересматриваются, компании появляются в базе и исчезают из неё. Временные метки не всегда показывают, когда фонд действительно мог использовать данные для сделки. Рабочие процессы с LLM усугубляют проблему: коммерческие LLM, проверенные на Look-Ahead-Bench, демонстрируют впечатляющие результаты на исторической выборке, которые исчезают на новых данных, поскольку обучающая выборка уже содержала тестовый период.
Поэтому первые вопросы квантовых фондов о сторонних данных часто касаются их происхождения: как со временем менялась методика, как фиксируются исправления и что именно означают временные метки.
Ограничения тестовых периодов
С учётом этих трудностей и прежнего опыта инвесторов с неоправдавшимися стратегиями фонды проводят тестовые периоды, чтобы убедиться в качестве сторонних данных. Но это грубый и дорогой инструмент.
Для такой оценки нужны дефицитные ресурсы инженеров, исследователей и операционных команд. Для крупных фондов прямые затраты и упущенные возможности во время теста могут быть значительными — иногда сопоставимыми со стоимостью самих данных.
Даже если тест проводится, он часто слишком короток, чтобы отделить сигнал от шума. Поэтому многие наборы данных не проходят его по причинам, не связанным с реальным качеством данных.
Почему нарушенная причинно-следственная связь важнее неидеальных данных
Квантовые инвесторы привыкли работать с неидеальными данными. Более того, их очистка может стать конкурентным преимуществом. Но нарушенную причинно-следственную связь исправить гораздо сложнее. Именно из-за неё многие перспективные наборы данных не проходят оценку.
Проблема возникает, когда фонд не может установить, какая версия данных была доступна на момент сделки в бэктесте. Даже безупречный прогноз прибыли бесполезен, если нельзя подтвердить, что он существовал до публикации отчёта. Задержка всего в одну минуту может означать разницу в миллионы долларов прибыли или убытка.
Часто причина кроется в обычном обслуживании данных: пересмотре исторических значений, обновлении методики, версионировании или корректировке временных меток. То же происходит при расширении охвата, изменении идентификаторов и добавлении данных задним числом так, будто они были известны раньше.
Если причинно-следственная связь в сторонних данных неясна, невозможно доверять выводам и сигналам, построенным на их основе.
Недавняя публикация Glassnode наглядно показывает проблему. Две одинаковые стратегии используют одни и те же исходные данные. Одна работает с версиями, доступными на соответствующий момент, другая — с данными после всех последующих исправлений. Вторая показывает доходность 120%, а первая — 40%.
Это не исключение: бэктесты на данных с позднейшими исправлениями регулярно выглядят лучше бэктестов на данных, действительно доступных в прошлом.
Для квантовых фондов это серьёзный источник аналитической ошибки и проблема воспроизводимости. Поэтому они нередко отказываются даже от высокосигнальных наборов данных, не начав тест.
Пример: хорошие данные не проходят оценку по другой причине
Вы несколько месяцев создавали набор исторических показателей продаж крупных технологических компаний. Данные качественно собраны, профессионально поддерживаются и показывают хорошие результаты в бэктестах за разные периоды. Систематический фонд среднего размера соглашается провести тест.
Через три месяца результаты реальной торговли умеренные и нестабильные. Исследовательская команда замечает небольшие расхождения между историческими и текущими данными и спрашивает о пересмотрах и изменениях методики. Вы знаете, что расхождения безобидны, но доказать это трудно.
Фонд признаёт тест неубедительным и отказывается от набора данных. Вы месяцами помогали с оценкой, получили вежливое «нет» без полезных пояснений и не знаете, разочаровал ли фонд сигнал или ему просто не хватило уверенности в результатах. Следующего шанса с этим фондом, возможно, не будет несколько лет.
Как проверяемость меняет разговор
Представьте, что вы могли бы показать независимую, проверяемую историю изменений. Расхождения остались бы теми же, но фонд смог бы самостоятельно увидеть, как менялись исторические данные.
Это позволило бы оценивать данные по всей исторической выборке, а не только за короткий тестовый период. Результат во время теста стал бы одной из составляющих решения, а не его главным основанием.
При одинаковых данных и одинаковых результатах реальной торговли уверенность фонда в собственной оценке будет совершенно иной. Именно эта уверенность часто определяет, закончится ли тест неопределённостью или долгосрочным сотрудничеством.
Тест на воспроизведение прошлого
Если вы не уверены, насколько ваш набор данных соответствует этим требованиям, проведите простой тест — Replay Test.
Может ли покупатель быстро восстановить состояние вашего набора данных на любую дату в прошлом — включая схему, соответствие идентификаторов и все изменения с того момента — и приступить к достоверному бэктесту?
Если ответ «не всегда», именно здесь многие оценки останавливаются. Если набор данных проходит этот тест, вы устранили одну из самых распространённых причин, по которым перспективные данные не доходят до сделки.
Что ещё снижает затраты на оценку
В систематических инвестициях вы продаёте не просто набор данных: удобство использования и воспроизводимость могут быть не менее важны, чем сам сигнал.
Несколько практических советов поставщикам:
- Чётко опишите охват и классификацию. Смена тикеров, исключение компаний из листинга и корпоративные действия создают скрытые ошибки, если сопоставление сущностей не определено для каждого момента времени.
- Считайте доставку частью продукта. Поддерживайте стабильную схему, версионируйте изменения и публикуйте понятный журнал изменений.
- Открыто говорите об исправлениях. Если исторические значения, методики или охват могут меняться, объясните, что, почему и когда меняется.
Это не гарантирует сделку, но устраняет самые частые причины, по которым оценки останавливаются.
В validityBase мы создаём инфраструктуру, которая помогает поставщикам пройти тест на воспроизведение прошлого и подготовить данные так, чтобы повысить шансы на успешную оценку.
Сюда входят журналы изменений, по которым фонды могут проверить, что и когда было предоставлено, а также упаковка, документация и инфраструктура доставки, необходимые исследовательским командам. В результате оценка занимает меньше времени, меньше тестов заходят в тупик, а командам проще обосновать выбор данных.
Before vBase, Dan founded Clerkenwell Asset Management, a systematic hedge fund that bought and evaluated external data to build trading strategies. He brought that buyer-side perspective to vBase, which builds infrastructure for teams making credible predictive claims.
