Даже у ИИ-конкурентов половина сигналов — шум
Содержание
MidasFlow, один из ИИ-детекторов пампов, сам публикует: 30-40% их ранних предупреждений не превращаются в памп. Мы сопоставили их цифру не с «мы лучше», а с собственной честной проверкой score на 2 381 размеченных сигналах — вывод (пока не монотонна) тоже не идеальный, и мы это не прячем.
Что публикует MidasFlow
В базе знаний MidasFlow (сервис детекции пампов на базе ИИ-агентов) есть открытая цифра: по их собственному описанию фаз пампа, 30-40% ранних предупреждений («phase 1», сигнал ещё до основного движения) не превращаются в реальный памп. Это редкость в нише — большинство сервисов такие цифры не публикуют вовсе, и уже за один факт публикации стоит отдать должное.
Но у самой цифры есть слепое пятно: 30-40% — это доля ложных срабатываний относительно порога самого MidasFlow, без внешней проверки, без разбивки по силе сигнала и без данных о том, что было с ценой у оставшихся 60-70% — откатили ли они потом, или просто выросли и всё. Одна агрегированная цифра точности детекции — не то же самое, что честная проверка, коррелирует ли ИХ внутренняя оценка уверенности с фактическим исходом.
Наша цифра — по той же логике
У нас похожая механика score (0-100, композит из силы движения/объёма/OI), и мы сделали ровно то, чего не хватает у MidasFlow, — публичную страницу /score-analysis, которая проверяет саму метрику против фактического исхода, а не только объявляет её работающей. На 2 381 размеченных сигналах, для бакетов с достаточной выборкой (n ≥ 30 на бакет):
| Бакет score | n | Откат ≥50% |
|---|---|---|
| средний (30-59) | 1 011 | 95.7% |
| сильный (60-84) | 1 140 | 91.1% |
| экстремальный (85-100) | 228 | 91.2% |
Вывод страницы честный, не приукрашенный: связь score с долей отката пока не монотонна на всех бакетах — то есть более высокий score не всегда означает более высокую долю отката, и мы прямо это признаём, а не прячем за общей средней. Полная таблица по всем бакетам, включая ненадёжные (n < 30, помечены отдельно) — на самой странице /score-analysis, обновляется автоматически.
Два honest-подхода к одной проблеме
Формально MidasFlow и мы решаем одну и ту же задачу честности: показать, что происходит с метрикой на самом деле, а не только продавать её как работающую. Разница — в единице измерения. MidasFlow публикует агрегированный процент ложных срабатываний по одному порогу (одно число за весь период). Мы публикуем разбивку по бакетам score с проверкой монотонности — то есть не «сколько раз мы ошиблись», а «действительно ли более высокая оценка соответствует более надёжному исходу», и делаем это на постоянно обновляемой живой странице, а не в статичном тексте базы знаний.
Ни один из двух подходов не доказывает существование торгового эджа — MidasFlow не заявляет доходность напрямую от своей метрики уверенности, а наш собственный бэктест эджа не нашёл вовсе (см. «Почему мы не даём торговых сигналов»). Оба подхода решают более скромную, но настоящую задачу: не дать метрике выглядеть надёжнее, чем она есть на самом деле.
Что это значит для читателя
Практический вывод одинаковый для обеих систем: высокая оценка (score у нас, «уверенность» у MidasFlow) — не гарантия исхода, а сводка того, насколько сигнал выделяется по уже собранным метрикам на момент детекции. Если сервис не публикует проверку своей же метрики против исхода — у читателя нет способа отличить реально работающую оценку от красиво звучащего числа. Единственный честный ответ на этот вопрос — самому смотреть на воспроизводимые, обновляемые цифры, а не на маркетинговое заявление об «ИИ-точности».
Частые вопросы
Значит ли это, что MidasFlow работает хуже, чем мы?
Нет прямого сравнения — методики измерения разные (доля ложных срабатываний против проверки монотонности score), и мы не проверяли MidasFlow независимо, только цитируем их же опубликованную цифру.
Почему на /score-analysis не все бакеты показаны как надёжные?
Потому что при малой выборке (n < 30 на бакет) доля отката статистически шумная — публиковать её как надёжный вывод было бы нечестно, поэтому такие бакеты помечены отдельно, не удалены и не подогнаны.
Score вообще нужно использовать при принятии решений?
Score — сводка интенсивности сигнала по трём метрикам, не прогноз и не рекомендация действовать. Подробнее — в статье про методологию score.
