Насколько точны прогнозы очков
Мы публикуем и среднюю ошибку прогноза, и попадание в топ-3 — всегда вместе с выборкой, на которой они посчитаны, и меряем так, чтобы модель не видела будущего.
Самый частый способ соврать о точности — проверить модель на тех же гонках, на которых она училась. Такая проверка всегда выглядит отлично и ничего не говорит о следующем этапе.
Правильная проверка называется walk-forward: модель на каждом этапе знает только то, что было известно до него, и прогнозирует следующий. Мы считаем точность именно так.
Обычно мы промахиваемся примерно на 11 очков на пилота за гонку. По-простому: если два пилота в прогнозе отличаются меньше чем на 11 очков, считайте их равными — разница внутри нашей погрешности.
За последние 7 гонок (этапы 5–11) прогнозируемый топ-3 пилотов совпал с фактическим 3 раза. Первых 4 этапов сезона в замере нет: модель, предсказывающая гонку, обучается на гонках до неё, а на втором этапе учиться ещё не на чем.
Одиннадцать очков ошибки звучит много, и это честная цифра: разброс результата в гонке огромен, потому что сход, дождь или командная тактика перевешивают любую форму. Именно поэтому мы показываем не одно число, а диапазон возможного результата.
Мы намеренно не публикуем долю «угаданных» составов. Инструмент, который выглядит увереннее, чем он есть, перед дедлайном вреден: он подталкивает поставить всё на один вариант там, где решение должно учитывать риск.
Частые вопросы
Что такое walk-forward проверка?
Это проверка, при которой на каждом этапе модель использует только данные, доступные до него. Она честнее, чем проверка на всём сезоне сразу, и всегда даёт более скромные цифры.
Почему главная цифра — ошибка, а не процент угаданного?
Потому что доля угаданного зависит от того, что считать попаданием, и на короткой выборке выглядит круглее, чем есть: у нас после одного добавленного этапа она сдвинулась с 50% до 43%. Поэтому попадание мы называем в штуках и вместе с выборкой, а главной цифрой держим среднюю ошибку в очках — она такой свободы не оставляет.