FAQ маркет рисёч
6.10. Что стоит помнить про погрешность - 4: погрешность вероятностна, это всего лишь возможность.
И последний гвоздь в чучелко этой темы – с чего мы бы начали, будь это теоретический учебник. Но мы идем от простого к сложному. Кажется. Итак, доверительная вероятность. С доверительной вероятностью связаны две очень типичные ошибки.
Во-первых, про нее забывают. Вот, говорят, у нас погрешность +/- 4,5%, и ни грамма больше. Да черта с два!
Строго говоря, вообще нет какой-то четкой погрешности[1]. Мы просто для краткости, привыкли так говорить – погрешность равна. Ничему она на самом деле не равна. Она может быть. А может и не быть.
Смотрите, мы измерили только выборку. Насколько выборка «промахнулась» (профлуктуировала) мимо генеральных показателей – можно только гадать. Генеральную совокупность-то никто не мерил. Строго говоря, неизвестно, что там за пределами выборки. Это раз. Два – значит там может быть что угодно, теоретически. Вспомним пример со школьниками: вот мы отобрали 10 детишек, и все оказались троечниками. Есть ли шанс, что остальные 20 их одноклассников поголовно отличники? Есть. Если отбор действительно случайный – рано или поздно, детишки отберутся всеми возможными способами. И так тоже могли. Вопрос – каковы шансы. Их же нет почти!
Вот на них мы и смотрим. Доверительная вероятность – это отсечение всех безумных флуктуаций. Выбора флуктуировала-флуктуировала, но совесть тоже надо иметь. Потому что если реально ожидать, что в случайную выборку попадутся одни нобелевские лауреаты – можно забыть про выборочный метод вообще. Ну и вот, мы как бы исключаем возможность всяческих безумств. Не выкидывать же выборочный метод на помойку из-за мизерного шанса осечки. Мы будем просто про него помнить, ну, на всякий.
И вот тогда, только с помощью доверительной вероятности, становится возможно оценить размер погрешности. «Вообще» измерение при помощи выборки может промахнуться мимо генерального на сколько угодно. А когда мы отбросим самые маловероятные промахи – у оставшихся появляется граница: ровно те, которые мы не отбросили, т.е. сочли таки значимо вероятными. Сколь-либо вероятные промахи – в пределах 2 рублей, такого плана.
Вот (см. рис. 1!) кривая распределения – разумеется нормальная[2]. Допустим, это результаты бросков монеты – ее кто-то подкидывает по 100 раз, и после каждой серии бросков записывает % «орлов». В большинстве серий результат будет вокруг «фифти-фифти». Еще в части – сравнительно заметной – орел будет падать сильно реже или чаще 50%: вплоть до 25% / 75%. Все что дальше – скорее совсем редкие расклады. Чтобы орел выпал, ну, 1 раз из 100 – шансов примерно ноль. И чего этого ожидать. И даже 90 «решек» из 100 – ну перебор же. «Перебор» здесь означает, что и без подсчетов и графиков очевидно, что редкая история. А вообще можно и посчитать, вероятность-то. И вот дальше смотрите, что происходит: мы априорно решаем не верить в такие расклады, вероятность которых ниже Х. Ниже 5%, это общепринято; все более редкое – исключаем.
К цифре 5% еще вернемся, а пока обратите внимание вот на что. К чему мы все время и вели. Вероятность большой ошибки (в нашем случае – что в очередных 100 бросках «орлов» будет, скажем, 10%) слишком мала, мы ее игнорируем. Вероятность что ошибка будет размером точно с доверительный интервал (например, он у нас 9%) – это как раз доверительная вероятность. Пять процентов. Один к двадцати. Каково? Остальные 19 шансов из 20 – что ошибка меньше. Меньше. А самые лучшие шансы – вообще попасть примерно на вершину кривой распределения. В большинстве серий бросков монетки, орел и решка будут около 50/50. То есть, скорее всего, выборка в точности «попадет» в генеральный показатель, либо очень близко.
Проще говоря, вероятностная сущность погрешности заключается в том, что погрешность скорее маленькая, чем большая. Еще проще говоря, надо помнить не только, что у выборки бывает ошибка, но и что она как бы старается не случиться.
Ну, примерно. Понятно же, что попасть в точности невозможно, микро-отклонения в доли процентов будут примерно всегда. Но у нас и без этого много причин не интересоваться долями.
Поэтому правильный ответ на вопрос «вот тут упало на 3%, верить ли этому, если доверительный интервал 4%?» будет «скорее верить». Более научным языком: есть шанс, что это артефакт выборки, а не реальное изменение. Но это маленький шанс, хотя он и выше, чем мы сами установили в качестве допустимого. Потому что результат – у границы погрешности. Скорее всего (на практике) прямо-таки в разы вероятнее, что это не артефакт, а правда упало на 3%.
Насколько «в разы» – зависит от выбранной доверительной вероятности, в первую очередь. Но поскольку обычно все используют 95%, то скорее всего где-то близко к этом уровню – может, 80%, что не артефакт. 4 к 1, на секундочку! О размере доверительной вероятности дальше и пойдет речь, потому что это вообще важно.
А вот если бы в этом примере сдвиг был 1% (или сдвиг на 3% при доверительном интервале в 10%) – тогда скорее это не изменение, а «показалось», скорее артефакт выборки. Потому что близко к вершине[3].