FAQ маркет рисёч
6.12. Резюме: углубляются в статистику не от хорошей жизни
Подытожим сказанное про погрешность. Потому что все это стремится к общему выводу: погрешность выборки старается не слишком нам докучать.
До опроса мы предполагаем максимальную дисперсию, но по факту она будет ниже. Если наша метрика – оценка, то кардинально ниже. А еще тем ниже, чем образованней аудитория. И когда из-за этого всего границы погрешности сузятся, ошибка в основном будет болтаться подальше от этих границ, поближе к нулю. Вот почему нецелесообразна доверительная вероятность 0,95: зачем ставить границы широко, если ошибка к ним особо не приближается. Это уже похоже на рассказ Хармса о рыжем человеке: «…и внутренностей не было. Ничего не было! Так что непонятно о ком идет речь.» Штучные проценты нас не интересуют. Но погодите.
На хороших выборках доверительный интервал, действительно, копеечный и непонятно, о чем говорить. Порядка 100 интервью для оценок, порядка 300 для признаков. Но то большие числа.
Но мы, допустим, замечтались, и стали сравнивать города с выборками 30 и 40 человек. А на таких выборках и разница в 10 процентных пунктов, скорее всего, незначима, случайные флуктуации. А сколько – не случайные? 20 пунктов? Вот тут и пора расчехлять статистику, потому что 20 может быть флуктуация, шум, а может и реальное явление – зависит от дисперсии, надо считать.
То есть понимаете, вопрос о значимости возникает при недостаточных выборках. Если разница в 10 пунктов заслуживает внимания, но наша выборка не тянет такую точность (при любой дисперсии) – недоработочка! Конечно, часто объективно вынужденная – врачей многих специальностей в принципе мало, бюджета тоже, а какие-то задачи могли всплыть, когда уже поздно менять выборку (поисковый квонт, почему нет). Но это оправдания. Факт в том, что если выборка видит не все существенное (а только животных размером больше носорога) – она неполноценна. То есть, само решение этой задачи было под вопросом, если вам реально нужно рассчитывать значимость. Попадется слон – разглядим, повезет с дисперсией – решим, как-то так.
Поэтому указывание значимостей повсеместно, просто для красоты, вообще-то должно вызывать вопросы. Сегодня водитель был трезв! И сегодня! И сегодня! Мы тоже гордимся, да. При том, что обычно там действительно всё в порядке – обычно большие выборки же.