FAQ маркет рисёч
6.10.а Что стоит помнить про погрешность – 4 ½: погрешность вероятностна, и мы сами устанавливаем насколько
Итак, первая из типичных ошибок, связанных с использованием доверительной вероятности – ее не то, чтобы используют. Вторая ошибка – брать «дефолтный» уровень 95%.
95% вероятность означает, что проведи вы 20 исследований – в одном из них погрешность чуть превысит доверительный интервал. Именно чуть-чуть, чем дальше – тем его сложнее превысить. В остальных 19 ошибка будет меньше ДИ (и обычно намного), то есть в рамках предсказаний. Это очень крепкие гарантии, надо заметить. Нужно ли это?
Кому как. Доверительная вероятность 95% – научная традиция[1]. В академической науке гарантии – не просто хороший тон. Не очень надежный (то есть, могущий быть оспоренным) вывод может обрушить целую цепочку выкладок. В клинических исследованиях – тоже понятно. В прикладной социологии цена ошибки существенно ниже – хотя бы в силу сиюминутности задач. Объективной нужды в надежности такого уровня нет – если ее используют, то обычно потому что «исторически сложилось».
В пользу того, что это чисто такой этап развития, говорит то, что в западных исследованиях общеприняты приняты меньшие выборки. Там никто не оскорбится выборке даже в 50 врачей, и очень редко кто выйдет за 100. Что лишь отчасти объясняется небольшими популяциями – конечно, каких-нибудь урологов в отдельно взятой Бельгии совсем мало, но ведь местные коллеги и в Германии, и во Франции по 80 человек опрашивают. И вообще, погрешность-то слабо зависит от популяции, мы писали. Просто они привыкли не перестраховываться, за пятьдесят лет.
Впрочем, возможно, и мы бы не перестраховывались – чай статистику все знают. А дело может быть в более наивном ценообразовании – от выборки. Проект с миниатюрной выборкой принято оценивать в копейки, и его неинтересно делать. Это конечно неправильно – игнорировать интеллектуальную составляющую работы. Но вот такое у нас, судя по всему, примитивное понимание социологии. Социология – это опросы. Больше интервью богу интервью! Хочется верить, это временно.
Между тем, в той же теории вероятностей в какой-то момент постулируется, что при единичном испытании любую вероятность начиная с 60% следует считать сразу равной уже 100%. Sic! Не стоит понимать это так уж буквально – по крайней мере, от казино с таким постулатом лучше держаться подальше. Но сам принцип довольно очевиден, и при такой точке зрения, даже 80% доверительная вероятность – это ведь очень высокие шансы, что наша погрешность останется «в границах» соответствующего доверительного интервала. Ну 4 из 5. И это просто практичнее. Мы получаем ту ошибку выборки, которую хотя бы реально встретить – а не с огромным запасом. А поскольку эта ошибка еще и не стремится как-то далеко выдаваться (повторяем), ее вообще нечего бояться. Так что, оставьте 95% доверительную вероятность для особенных случаев. 80% – тоже вполне надежно.