FAQ маркет рисёч
5.7. О репрезентативности качественников: когда ее достаточно
Есть здравое зерно в мнении, что квонт нужен всегда, а квол – так, подготовка. Дело в том, что качественные выборки не репрезентируют популяцию. Не дают срез. Группа расскажет нам, что у одних на квасе, у других на кефире – но она не скажет кого больше «там», в мире. А если мы не знаем кто победил – какие могут быть выводы?
На самом деле, могут.
Во-первых, что всей группе (например), оказывается так важно, квас или кефир – и, похоже, больше заняться им решительно нечем уже, и наверное, это признак благополучия такой весомый, и так далее можно развивать еще долго. Потому что не забывайте, что конечная цель – все-таки описать как что устроено, а это не обязательно внутренние различия, цифры и доверительный интервал. Когда льготную систему или изготовление спичек можно описать без статистики (то есть, они однородны) – прекрасно, всем проще. Нет погрешности! Это соображение гомогенности.
Во-вторых, что «на воде» так и не прозвучало. И это статистически существенно. Потому что надо понимать возможности статистики[1], большие числа – не самоцель. Так что второе важное соображение – приемлемая точность для вашей задачи. Если уж она подразумевает различия. Допустим, мы тестировали промо-материал, и его не поняла половина группы. С учетом погрешности, в генеральной совокупности непонятливых может быть и 20%, и 80% – но какая, в сущности, разница? Все равно исправлять. По сути, цель этого исследования – найти косяки в материалах, а не посчитать сколько врачей их заметят. Вот вам и приемлемая точность.
Тут самые внимательные уже заметили, что этот пример – все равно про гомогенность. Нам не важна точность, потому хотелось бы, чтобы поняли все 100%. Результат не 100% – ок, работаем дальше. То есть, мы проверяем аудиторию на гомогенность. А для такой проверки достаточно совсем маленьких выборок.
Если всего на двух группах двенадцати врачам все понятно (только нормально, гетерогенно набранным, а не все из одного НИИ) – скорее всего, «непонятливых» в популяции единицы (и только жизненный опыт не дает предположить, что их совсем нет).
И вот такие гомогенные ожидания – довольно типичная тема для исследований: все, что заказчики предъявляют рынку, хоть материалы, хоть репов – в идеале, должны работать в 100% случаев. И вот они прилично (приемлемо!) изучаемы микро-выборками.
Когда же гомогенен сам объект изучения – есть критичный нюанс: мы должны это откуда-то знать заранее. Что остальные спички действительно не отличаются. Тут нужны веские аргументы. Например, законодательство[2], или, вот, устройство станка по изготовлению спичек. Без них – начинайте с квола, но готовьтесь к квонту. Все-таки на практике последний чаще нужен, чем нет.