FAQ маркет рисёч
6.11. Погрешность и здравый смысл
Понимать про погрешность сравнительно важно, придумывая выборку. Правда, чаще всего вполне годятся стандартные решения вида «100 + 100 + 150 + 300», но все же важно понимать. Годятся ли стандартные решения сегодня. А вот на этапе чтения результатов – не тратьте время на погрешность. Если выборка приличная, конечно. То есть, когда доверительный интервал «где-то в несколько процентов».
Помните, что мы изучаем общие тренды, доминирующие практики, и всякое такое, что в первую очередь объединяет социальные группы. Объединяет! Мы смотрим как ворочается вся тушка общественного организма. Маркетинг, как и социология, тоже почти всегда работает с общностями. Можно насегментировать рынок на клочки, и в теории даже как-то диверсифицировать между ними свою работу. Но если различия между сегментами трудно разглядеть – их нет вовсе. Для практика – их нет. Вовсе.
Поэтому если мы видим различия, или динамику, или еще что-то, что измеряется порядком 2-3% – в первую очередь, думайте, важны ли эти 2% с позиции здравого смысла. Если доля пользователей вашего препарата среди врачей была 70%, а стала 72% - ваша пенетрация в рынок зависла, ребята, она не растет. Какая бы ни была погрешность – не о чем тут говорить.
И если та же доля в предыдущие два года была сначала 66%, а потом 68% - ну ок, ну по ряду динамика уже по любому значима (суммарная дельта 6% - уточняем для невнимательных). Только это все равно черепаший темп роста. Это маркетинг, многие рынки за десять лет вырастают в миллиарды, за двадцать сгорают, а у вас что – за четыре года 6 процентных пунктов? Обычно действия компаний имеют в разы больший эффект, а это больше похоже на удачный дрейф по течению. Нет, можете считать это ростом, но скорее всего это смешно.
Правда, с той оговоркой, что мы ведь говорим о результатах опроса, и соответствующих темах и метриках. Если компания не выполнила план на 2% – обычно это не смешно. И если отгрузки товара дистрибьюторам выросли на 2% – ну зачем смешно, там каждый процент может быть десятки миллионов рублей, порой. Надо понимать, что заказчики привыкли использовать числа в разных ипостасях, отсюда уважение к мелкой цифре. Вещи же, которые мы изучаем в опросах – это не бухгалтерия, это, по сути, колебания народных масс. А массы все время колеблются, подумаешь. Поэтому для наших метрик мелкие цифры – что брызги.
Поэтому правильный (хотя малость недипломатичный) ответ на вопрос «а вот динамика в 2% – она здесь значима?» звучит – «Динамика?! Стагнация! А циферка – ну, может быть»[1].
И, наверное, стоит повториться, что надо не забыть и про характер самих данных. Признаки это или оценки. То, что оценивается на глазок (доля рынка со слов врачей), или вообще по определению приблизительно (балльные оценки чего-либо) – скорее всего флуктуирует не из-за ошибки выборки. Здесь надо включать логику, и вспоминать что мы знаем о респондентах (и если знаем мало – собирать группы, и лично слушать). Исходя из этого – решать, во-первых, каким именно образом они оценивают то, что мы просим их оценить, и во-вторых – насколько они при этом приблизительны, и насколько (и в какую сторону) могут ошибаться. Чисто же статистическая ошибка выборки – последний по влиянию фактор, почти всегда.