FAQ маркет рисёч
4.13б. Неопределенность в шкалах: как с ней жить
С другой стороны, «любо» – «не любо» – вполне правомочный вопрос. Разумеется, люди могут более тепло или менее тепло думать о препарате, или, скажем, прошедшей конференции. Что конкретно они чувствуют и как это изменит их биографию – такого нам шкалы не расскажут, но сравнить «теплоту отношения» к нескольким препаратам вполне можно, это не фантом.
Более того, это эмоциональное отношение к продукту замечательно коррелирует с долей рынка. Факт, доказанный нашими коллегами на самой обширной эмпирике[1].
Просто важно помнить, что шкальные вопросы дают именно эмоциональный отклик, «температуру», и ничего больше. И вот именно это притягивает шкальные вопросы к темам с низкой компетентностью. Респондент может мало знать (или не уметь выразить) про предмет разговора, но эмоциям это ведь не мешает («не читал, но не одобряю!»). Так что социологи все равно получат от него ответы, и не просто ответы, а они как-то с чем-то даже прокоррелируют[2]. Более того, если он мало знает – только так они ответы и получат. Вот и складывается практика: про факторы выбора препарата мы спрашиваем в баллах. Вроде же логично отвечают?
Именно то, что эти баллы означают не важность или логику выбора (логику, в баллах, серьезно?), а эмоции, кое-что объясняет в результатах. Почему «цена препарата» всегда имеет такой неважный балл? Ну а чего ее любить. Ну то есть, вообще – как любить цену? То-то и оно.
Объективную важность сравнить просто нельзя – цена препарата не может быть более или менее важной, чем эффективность, или что-то еще. Как длина стола не может быть важнее ширины. Но, о цене просто не круто разговаривать. Такие дела. Вот и все зерно истины в этом малополезном измерении.
Повторимся, изучение эмоций – не ошибка. Люди вообще их испытывают, и по поводу продуктов в том числе. Глупость – это искать эмоции, где их нет. Скажем, в оценках характеристик продуктов – какие тут могут быть ощущения или эмоциональные реакции? Это вообще как – тепло ли вам думается про безопасность меропенема по сравнению с имипенемом? Не используйте балльную шкалу, если на самом деле не хотите переводить разговор в плоскость эмоций.
Когда же эмоции стоит изучать – помните о следующих нюансах и ограничениях.
Во-первых, достаточно одного вопроса со шкалой. Нет смысла их плодить: отношение к продукту, готовность его назначать или рекомендовать коллегам – это только формально они про разные физические действия врача. Эмоция за ними стоит одна, «продукт люб» / «продукт не люб». А так как разговор неизбежно (и по сути) про эту единственную эмоцию – ответы будут одинаковые. Не растрачивайте время.
Во-вторых, эмоции – штука переменчивая. Не уделяйте большого внимания динамике. И вообще осторожнее со сравнениями – и между разными исследованиями, и между разными под-выборками. Сегодня и завтра один и тот же человек поставит разные оценки вашему продукту, просто потому что у него настроение поменялось. Ну он так ощущает, в чем его винить? А если осень наступила, или, там, кризис в экономике (а он обычно осенью, для полноты) – то эмоциональный фон поменяется у всей генсовокупности, вот и динамика.
А если завтра мы с другим человеком говорили – так у него вообще другое отношение к баллам, он, может быть, максимальный балл приберегает для Платоновой сверх идеи препарата, и его реальный максимум – 6, а не 7. Конечно, большая выборка такие флуктуации сгладит, в большой «Платоновец» в обе волны попадется, но то большая. Подвыборки у нас чаще небольшие. И еще погрешность немилосердная, потому что какая же тут гомогенность, ну вы понимаете.
Словом, при сравнении эмоций вполне безопасно можно себя чувствовать только если одни и те же люди одномоментно что-то сравнивали между собой. Например, препараты. А если там прошло время, или мы поделили людей на группы – точно понятно, что небольшие различия незначимы. А какие значимы – непонятно. Шкалы – неопределённы.
Нет, конечно, резкий скачок с 7 по 10-балльной шкале до 2, например – в любом случае заслуживает внимания. Даже на маленьких выборках и спустя годы. Но это же редкость. Обычно колебания меньше и довольно хаотичные – сегодня плюс балл, завтра минус 3, послезавтра опять плюс 1. И тогда стоит смотреть только на изменение относительных позиций: кто ушел с первого места, кто пришел. А сколько там этих баллов – вообще не важно.
Наконец, в-третьих, помните, что «любовь в баллах» – это не интервальная шкала. То есть, не линейка с одинаковыми отрезками. Скажем, «расстояние» между 3 и 4 баллами обычно больше, чем между 4 и 5. Ну, так в школе принято было оценивать, помните – тройку более-менее всем ставят, двоечников подтягивают, хорошистов наказывают если что. Поэтому в тройке самый широкий разлет знаний. Хотя, это вообще не правило, и работает только для тех, кто в нашей советской школе учился. А если как в Штатах, оценки буквами – там другие аберрации будут. Так что, проще говоря – шкала вещь кривая. И мы при этом плохо понимаем, как именно.
[1] Однако, это хороший момент чтобы напомнить, что корреляция – не причинность. Что здесь причина, а что следствие – сказать нельзя, возможно всяко.
[2] И снова хороший момент напомнить про корреляцию и причинность.