Коллеги, добрый день.
Нужен ваш совет по исследованию.
Я маркетолог от Заказчика (компания производитель воды). Руководство хочет провести холл-тест и доказать всем, что его вода самая лучшая!
Воду производим самую обычную, не газированную, без особых добавок. Продается в 5 и 19 литровых бутылках.
Количество сравниваемых марок на холл-тесте (по желанию директора) - пять (сначала было 10)). Т.е. марка наша и 4 конкурирующие.

У меня вопросы:
1. Насколько адекватно проводить дегустацию воды (одинаковой по сути)? Как воспримут это респонденты. И будет ли смысл от работы?

2. И если холл-тест все же делать. То какую выборку лучше взять? И какой метод выбрать (монадик, парный и т.д.)

Немного в смятении, понимаю, что холл-тест на данном продукте это не совсем правильно. Но руководство не переубедишь.

Заранее всем спасибо!

Добрый день!



1. Адекватно. Точнее - релевантно. В-общем, кошерно. Вода не одинаковая, но не все заметят различия. Смысл (здесь вы имеете в виду, возможно, "исследовательский смысл") будет, даже если вы получите одинаковые оценки. Но, вероятно, вам следует подготовиться к, вероятно, "неадекватной" реакции вашего внутреннего заказчика на возможно одинаковые оценки. Потому что есть еще и "неисследовательский смысл" в любом исследовании. Я бы обязательно добился от руководства осознания возможности одинаковых оценок.
2а. "Парного сравнения" метод лучше выбрать, где ваша вода будет употребляться респондентом "одновременно" с каждым из конкурентов. "Одновременно" - для того, чтобы увеличить шанс появления различий. "Попарно с каждым конкурентов" - для того, чтобы респондент не одурел от количества выпитой воды (не ради гуманнизма, а ради хоть сколь-нибудь обдуманных оценок).
2б. Шкалу тоже, вероятно, следует выбрать "почувствительнее", например, 10-балльную графическую, где 1 = "Вода как вода", а 10 = "Очень вкусная вода" (в единице - НЕ негативная оценка). Возможно, ради разницы в оценках следует добавить еще и (перевел как мог) насильственный выбор самой вкусной воды.
2в. Подумайте также над шкалами (ради тех же различий). Возможно, две воды в целом получат одинаковые оценки, но у вашей будет оптимальнее, например, "соленость"
2г. Пить надо много :)
2д. Вероятно, выборки должны быть довольно большими (опять же, чтобы засечь маленькие различия). Если нужно сэкономить - сократите количество конкурентов.

p.s.: Почему холл-тест на воде неправильно? Мне так не кажется. Конечно, 5 и 19 литров пьют скорее в "домашних" условиях, но тест, близкий по формату к реальности будет значительно дороже и дольше. Мне кажется, это будут зря потраченные деньги. Есть понятие "лабораторного эксперимента" (к которому стремится холл-тест), он не хуже, просто особенный, со своими плюсами и минусами

Константин, спасибо за подробный ответ!
По поводу выборки уточнение. Как вы считаете, какая выборка будет оптимальной для одной пары? Я думаю, нужно сделать по 50 анкет одной пары (если 4 марки конкурента, то всего 200 анкет).

По 50 - это очень мало, исходя из предположения, что различия невелики.

Вполне вероятно, что средние оценки по шкалам не будут различаться,
и вы обратитесь к сравнению процента выбора ("какая вода вам больше понравилась?").
На выборке в 50 погрешность будет +/- 10-15%, это значит, что делать вывод можно будет только если разница в доле выбора вашей воды и конкурента будет в 20-30% (например, 65%/35%),
это маловероятно, так ведь.

Что касается средних оценок по шкалам, то на таких малых выборках возможны случайные перекосы. Это значит, что ваша вода может получить худшую оценку (в среднем) при том, что на самом деле она лучше (и при большей выборке получила бы оценку выше).
На всякий случай - причина не в том, что 50 человек - это мало, а в том, что тест на 50 человек сложно сложнее грамотно организовать (убрать / сбалансировать побочные влияния типа настроения интервьюера).

Мне кажется, что с такими выборками, с таким методом и на таком продукте
и средние значения по шкалам, и % выбора не позволят вам сделать корректные выводы (в лучшем случае арифметического выигрыша вашей воды или равенства)
и сделают вашу методологическую позицию (и возможно личность) уязвимой для критики (в худшем случае арифметического проигрыша вашей воды).

Сделайте по 100 хотя бы, что ли :)
В плохом случае можно будет обосновать размер выборки рекомендациями лучших собаководов

Огромное спасибо Вам за помощь))!

Наталья,

Я правильно понимаю, что задача у вас не исследовательская, а чисто пиаровская? То есть вы хотите получить материал, который можно будет опубликовать в прессе? Или использовать в рекламной коммуникации, коммуникации с партнерами?

Если да - лучше ориентироваться на прямое сравнение (ранжирование) всех образцов. Хотя с точки зрения исследователя это один из худших по надежности методов, практика показывает, что именно он пользуется наибольшей любовью прессы и вызывает наибольшее доверие массовой аудитории.

Кстати, а вы рассматривали вариант, что ваша вода не станет лидером по результатам теста? Что планируете делать? Может, как раз увеличить число марок? В случае чего, лидеров выкинете. :)

Все эти соображения естественно только для случая, в котором истина вам безразлична. :)

Удачи!

Lyceer, вы абсолютно правы на счет "пиаровской части". Это прежде всего, цель руководства. Я понимаю весь риск и предупредила их об этом. Сама шаманством заниматься не буду (считаю, что работу нужно делать по совести). Сделаю все по уму, с нормальной выборкой, парное сравнение, а там видно будет)).
Вариант с ранжированием всех образцов рассматривала :)). НО в холодное время года просить респондента оценить не менее 5 видов воды (дир. хотел 10) и практически одинаковой :)) - это чистое издевательство :))

Да, исследование обещает быть занятным )). Поделитесь на форуме результатами? (в формате: различий не было\ или нашелся таки лидер-самая вкусная вода)

Да, исследование интересное. На счет поделиться результатами не знаю пока. Но эмоциями поделюсь точно, если работа все-таки случится)))

Уважаю вашу честность. :)
Если поиском истины вы не пренебрегаете - возможно, в вашем случае будет интересно сделать triangle test. Это позволит вам замерить, способны ли потребители в принципе отличить вашу воду от конкурентов.

Краткое описание есть презентации Асхата в разделе "Тексты":
http://forum.gfk.ru/filestore/0024/0071/472/Product_Test.zip

Спасибо, Александр.
Материалы посмотрю с удовольствием))!

Не хочет ли ваш суровый начальник сравнивать образцы следующим образом:
свою воду - прохладную доставать из холодильника и подавать в чистом одноразовом стаканчике.
А конкурентную - теплую и в алюминевой кружке.
Вот это будет тест! Гарантированная победа вкуса!