Советы
Яблоки и апельсины
Сравниваем показатели корректно
Принято считать, что
Принято считать, что
Для корректного бенчмаркинга лояльности по показателю NPS вполне достаточно того, чтобы при измерении индекса использовалась одинаковая шкала (например, от 0 до 10).
Ну и что?
Ну и что?
Такой статистический пофигизм оптимизм нередко встречается в крупных компаниях с децентрализованной процедурой измерения NPS. Например, при наличии раздельного управления B2B и B2C, самостоятельности региональных единиц. В итоге у подразделений оказываются разные исполнители/подрядчики опроса, разные подходы формирования выборок, разные методы учета неответов, разные формулировки одинаковых NPS-вопросов и т. п. Но это упускается из вида — результаты корпоративных сегментов, географических единиц спокойно сравниваются между собой.
Впрочем, даже централизованная процедура не всегда может быть залогом корректности внутреннего бенчмаркинга. Например, если речь идет о сравнении NPS различных точек контакта, когда для расчета индексов используются результаты сбора обратной связи с помощью опросов снизу-вверх (более подробно об этом здесь).
С внешним бенчмаркингом (бенчмаркингом конкурентов) — не менее сложная ситуация. По ряду объективных причин компании редко включают в свои NPS-исследования опросы клиентов конкурентов. Разыскать чужих клиентов своими силами бывает крайне непросто, а услуги исследовательских агентств стоят недешево.
Поэтому довольно часто выбирается другой путь для сравнения — сопоставление своих позиций с лидерами отрасли на основе различного рода NPS-рейтингов или открытых источников.
И получается: погуглила компания отраслевые рейтинги или чужие пресс-релизы, увидела, что у нее NPS «поэнпиэсистее» и необоснованно обрадовалась. Ну или наоборот — расстроилась. Причем, что в первом, что и во втором случае совершенно необоснованно: ведь методики для расчета использовались совершенно разные.
Впрочем, даже централизованная процедура не всегда может быть залогом корректности внутреннего бенчмаркинга. Например, если речь идет о сравнении NPS различных точек контакта, когда для расчета индексов используются результаты сбора обратной связи с помощью опросов снизу-вверх (более подробно об этом здесь).
С внешним бенчмаркингом (бенчмаркингом конкурентов) — не менее сложная ситуация. По ряду объективных причин компании редко включают в свои NPS-исследования опросы клиентов конкурентов. Разыскать чужих клиентов своими силами бывает крайне непросто, а услуги исследовательских агентств стоят недешево.
Поэтому довольно часто выбирается другой путь для сравнения — сопоставление своих позиций с лидерами отрасли на основе различного рода NPS-рейтингов или открытых источников.
И получается: погуглила компания отраслевые рейтинги или чужие пресс-релизы, увидела, что у нее NPS «поэнпиэсистее» и необоснованно обрадовалась. Ну или наоборот — расстроилась. Причем, что в первом, что и во втором случае совершенно необоснованно: ведь методики для расчета использовались совершенно разные.
Рекомендация
Рекомендация
Когда сравниваете значения NPS, полученные на основе данных разных опросов, вспоминайте идиому о яблоках и апельсинах (англ. to compare apples and oranges).
Прежде, чем делать сравнительные выводы, попытайтесь сопоставить детали методик (настолько, насколько это возможно):
- какая оценочная шкала применялась в опросе;
- каковы правила учета респондентов-уклонистов (тех, кто проигнировал отпрос, принял участие, но затруднился с ответом или отказался давать оценку);
- каковы критерии формирования выборок;
- используемые формулировки NPS-вопросов;
- правила взвешивания выборки (для соблюдения репрезентативности);
- метод опроса: сверху-вниз или снизу-вверх (по точкам контакта или рыночный);
- сроки проведения опросов.
Не ограничивайтесь сравнением значений индекса — ищите пути и возможности для анализа структуры NPS с помощью Каскадного метода. В этом случае у вас появятся дополнительные козыри для аргументированного объяснения результатов сравнительного анализа.
Не сравнивайте между собой индексы NPS точек контакта, если они рассчитаны на данных опросов снизу-вверх. Сравнение будет корректным, только если у них единый источник данных (опрос сверху-вниз).