Советы

Не пара

О вреде комбинированного опроса NPS+CSI

Принято считать, что

Принято считать, что
Метрик клиентского опыта множество, бюджет не резиновый, но must have — это NPS и CSI.

Услуги по измерению и аналитике CSI предлагают многие российские исследовательские агентства.

А многие российские компании искренне полагают, что используют CSI в своей практике:

  • покупают или самостоятельно проводят исследования CSI;
  • усиливают свои команды экспертами и управленцами с CSI-скиллами;
  • включают цели по показателю CSI в системы корпоративного премирования.

Есть несколько полярных точек зрения относительно сосуществования NPS и CSI:

«Это дополняющие друг друга индексы, их лучше измерять в паре, в комбинированном опросе», — рекламируют российские исследовательские агентства.

«У NPS нет индексов-компаньонов, все прочие индексы являются конкурентами», — уверяют зарубежные консультанты.

«Если позволяют ресурсы, стоит измерять оба индекса. На всякий случай. Будет из чего выбрать. И в одном опросе, чтобы сэкономить бюджеты и время», — рассуждают руководители российских компаний.

А что не так?

А что не так?
Под аббревиатурой CSI в России скрывается целый зоопарк индексов, в том числе и те, которым при рождении их авторы дали совершенно другие названия, например:

  • SQi из подхода SERVQUAL и его более поздних модификаций типа SERVPERF и Normed Quality (NQ);
  • SQI (англ. Service Quality Index) от почтовой компании FedEx, в шутку именуемый «ужастиками»;
  • SCI (англ. Secure Customer Index) от исследовательской компании Burke. Этот индекс стал популярен в России благодаря русскоязычному изданию эпического учебника «Маркетинговые исследования» (автор Н. Малхотра);
  • CSI (англ. Customer Satisfaction Index) от Н. Хилла, книги которого также неоднократно издавали в России. Этот индекс стал любимцем вузовских преподавателей и всевозможных «викиобразных» сайтов;
  • ACSI (англ. American Customer Satisfaction Index) или его вариант для Евросоюза ECSI (англ. European Customer Satisfaction Index).

Рекомендация

Рекомендация
Во-первых
Во-первых
Никогда не используйте индексы удовлетворенности вслепую — они все разные.

Например:

  • одни индексы отражают только общую оценку (оценка сверху), другие могут быть декомпозированы по факторам;
  • в каких-то индексах учитывается важность факторов, для тех, кто дает оценки, в каких-то индексах этот аспект напрочь игнорируется;
  • некоторые индексы смоделированы таким образом, что могут выступать в качестве предикторов лояльности, в другие прогностический талант не заложен;
  • в силу конструкционных отличий и применяемых шкал у индексов различная статистическая мощь (точность, достоверность, надежность и пр.).
Во-вторых
Во-вторых
Убедитесь, что при измерении «вашего» индекса удовлетворенности используется оригинальная методика.

Некоторые из перечисленных индексов рассчитываются по очень сложным статистическим процедурам с применением лицензионного софта.

Нередки ситуации, когда методика упрощается или искажается до такого состояния, при котором рассчитанный индекс становится не просто бесполезным, а даже токсичным. Типичный пример — фейковые индексы ACSI/ECSI.
В-третьих
В-третьих
Не идите на поводу у агентств, предлагающих по сходной цене комплексное исследование NPS+CSI, тем более в рамках единого опроса. Искусственное объединение NPS и CSI выгодно только подрядчикам, а для заказчиков оно опасно и бесполезно:

  • «комбинированные» опросы вызывают сильное раздражение у респондентов из-за усложнения логики анкеты, что неизбежно сказывается на качестве собираемых данных и уровне отклика

  • интерпретация количественных результатов превращается для заказчика в головоломку, поскольку индексы построены на основе различных логических конструкций и шкал. Попытки связать или объяснить динамику NPS с помощью индексов удовлетворенности бессмысленны. Особенно, если используются индексы удовлетворенности, которые не учитывают важность факторов оценки.

  • Если нужно заглянуть в «начинку» индекса лояльности NPS и получить аналитику клиентского опыта в разрезе факторов, используйте вместо CSI каскадный метод NPS.
И главное
И главное
У подхода NPS нет никаких «компаньонов» среди других подходов, используемых для оценки клиентского опыта — одни лишь конкуренты. Кстати, главный конкурент NPS относится к индексам удовлетворенности.