Пуристы vs. Популисты

Некоторые отечественные исследовательские и консалтинговые компании, пользуясь доверчивостью своих клиентов, предлагают комбинированные опросы NPS+CSI.

Типа… NPS — это оценка лояльности, а CSI — оценка удовлетворенности, которая в свою очередь и формирует эту самую лояльность. А значит, индексы отлично дополняют друг друга.

В 9 из 10 случаях для оценки удовлетворенности «комбинаторы» предлагают блиц-опрос из трех вопросов с оценочной шкалой от 1 до 10:

• Насколько в целом вы удовлетворены сотрудничеством с Компанией?
• Насколько компания соответствует вашим ожиданиям?
• Насколько компания соответствует вашему представлению об идеальной компании?

Полученные ответы (оценки), взвешенные с помощью специальных коэффициентов, используются в расчете индекса удовлетворенности.

А сам индекс называют либо ECSI (англ. European Customer Satisfaction Index), либо ACSI (англ. American Customer Satisfaction Index) — европейский и американский индексы удовлетворенности потребителей.

Источник происхождения весовых коэффициентов «комбинаторы» не раскрывают: мол, взяли типовые для отрасли или используем рекомендуемые по методике.

Если бы авторы NPS и ACSI знали о такой российской практике, их бы точно хватил удар. Ведь NPS и ACSI/ECSI — не только два самых популярных индекса клиентского опыта, но и два самых непримиримых, публично враждующих научных подхода.

Любые индексы — это, в первую очередь, конкурирующие коммерческие продукты, которые активно борются за корпоративные бюджеты, а потом уже наука.

Появление и стремительное распространение в бизнес-среде NPS расстроило большинство игроков индустрии прикладной социологии, за которыми стояло традиционное академическое сообщество. NPS угрожал масштабным переделом рынка, сломом экономической модели и потерей доходов.

Чувствительнее всего на NPS отреагировали коммерческие структуры, аффилированные с подходом ACSI.

ACSI — это единый национальный межотраслевой показатель удовлетворенности качеством товаров и услуг, доступных потребителям на территории США. Измеряется централизованно, на регулярной основе и охватывает порядка 10 секторов и 46 отраслей. Для оценки выбираются компании с наибольшими долями рынка США в каждой отрасли, независимо от того, является ли эта компания американской или зарубежной. ACSI адаптирован для оценки государственных учреждений и общественных организаций. Подход был модифицирован для других стран, в том числе, зоны Евросоюза (ECSI). Доступ к статистике ACSI — платный.

В основе подхода ACSI лежит сложная эконометрическая модель, созданная ученым К.Форнеллом. В зависимости от модификации модель насчитывает от 6 до 9 компонент, среди которых сам индекс удовлетворенности ACSI и, внимание ... свой собственный показатель лояльности — он рассчитывается на основе ответов о намерении совершить повторную покупку и не имеет абсолютно никакого отношения к индексу эмоциональной лояльности NPS Фреда Райхельда.

Рассчитать значения компонент в модели Форнелла изолированно друг от друга (как это делают наши отечественные «комбинаторы») невозможно. Коэффициенты учитывают причинно-следственные связи между всеми компонентами модели (включая зависимость между индексом удовлетворенности ACSI и показателем лояльности) и строятся на всем массиве данных опроса с дальнейшей калибровкой с помощью специального лицензионного софта. Значения коэффициентов индивидуальны для каждого опроса.

Короче, расчет индекса ACSI воспроизвести можно, но для этого нужно иметь не только очень солидную математическую подготовку, но и лицензионный софт, который запатентован компанией К.Форнелла. А искать связь между индексом удовлетворенности ACSI и индексом NPS просто бессмысленно.

А что же NPS?
Подход NPS, предложенный Райхельдом, напротив, оказался интуитивно близок и понятен бизнесменам:
— никаких заумных эконометрических моделей и сложных анкет с множеством вопросов;
— лояльность и удовлетворенность "в одном флаконе" (в виде одного индекса);
— относительно простая  реализация (также, как икеевская полочка, собранная по инструкции);
— обещания от коммерческих выгод при использовании, такие же, как и у ACSI;
— и, главное, все это практически бесплатно.

…В итоге дискуссия очень быстро стала публичной и довольно жаркой — пуристы обвинили NPS в популизме и отсутствии научной основы.

Ассоциация ACSI начала выпускать многостраничные научные методички со сравнением двух подходов с позиции статистических критериев, а Райхельд в очередном бестселлере лаконично обозвал своих оппонентов «чистыми нытиками» (англ. Net Pro-Moaners).

Пуристы вменяют индексу NPS в вину три главных изъяна:

• один вопрос «статистически» не годится для моделирования конструкции клиентской лояльности. Одноэлементные конструкции обладают низкой достоверностью, чувствительностью, надежностью — нужно использовать многоэлементную основу, или говоря проще, чем больше вопросов, тем лучше;

• использование в индексе принципа «top-box» (когда берут доли респондентов с максимальными и минимальными оценками) приводит к потере точности и изменчивости — для оценки всей клиентской совокупности нужно использовать медиану или среднее арифметическое;

• способность прогнозирования общей выручки вызывает сомнения.

Сторонники NPS обычно возражают так:

• что толку от статистической мощи опросов из нескольких десятков вопросов с близким смыслом, когда респонденты теряются от длинных анкет и уже на седьмом вопросе начинают давать оценки сомнительного качества;

• в теории измерений принцип «top-box» изучен мало, поэтому выносить обвинительные вердикты преждевременно. Да и смысл «top-box» в том, чтобы оценить состояние/баланс наиболее эмоционально настроенной части клиентской базы.

По поводу третьего пункта отмечают следующее — изменение общей выручки может быть обусловлено не только изменением лояльности, но и изменением цен и тарифов, политикой навязывания платных услуг, использованием различного рода пакетных предложений и др. Отделить одно от другого возможно только при условии аккуратной работы с данными внутренней отчётности компании и знании нюансов корпоративного учета. Ни один из индексов лояльности или удовлетворенности не может предсказывать ОБЩУЮ выручку, ибо лояльность далеко не единственный драйвер роста доходов.

До того, как я разработала каскадный метод NPS, для меня практически не было разницы между NPS и ACSI.

• Оба «не анализируются» в разрезе факторов лояльности (или точек касания), привычных и понятных бизнесу.
• Оба не применимы для прогнозирования общей выручки.
• При этом один очень простой с точки зрения организации опроса и расчетов, второй очень сложный и фактически недоступный из-за лицензионных ограничений.

Ну, а плюсы статистического превосходства ACSI представляются ничтожными на фоне перечисленных минусов.

C каскадным методом я прониклась к NPS более теплыми чувствами: проблема черного ящика устранена, появилась возможность посмотреть «на начинку» индекса в разрезе точек касания и провести несложный, но достаточный для принятия обоснованных решений, бизнес-анализ. Теперь из двух индексов я точно выбираю NPS.