Лидер Российского рынка медиаизменений

«Онлайн-опросы потеряли репрезентативность»: частые проблемы на рынке исследований

«Онлайн-опросы потеряли репрезентативность»: частые проблемы на рынке исследований

Сейчас на рынке исследований большое количество предложений: помимо специализированных центров свою экспертизу предлагают компании-рекламодатели. Однако среди этого разнообразия услуг многие заказчики всё равно не получают ответы на свои вопросы. Эксперты исследовательских центров и компаний с собственными отделами исследований рассказали Sostav, какие проблемы чаще всего возникают на рынке и с чем они связаны.

Исследования в руках рекламодателей

В 2022 году ряд исследовательских компаний, работавших под международными брендами, лишился инструментов и иностранной поддержки в обработке данных и аналитике. Спрос на исследования сократился зимой и весной и начал восстанавливаться только с середины лета. Специалисты «Ромир» уверяют, что сейчас рынок имеет все предпосылки для роста, так как запрос на аналитику в кризисные периоды всегда возрастает.

Сейчас ведущие игроки на рынке исследований: Mediascope, «Ромир», NielsenIQ, GfK, Ipsos, «Маркетинговый исследовательский центр» (бывший Kantar)

Многие бывшие заказчики теперь сами стали ультратехнологичными игроками с собственными отделами исследований. Они обрастают квалифицированными аналитиками и программистами ушедших международных компаний, перенимают передовые практики, приобретают массу собственных данных для анализа и принятия решений. Исследования становятся очень доступными и оперативными.

Например, своя инхаус-команда исследований есть у маркетплейса Ozon, сообщил Sostav руководитель по маркетинговым исследованиям Сергей Барсамов. Её специалисты выполняют основные задачи. Компании-партнёры привлекаются только на проекты, требующие особенной экспертизы, проприетарных методик или рутинной отчётности. Самостоятельно проводит исследования компания МТС: изучает профиль клиентов, тестирует идеи, проводит опросы и анализирует конкурентов. Директор по исследованиям Наталия Спрогис уверяет, что «СберМаркет» привлекает сторонние агентства для исследований только под конкретные задачи, где нужно получить качественно новую информацию. Другой пример взаимодействия — стороннее агентство выполняет «полевую часть», но аналитические выводы команда «Сбермаркета» пишет самостоятельно.

При выборе специализированной компании, агентства обращают внимание на потенциальную аудиторию для исследований и на метрики, по которым будет проведён анализ. Для специалистов группы «М.Видео-Эльдорадо» играют важную роль заявленные сроки, стоимость, а также заметки и рекомендации по дизайну исследования. Это позволяет понять, насколько внимательно отнеслась компания к брифу, задумалась ли об оптимальном решении задачи. Важно, чтобы полученные результаты были прикладными для бизнеса.

Руководитель направления развития системы обратной связи и исследований Группы «М.Видео-Эльдорадо» Софья Белоусова:

Мы действительно выбираем через тендерный комитет или конкурсные процедуры. Конечно, успешный прошлый опыт проектов с исследовательским агентством и даже конкретным менеджером повышают вероятность повторного обращения, но мы регулярно мониторим рынок в поисках новых партнёров.

Как отмечают эксперты «Маркетингового Информационного Центра» (ранее Kantar), ультратехнологичные игроки в первую очередь принимают решения на основе собственных данных. Именно на их стороне чаще всего возникают проблемы в исследованиях потребительских предпочтений, расcказала Sostav менеджер по продукту «МТС Исследования» Ольга Фролова.

Искажение задачи

Распространённая ошибка — заказчикам предлагают неверные тип исследования и методологию. Например, дают рекомендации по оптимизации бизнеса и корректировке его рекламных проектов на основе фокус-группы, что совсем нерезультативно. Здесь стоит проанализировать проведённые кампании и протестировать ряд гипотез.

Неверно выбранные тип исследования и методологии — ключевой вызов для отрасли, отмечает директор по количественным исследованиям в Tiburon Research Лев Кертман. Основная причина этих ошибок — в слишком большом количестве звеньев в цепочке между бизнес-задачей и исследованием.

Между производственным отделом в компании заказчика, который поставил задачу, и менеджером, который в итоге придумывает методологию исследования, могут находиться маркетинговый отдел заказчика, менеджеры по исследованиям, агентства-посредники, отдел продаж исполнителя и другие. Очень часто к концу этой цепочки задача искажается настолько, что даже профессиональный исследователь предлагает решение совершенно релевантное исходной проблеме. В обратную сторону сигналы по цепочке тоже идут туго: часто бывает, что предложенную методологию утверждает не исходный заказчик, а кто-то промежуточный в этой цепочке. В итоге исходный заказчик только по результатам исследования понимает, что он не получил ответы на свои вопросы.

Простой пример: задача исследования, которая в середине цепочки звучит как «протестировать три упаковки йогурта», изначально могла быть сформулирована совершенно иначе:

  • выбрать конкретный дизайн из этих трёх упаковок для максимальных продаж;
  • проверить, приведёт ли переход на недорогую упаковку к падению спроса;
  • переориентировать йогурт на новую целевую аудиторию;
  • проверить, как лучше писать название йогурта — латиницей или кириллицей;
  • выбрать дизайн для более премиального варианта йогурта.

Каждая из этих бизнес-задач требует своих выводов и методологии. Однако если эта информация потеряна и осталось только «протестировать три упаковки йогурта», то с огромной вероятностью результат будет не тот, что нужен.

«Сломанная логика» онлайн-анкеты

Другая распространённая ошибка — в проектировании и методологии самого исследования, отмечает Ольга Фролова. Например, «кривые» скрипты телефонного опроса, «сломанная логика» онлайн-анкеты, неправильная выборка респондентов, некачественные данные о пользователях.

Основанные в первую очередь на опросах продукты и подходы требуют серьезного пересмотра, считает президент «Ромир» Андрея Милёхин. Попытка ускорять и удешевлять опросы за счёт развития телефонных и онлайн-инструментов привела к практически полной потере репрезентативности. Игнорируются основы -идентификация респондента, применение правил выборки, контроль достижимости. Ремонт массивов только за счёт сортировки респондентов по полу и возрасту ситуацию не исправляет.

Андрей Милёхин, основатель «М-Холдинг», президент «Ромир»:

Если мы хотим обеспечить репрезентативность выборки и иметь возможность переносить результаты на генеральную совокупность, нужно сравнивать их с эталонными данными. Сейчас это только лонгитюдные исследования — изучение одной группы людей в течение долгого времени, за которое они успевают существенно поменять какие-либо свои характеристики. Только это позволяет нормализовать данные качественно проведённых опросов.

Ограниченность источников данных

Иллюзия всемогущества больших данных ситуацию только усугубляет, подчеркнул в разговоре с Sostav Андрей Милёхин. С одной стороны, информации, которую раньше нужно было собирать по крупицам, сегодня с избытком. С другой — зачастую она имеет серьёзные ограничения: слабая структурированность, отсутствие привязки к конкретному человеку с его реальным поведением, множество технологических и правовых ограничений.

Например, данные о продажах товаров и услуг у операторов фискальных данных (ОФД): в Федеральной налоговой службе зарегистрировано более 15 ОФД. Как отмечают специалисты «Маркетингового Информационного Центра», у каждого из них свои территории и каналы покрытия, однако единого «океана данных», куда стекалась бы вся информация о покупках, нет. Как и удобных фреймов доступа к таким данным. Пока они находятся только на стадии разработки.

Другой пример — анализ на основе транзакций банков. Они регулярно показывают динамику той или иной категории товаров и услуг. Это интересно и информативно для понимания трендов, но не объёмов, так как это лишь часть транзакций в России.

Пути решения

Эксперты видят следующие пути решения, которые помогут достигнуть качественных и репрезентативных исследований:

  • чтобы предотвратить искажение задачи в процессе обсуждений и согласований, следует сократить дистанцию между бизнесом и исследованиями, отмечает Лев Кертман. Нужно создать простые и понятные продукты, которыми может воспользоваться заказчик, а не исключительно специальный отдел;
  • необходимо отличать качественные исследования с нормализацией опросов и гармонизацией больших данных от фейковых ничего не репрезентирующих онлайн-опросов. Не стоит также ожидать чуда от гигантских сырых массивов информации. По мнению Андрея Милёхина, основной способ сократить риски — работать с профессиональными компаниями с долгосрочной репутацией, которые владеют эталонными образцами и технологиями. Нужно активно использовать квалификационную предзакупку для допуска к тендерам только проверенных поставщиков;
  • консолидация данных безусловно сделала бы процесс их извлечения менее трудоемким и энергозатратным, отмечают специалисты «Маркетингового Информационного Центра» и Андрей Милёхин. Более точно обработать информацию поможет совместная работа исследовательских компаний, держателей big data и аналитиков со стороны заказчиков. Так удастся гармонизировать большие данные и сырые массивы информации.

Автор: Евгения Немчинова

Подписывайтесь на канал «Exlibris» в Telegram, чтобы первыми узнавать о главных новостях в рекламе, маркетинге и PR.

Обсудить проект

    Интересующий вид услуг
    Ваше имя
    Ваша компания
    Телефон
    Нажимая на кнопку "Отправить запрос", я соглашаюсь на обработку своих персональных данных
    Заказать обратный звонок