Корпоративный стандарт по измерению результативности опросов «ВЦИОМ-Спутник»

Преамбула

Корпоративный стандарт измерения результативности (далее Стандарт) содержит систематическое описание процедуры расчета показателей результативности общероссийских телефонных опросов «ВЦИОМ-Спутник», проводимых методом CATI (computer assisted telephone interview) с применением программно-технических средств автоматического набора номеров.

Стандарт применяется ежедневно с 1 июня 2022 года и направлен на обеспечение политики открытости путем регулярной публикации данных об уровне результативности телефонных опросов, рассчитанных на основе признанных международных стандартов. С этой даты методические блоки аналитических обзоров, подготовленных на основе опросов «ВЦИОМ-Спутник» для официального сайта, содержат данные о результативности.

Текст Стандарта отражает актуальное состояние процедур сбора и обработки первичных данных, необходимых для расчета показателей результативности. По мере совершенствования мониторинга результативности текст Стандарта будет обновляться. Все уточнения и дополнения будут обеспечивать сопоставимость данных.

1. Источники Стандарта

Система показателей результативности опросов «ВЦИОМ-Спутник» сформирована на основе профессиональных стандартов, разработанных Американской ассоциацией изучения общественного мнения (American Association for Public Opinion Research):

1. AAPOR. Response Rates - An Overview

2. Стандартные определения: Систематическое описание диспозиционных кодов и коэффициентов результативности для массовых опросов / Американская ассоциация исследователей общественного мнения; пер. с англ. А.А. Ипатовой, Д.М. Рогозина. 8-е изд. М.: АО «ВЦИОМ», 2016.

2. Специфика Стандарта

Специфика в использовании коэффициентов результативности и диспозиционных кодов из стандарта AAPOR продиктована, главным образом, страновыми различиями в доступности процедур обеспечения случайного отбора респондентов, принадлежащих к обследуемой генеральной совокупности, и сложившейся клиентской политики телекоммуникационных компаний.

Во-первых, стандарт AAPOR прежде всего ориентирован на опросы по выборкам, где единицей отбора является персона, которая отбирается из списка персон, чья принадлежность к обследуемой совокупности с большой долей уверенности заранее известна. Тогда как «ВЦИОМ-Спутник» относится к категории опросов, где единицей отбора является телефонный номер, а не персона, и о принадлежности к обследуемой совокупности фактических пользователей этим номером заранее ничего не известно. Поэтому в начале каждого интервью «ВЦИОМ-Спутник» задаются отборочные вопросы, чтобы определить, относится разговаривающий по телефону абонент к генеральной совокупности или нет. Поскольку большинство эксплицитных отказов и обрывов (имплицитных отказов) приходится на приглашение к опросу, основная часть диспозиционных кодов несостоявшихся интервью приходится на абонентов, чья принадлежность к обследуемой генеральной совокупности остается неустановленной.

Во-вторых, базу для расчета коэффициентов результативности составляют только те звонки, которые системой автоматического дозвона распознаются как установление контакта (сняли трубку) и передаются интервьюерам; настоящая версия Стандарта не учитывает попытки дозвона, в которых система не фиксирует снятие трубки.

Указанные особенности по-разному влияют на значение коэффициентов результативности, предусмотренных Стандартом: не влияют на значения коэффициента кооперации КК (COOP1) и существенно завышают значения коэффициентов ответов МКО и КД (RR1 и RR3).

3. Основные понятия, категории кодов и условные обозначения

Приглашение к опросу производится в ходе попыток получить интервью по номерам из механически выделенных цифровых диапазонов, так что единицей отбора является набор цифр, о котором неизвестно, соответствует он номеру какого-либо подключенного телефона или нет. Результаты контактов с каждой единицей отбора описываются системой первичных кодов, соответствующих типичным событиям.

Если взаимодействие с абонентом номера завершается за один телефонный звонок, номеру сразу присваивается финальный код, т.е. код окончательного результата взаимодействия.

Если требуется более одного звонка (из-за необходимости перезвонить в соответствии с требованиями методики опроса или просьбы респондента перенести интервью), номеру присваивается промежуточный код, который становится финальным, если других попыток дозвониться не было сделано.

Как и «Стандартные определения» AAPOR, Стандарт ВЦИОМ различает четыре категории финальных кодов в зависимости от исхода попыток получить интервью:

Категория 1: взятые полные интервью у респондентов, чья принадлежность к обследуемой генеральной совокупности (соответствие выборочным критериям) была установлена (Eligible interview), т.е. полные интервью с прошедшими скрининговый отбор респондентами.

Категория 2: неполные интервью с респондентами, чья принадлежность к обследуемой генеральной совокупности была установлена (Eligible, non-interview), т.е. незавершенные интервью с прошедшими отбор респондентами.

Категория 3: не взятые интервью у респондентов, чья принадлежность к обследуемой генеральной совокупности осталась невыясненной (Unknown eligibility, non-interview), поскольку не были пройдены все отборочные вопросы скрининга:

a)      не удалось установить контакт, т.е. —контакт не состоялся,

b)      после установления контакта получен явно выраженный, т.е. эксплицитный отказ,

c)       после установления контакта интервью оборвалось, т.е. имплицитный отказ,

d)      после установления контакта интервью не состоялось по другим причинам.

Категория 4: не взятые интервью у респондентов, чья непринадлежность к обследуемой генеральной совокупности была установлена[1] (Not eligible), т.е. отсеянные респонденты.

Краткая запись цифровых и буквенных обозначений финальных кодов:

1 — И — полные интервью,

2 — НеИ — незавершенные интервью с прошедшими отбор респондентами,

3 — НН — невзятые интервью у респондентов, чья принадлежность к генеральной совокупности осталась невыясненной,

3а — НК — контакт не состоялся,

3b — ЭО — эксплицитный отказ,

3c — ИО — имплицитный отказ,

3d — ДП — другие причины.

4 — НеР — отсеянные респонденты из-за непринадлежности к генеральной совокупности.

4. Порядок формирования финальных кодов

Финальные коды программируются скриптом в переменную статуса интервью в соответствии с таблицей.

Финальные коды переменной «Статус интервью»

5. Система показателей результативности опросов ВЦИОМ

Общие категории, принципы и формулы расчета показателей результативности в целом соответствуют «Стандартным определениям» AAPOR. Однако с учетом сложившейся клиентской политики телекоммуникационных компаний и того, что опрос «ВЦИОМ-Спутник» проводится ежедневно в течение суток (с учетом часовых поясов), из всего набора показателей результативности AAPOR отобраны три: коэффициент кооперации (COOP1) и два коэффициента ответов (RR1 и RR3).

5.1. Коэффициент кооперации (КК)

В «Стандартных определениях» AAPOR коэффициент кооперации (КК) соответствует «Коэффициенту кооперации 1» — Cooperation Rate 1 (COOP1). Рассчитывается как отношение числа взятых полных интервью (Категория 1 — И) к сумме взятых полных интервью (Категория 1 — И) и незавершенных интервью с прошедшими отбор респондентами (Категория 2 — НеИ):

КК = И / И + НеИ

Применительно к «ВЦИОМ-Спутнику» показатель COOP1 скорее завышен, поскольку в нем не учитывается подавляющее большинство отказов от интервью, приходящихся на Категорию 3.

5.2. Минимальный коэффициент ответов (МКО)

В «Стандартных определениях» AAPOR минимальный коэффициент ответов (МКО) соответствует «Коэффициенту ответов 1» — Response Rate 1 (RR1). Рассчитывается как отношение числа полных интервью (Категория 1 — И) к числу всех номеров, по которым система автоматического набора распознала снятие трубки и которые по результатам всех попыток получить интервью получили коды Категорий 1–3 (исключая коды Категории 4 — НеР):

МКО = И / (И + НеИ + НН)

В числителе имеем (1) число полных интервью И, а в знаменателе — сумму, куда входят:

(1)    число полных интервью — И,

(2)    число незавершенных интервью с прошедшими скрининговый отбор респондентами — НеИ,

(3)    число не взятых интервью с респондентами, чью принадлежность к генсовокупности установить не удалось — НН.

Этот коэффициент априори имеет самые низкие значения, поэтому он назван минимальным.

5.3. Коэффициент достижимости (КД)

В «Стандартных определениях» AAPOR Коэффициент достижимости (КД) соответствует «Коэффициенту ответов 3» — Response Rate 3 (RR3). Рассчитывается так же, как и МКО, но к категории НН применяется поправочный коэффициент ПК, содержащий оценку доли подходящих абонентов (Категории 1, 2 — И + НеИ) в общем количестве номеров, отсеянных по причине несоответствия выборочным критериям (Категория 3 — НН):

КД = И / (И + НеИ + ПК*НН)

Поправочный коэффициент ПК рассчитывается по формуле:

ПК = (И + НеИ) / НеР)

Использование поправочного коэффициента в формуле делает значения КД более показательными, чем значения строгого МКО.