Социологические данные всё чаще используются как основание для управленческих решений: по ним корректируют программы, перераспределяют бюджеты, оценивают работу ведомств. При этом предельная ошибка выборки — параметр, определяющий, какую разницу между цифрами вообще имеет смысл обсуждать, — в управленческих документах упоминается редко.
Что означает «±3,1%»
Предельная ошибка описывает интервал, в котором с заданной вероятностью находится истинное значение по всей генеральной совокупности. Если два региона показали 47% и 50% при ошибке ±3,1%, их доверительные интервалы перекрываются — утверждать, что в одном регионе показатель выше, оснований нет.
Проблема усугубляется при работе с подвыборками. Общенациональная выборка в 1 500 респондентов даёт приемлемую точность для страны в целом, но при разбивке на 17 регионов в каждой ячейке остаётся менее ста наблюдений, и ошибка вырастает до ±10% и более. Региональные рейтинги, построенные на таких данных, отражают преимущественно случайные колебания.
Три вопроса к любому отчёту
- Какова предельная ошибка не для выборки в целом, а для той подгруппы, по которой делается вывод?
- Сколько наблюдений осталось в ячейке после всех фильтров — по региону, возрасту и статусу одновременно?
- Сохранена ли методика с прошлой волны, или изменилась формулировка вопроса, способ опроса либо структура выборки?
Если подрядчик не может назвать ошибку по интересующей вас подгруппе за минуту, эта цифра не считалась — и полагаться на неё в решении нельзя.
Практический вывод прост: требование указывать предельную ошибку по каждому разрезу анализа должно быть внесено в техническое задание, а не оставаться на усмотрение исполнителя. Это не усложняет работу — это делает её результат пригодным к использованию.