Отчёт об исполнении программы обычно отвечает на вопрос «сколько»: сколько участников охвачено, сколько средств освоено, каких значений достигли индикаторы. Вопрос «почему» — почему при полном освоении бюджета целевой показатель не изменился — остаётся за пределами такого отчёта, хотя именно он определяет, что делать дальше.
Последовательный и параллельный дизайн
В последовательном дизайне качественный этап следует за количественным и объясняет обнаруженные аномалии: почему в двух регионах показатель резко отличается, почему участники выбывают на третьем месяце. В параллельном оба массива собираются одновременно и сопоставляются на этапе анализа — это дороже, но позволяет избежать смещения, когда исследователь ищет подтверждение уже сложившейся гипотезе.
Где качественный этап обязателен
- Показатели достигнуты, но целевая проблема не изменилась — вероятна ошибка в теории изменений, а не в исполнении.
- Высокий отсев участников на определённом этапе — причина почти никогда не видна в административных данных.
- Расхождение между официальной статистикой и данными опроса свыше предельной ошибки.
- Программа впервые запускается в новой среде, где нет накопленного опыта интерпретации.
Качественный этап не «дополняет» количественный. Он отвечает на другой класс вопросов, и заменить один другим нельзя ни в какую сторону.