Кто на самом деле отвечает на ваши опросы: измеряем неочевидный брак в онлайн-выборках — и выкладываем инструменты в open source

WAVE
Некачественные ответы — проблема всего онлайн-рекрута, а не отдельных панелей. Исследователь обычно получает уже очищенные данные и не видит масштаба. Через нашу систему проходят сотни тысяч ответов в год, и мы видим их до этапа очистки: в среднем 5–7% брака, а на узких таргетах и больших исследованиях — до 20–25%. Причём на брак влияет не только респондент: заметная часть — плохой дизайн анкеты и скрининга, а жалобам на ответы нельзя верить без проверки. Покажу на реальных кейсах, как выглядит невовлечённость за пределами мусорных открытых ответов: линии и зигзаги в матрицах (мозг не умеет заполнять их случайно), противоречия между блоками, брошенный за пару секунд прототип с оценкой «лучший опыт в жизни», искусственные паузы перед отправкой быстро заполненной анкеты. Расскажу, как мы построили четырёхуровневую систему детекции и провалидировали её на размеченном сэмпле из 10 000 ответов: фингерпринт респондента до опроса, эвристики и LLM-классификация открытых ответов внутри, сводный вердикт по совокупности сигналов — ни одна эвристика не банит в одиночку, спорные случаи смотрит человек. Из честных находок: мат — не всегда брак, ханипоты переоценены, а массовых AI-ответов мы пока не увидели. В финале — open source репозиторий с реализацией ключевых проверок: забирайте и встраивайте в свои исследования.
Участник