Вопросы двусмысленные: Избегайте плохих вопросов: вопрос с подразумеваемым ответом, наводящий вопрос

Содержание

Избегайте плохих вопросов: вопрос с подразумеваемым ответом, наводящий вопрос

Подписка на профессиональный тарифный планБесплатная регистрация

Возможно, Вы уже знаете, какие вопросы задавать, но то, как эти вопросы составлены, может решить судьбу Вашего опроса. Формулировка вопроса может изменить отношение Вашего респондента к проблеме, а также непреднамеренно заставить его дать неточный ответ.

Хорошо сформулированный вопрос позволяет респонденту отвечать правдиво, не склоняясь то в одну, то в другую сторону. Иными словами, вопросы не должны приводить респондентов в замешательство по поводу того, какой вариант ответа выбрать.

Поэтому, прежде чем начать составлять вопросы, убедитесь, что Вы не совершите следующие 5 типичных ошибок:

1. Не задавайте наводящих вопросов

Самая типичная ошибка в опросе: вопросы ни в коем случае не должны быть сформулированы так, чтобы подвести читателя к какой-то одной стороне суждения. Обычно считается, что вопрос наводящий, если в нем используются эмоционально ненейтральные слова.

Плохой вопрос: Насколько низкорослым был Наполеон?

Слово «низкорослый» сразу же рождает образы и ассоциации в голове респондента. Если вопрос переписать так, чтобы он звучал нейтрально, это может устранить предвзятость.

Хороший вопрос: Как можно было бы описать рост Наполеона?

Наводящие вопросы также могут быть причиной излишних добавлений к вопросу.

Плохой вопрос: Должны ли заботливые родители использовать детские автомобильные кресла?

Термин «заботливые родители» уводит респондента от темы. Уберите из вопроса все лишнее, на что не нужно отвечать респонденту.

Хороший вопрос: Как Вы считаете, нужны ли специальные автомобильные кресла для маленьких детей?

2. Избегайте вопросов с подразумеваемым ответом

Вопросы с подразумеваемым ответом составлены так, что побуждают респондента дать ответ, который не совсем точно отражает его мнение или ситуацию. Эта грубая ошибка приводит к отсеиванию респондентов и относится к главным причинам отказа от завершения опроса.

Плохой опрос: Где Вам нравится пить пиво?

Отвечая на этот вопрос, респондент соглашается с тем, что пьет пиво. Однако многие люди не любят пиво или вообще не употребляют алкоголь и поэтому не могут ответить на вопрос правдиво.

Как правило, вопросов с подразумеваемым ответом легче всего избежать, предварительно протестировав опрос и убедившись, что на каждый вопрос есть возможность ответить честно.

В приведенном выше примере можно задать предварительный вопрос и узнать, пьет ли респондент пиво, и с помощью логики пропуска позволить респондентам, которые не пьют пиво, пропустить не относящийся к ним вопрос.

3. Не задавайте двусмысленных вопросов

Что такое двусмысленный вопрос? Это одна из наиболее распространенных ошибок при составлении опроса, когда Вы заставляете респондентов отвечать на два вопроса за раз. Это также прекрасный способ испортить результаты опроса.

Каждый вопрос в опросе должен касаться только одного предмета. Если один вопрос охватывает две темы, невозможно будет предсказать, какую из них респондент посчитает более важной.

Плохой вопрос: Насколько Вас устраивает или не устраивает заработная плата и социальный пакет на Вашей нынешней работе?

В приведенном выше примере имеет смысл разбить вопрос на две части: удовлетворенность зарплатой и удовлетворенность социальным пакетом. В противном случае одни ваши респонденты ответят на вопрос, имея в виду зарплату, а другие — имя в виду социальный пакет.

Хорошие вопросы: Насколько Вас устраивает или не устраивает заработная плата на Вашей нынешней работе? Насколько Вас устраивает или не устраивает социальный пакет на Вашей нынешней работе?

Кроме того, вопрос легко сделать двусмысленным, предложив респонденту учитывать более одной группы людей.

Плохой вопрос: Насколько этот учебник будет полезен студентам и молодым специалистам?

Здесь респонденту приходится давать один ответ за две группы. Лучше разбейте этот вопрос на два: один о полезности для студентов, а другой — о полезности для специалистов.

Хорошие вопросы: Насколько этот учебник будет полезен студентам? Насколько этот учебник будет полезен молодым специалистам?

4. Категорически не допускайте категоричных утверждений в вопросах

Категоричные вопросы загоняют респондентов в угол, откуда они не могут дать полезных откликов. Такие вопросы обычно требуют ответа «да» или «нет» и содержат такие выражения, как «всегда», «все», «каждый», «никогда» и т. д.

Плохой вопрос: Вы завтракаете каждый день? (Да/Нет)

На этот вопрос, если прочитать его буквально, почти любой респондент ответит «нет». И даже тогда некоторые респонденты могут его интерпретировать следующим образом: всегда ли они завтракают, если у них есть такая возможность.

Категоричные вопросы слишком жесткие, чтобы их можно было использовать в опросе. Вместо этого в вопросе должно предлагаться несколько вариантов ответа, среди которых участникам будет удобнее выбирать.

Хороший вопрос: Сколько дней в неделю Вы обычно завтракаете? (Каждый день / 5-6 дней / 3-4 дня / 1-2 дня / Обычно я не завтракаю)

5. Используйте язык респондента

Независимо от того, кто участвует в Вашем опросе, используйте четкие, лаконичные и несложные выражения, старайтесь избегать аббревиатур, технических терминов или жаргона, которые могут запутать ваших респондентов. И, если необходимо привести сложные термины или понятия, обязательно давайте определения или примеры. Так Вы можете быть уверены в том, что почти любой человек легко ответит на Ваши вопросы и будет более склонен пройти Ваш опрос до конца.

Плохой вопрос: У Вас есть планшет?

Хороший вопрос: У Вас есть планшет (например iPad или Android)?

Плохой вопрос: В каком состоянии была комната в плане чистоты?

Хороший вопрос: Насколько чистой была комната?

В общем случае старайтесь составлять вопросы так, чтобы их было легко понять. Однако определенные группы респондентов могут иметь знания и квалификацию, которые позволяют использовать более сложные термины и идеи.

Узнайте, есть ли у Ваших респондентов глубокое понимание определенных событий, терминов и проблем, рассматриваемых в опросе. Будет лучше, если Вы сможете сосредоточиться на составлении хороших вопросов, а не на заниматься общими объяснениями.

Например, если Вы опрашиваете пациентов в больнице, избегайте медицинского жаргона. Однако если ваша аудитория состоит из врачей, имеет смысл задавать более специализированные вопросы и использовать более узкую медицинскую терминологию.

Если Вы не допустите этих пяти распространенных ошибок, Ваш опрос будет работать как хорошо отлаженная машина, Ваши данные будут более точными, и Ваши респонденты будут в прекрасном настроении, поскольку они дали честные и точные ответы. Тройная победа! Поэтому сядьте поудобнее и начинайте составлять вопросы.

Не знаете, как правильно сказать? У нас есть множество ресурсов, которые помогут Вам. Или же Вы можете обратиться к нашим специалистам, которые составят опрос для Вас.

Узнайте, как SurveyMonkey может удовлетворить Ваше любопытство

Подписка на профессиональный тарифный планБесплатная регистрация

7 причин, по которым люди неправильно понимают вопросы из опросников

Как и в случае использования других методов исследования, при проведении опросов многие вещи могут пойти не так — от проблем с выборкой до ошибок в анализе.

Чтобы сделать обоснованные выводы из вашего опроса, нужны точные ответы. Но участники могут предоставить недостоверную информацию. Они могли забыть ответы на вопросы или просто неправильно ответить на них.

Одна из частых причин, по которой респонденты неправильно отвечают на вопросы, заключается в том, что они неверно истолковывают их. Понимание возможных причин неверного толкования может помочь в составлении более точных вопросов. Вот семь распространенных причин, по которым люди неверно истолковывают вопросы из опросников, которые мы адаптировали из исследования Tourangeau et al. (2000).

1. Грамматическая и лексическая двусмысленность

Грамматика была проблемой в начальной школе, и она также может создавать затруднения при проведении опросов. Помимо грамматических ошибок, некоторые слова, например, “вы”, имеют двоякое значение.

“У вас есть подписка на Amazon Prime?”

Здесь вы можете иметь в виду только респондента или всю его семью (“вы” как местоимение второго лица множественного числа, к примеру, все вы, живущие в одном доме).

Простой вопрос, например: “Are you visiting professors?” может означать 1) “Собираетесь ли вы посетить профессоров?” или 2) “Входите ли вы в группу приезжающих профессоров?” В ходе беседы просодия произнесенного предложения часто дает подсказки относительно его значения (Kraljic & Brennan, 2004 [PDF]), но они недоступны при чтении написанного предложения.

Учитывая природу человеческих языков, бывает трудно избежать двусмысленности. Слова и фразы могут иметь несколько значений, предложения (аналогичные приведенному выше примеру) — несколько интерпретаций, а местоимения — несколько возможных антецедентов.

Когда мы составляем предложение, мы обычно осознаем, как минимум неявно, как бы мы его сказали, поэтому трудно предсказать, как остальные могут его интерпретировать — правильно или неправильно — без просодических подсказок. Вот почему так важно, чтобы другие люди проверяли и корректировали вопросы для вашего опросника.

2. Чрезмерная сложность

Желание сократить количество вопросов в опросе похвально, однако будьте осторожны и не включайте слишком много подробностей в один вопрос.

“За последние 12 месяцев, с 1 января 2020 года, сколько раз вы посещали врача или говорили с ним (либо фельдшером) по поводу COVID-19? Не считайте время, когда вы, возможно, обращались к врачу в период нахождения в больнице или для проведения плановой операции в амбулаторном учреждении, но посчитайте все остальные разы”.

На подобные вопросы отвечать трудно, поскольку они требуют, чтобы участники держали в уме несколько вещей одновременно, что может привести к предоставлению неверной информации. Сложные вопросы можно упростить, разбив их на несколько простых. Мы обнаружили, что не большое количество вопросов, а продолжительность опроса, является серьезным препятствием для его завершения. Но даже короткие вопросы могут иметь сложный синтаксис. Остерегайтесь следующего:

Wh-вопросы с дополнениями: вопросы, начинающиеся с wh-слов, например, кто или что, часто включают дополнения — фразы, которые можно удалить из предложения без ущерба для его смысла и грамматической правильности. (“Когда [представитель вашего аккаунта сказал, что] вам нужно продлить лицензию на программное обеспечение?”)
Придаточные предложения после существительных: утверждения, которые содержат в середине оборот, определяющий существительное. (“Задача [которую я только что выполнил в этом исследовании] была легкой.”)
Придаточные предложения в начале: размещение множества прилагательных, наречий и/или предложных групп до того, как респонденты дойдут до важной части вопроса. (“Даже если это будет стоить им денег и может усложнить их код, потому что “правила” представляют собой сложное сочетание отраслевых норм и федеральных, местных законов и законов штата, Twitter, как одна из самых влиятельных социальных сетей, должна соответствовать отраслевым рекомендациям.”)

Недавно мы писали о стратегиях работы с такими сложностями.

3. Ошибочные предположения

Вопрос, который содержит предположения, может создавать для респондентов проблемы:

Насколько вы согласны или не согласны со следующим утверждением?

“Семейная жизнь пострадала во время COVID-19, поскольку родителям приходится слишком много концентрироваться на своей работе.”

Вопрос предполагает, что родители слишком много внимания уделяют своей работе, но семейная жизнь некоторых респондентов, напротив, может страдать из-за того, что родители не работают или их рабочее время сокращено. Респондентам сложно понять, как им оценить такое утверждение.

Предположения в наводящих вопросах могут даже вызвать ложные воспоминания. В классическом психологическом эксперименте участники смотрели слайд-шоу событий, кульминацией которых стало дорожно-транспортное происшествие после того, как автомобиль повернул направо на перекрестке со знаком остановки. После слайд-шоу, участникам было задано двадцать вопросов. При этом половину участников спросили: “Проехал ли другой автомобиль мимо красного “Датсуна”, когда тот остановился у знака ‘Стоп’?”, а другую половину: “Проехал ли другой автомобиль мимо красного “Датсуна”, когда тот остановился у знака ‘Уступите дорогу’?” Спустя двадцать минут, когда участники, чтобы отвлечься, читали не связанную с темой исследования историю и должны были отвечать на вопросы о ней, их попросили выбрать из двух показанных тот кадр, который они запомнили из слайд-шоу, при этом единственное различие между слайдами заключалось в том, остановился автомобиль у знака “Стоп” или “Уступите дорогу”. Несмотря на то, что все они видели знак “Стоп”, 41% участников из тех, кому задавали вопрос про знак “Уступите дорогу”, заявили, что помнят именно его.

Итак, как мы можем исправить приведенный выше в качестве примера вопрос, чтобы сделать его менее наводящим? Этого можно добиться, разбив его на несколько частей:

Первый вопрос: “Как вы думаете, повлиял ли COVID-19 на вашу семейную жизнь?”
Второй вопрос: “По вашему мнению, влияние COVID-19 на вашу семейную жизнь было скорее негативным или позитивным?”
Третий вопрос: “Вы отметили, что влияние COVID-19 на вашу семейную жизнь было скорее негативным. Какие из перечисленных ниже обстоятельств были основными причинами такого негативного влияния (выберите до трех вариантов)?”

‍Исправление наводящего вопроса путем разделения его на части и исключения предположений (создано на платформе MUIQ, поэтому второй вопрос появляется только в случае ответа “Да” на первый, а третий — после выбора ответа “1”, “2” или “3” во втором вопросе).

4. Расплывчатые формулировки

Формулировку можно считать расплывчатой, если ее невозможно понять без дополнительных объяснений. Следовательно, респонденты интерпретируют ее так, как могут, что ведет к неточным ответам:

“Сколько детей остановятся в квартире Airbnb?”

В этом вопросе не ясно, кто считается ребенком? Это тот, кто младше 18 лет или младше 16? Учитываются ли младенцы?

“Насколько часто вы играете в видеоигры, в которых есть насилие?”

Будут ли считаться игры с гонками, где единственное насилие — возможность разбить машину? Считается ли вождение автомобиля, который может попасть в аварию, насилием?

Хотя вы хотите внести ясность, подробно расписав условия, вы также хотите избежать противоположной проблемы, связанной с добавлением чрезмерной сложности (см. пункт 2):

“Сколько детей (в возрасте от 0 до 18 лет) остановятся в квартире Airbnb?”

“Насколько часто вы играете в шутеры от первого лица?”

5. Нечеткие кванторы

Нечеткие кванторы — это слова (обычно прилагательные и наречия), которые могут иметь разное толкование. Они могут появляться как в самих вопросах, так и в вариантах ответов:

“Считаете ли вы, что часто пользуетесь Netflix?”

Петерсон (2000) описывает слова “близко”, “очень”, “довольно”, “много”, “большинство”, “мало”, “часто”, “несколько” и “иногда” как неопределенные. Мы видели подобную неопределенность в случае со словами, обозначающими вероятность, и глаголами изменения.

Петерсон приводит пример того, как респонденты, которые сообщали, что они “очень часто” ходят в кино и “очень много” пива выпивают за месяц, позднее называли абсолютно разные цифры в диапазоне от 52 до 365. Подобные варианты ответов подходят, если вы хотите оценить “восприятие” поведения, например, мнение пользователей о просмотре фильмов в Интернете (считают ли респонденты, что просмотр фильмов в течение часа в день является частым или умеренным), но они не подходят, если вы исследуете, насколько часто на самом деле осуществляется то или иное поведение.

Существует заблуждение, что все численные значения на шкале оценок должны быть подписаны. Однако подписать их становится сложнее, если на шкале имеется более пяти или семи точек, что вынуждает исследователей использовать расплывчатые определения. Например, означает ли слово “вполне” на рисунке ниже на самом деле больше, чем “немного”? Исследования показали, что оценочные шкалы, на которых подписаны лишь конечные точки (версия Б), дают результаты, аналогичные оценкам полностью маркированных шкал (версия А), без использования двусмысленных кванторов.

Два варианта шкалы с ответами для Модели принятия технологий (1986). Утверждение: “Обучение использованию программы CHART-MASTER будет для меня простым.” Вариант А — полностью маркированная шкала (вероятно — очень

6. Незнакомые термины

Легко забыть, сколько новой терминологии, которая может быть незнакома респондентам, используется в исследованиях и таких областях, как финансы, здравоохранение и розничная торговля. Такой жаргон включает аббревиатуры (MPG, IRA, 401K) и термины (активы, франшиза, максимальная сумма наличных средств). Наихудшая комбинация — аббревиатуры, созданные из незнакомых терминов (OOPM).

Незнакомые термины создают сложности не только в опросах. Как мы видели в нашем сравнительном тестировании веб-сайтов в сфере медицинского страхования, UX-дизайн, включающий незнакомые термины, приводит к догадкам, неправильному толкованию, путанице и разочарованию.

Однако, когда респонденты знакомы с терминологией и аббревиатурами в определенной области, разумно использовать их для более эффективной передачи информации (вторая эвристика Нильсена: говорите на языке пользователей).

7. Ложные выводы

Ложные выводы обычно делают респонденты, которые придают вопросу чрезмерное значение, часто пытаясь выяснить его цель или понять суть:

“Можете ли вы представить себе какие-либо ситуации, в которых вы одобрили бы ликвидацию доступа к вашему торговому счету онлайн-брокером Robinhood ?”

Некоторые респонденты могут интерпретировать этот вопрос таким образом, что Robinhood обещает устранить необходимость каждый раз входить в аккаунт и обеспечит непрерывный доступ к деньгам, чтобы совершать своевременные сделки. Однако другие могут понять вопрос более буквально. В этом случае использование слова “какие-либо” склонит их к утверждению, что такие ситуации включают, в том числе, мошенничество, поэтому они с большей вероятностью ответят на вопрос положительно. (Эта проблема связана с использованием абсолютных модификаторов в вопросах.)

Резюме

Люди могут неверно истолковать вопросы из опросника по разным причинам, в том числе:

Грамматическая и лексическая двусмысленность: вызвана неоднозначным характером человеческого языка (слова, фразы и предложения с несколькими значениями).
Чрезмерная сложность: предложения, которые трудно понять, часто из-за попытки собрать слишком много информации в одном вопросе.
Ошибочные предположения: предложения, которые представляют утверждения как факты, когда это не так.
Расплывчатые формулировки: предложения, в которых недостаточно информации, чтобы прояснить их ключевые понятия.
Нечеткие кванторы: предложения или варианты ответов, включающие кванторы, которые могут быть интерпретированы по-разному, например, “близко”, “очень”, “довольно”, “много”, “большинство”, “немного”, “часто”, “несколько” и “иногда”.
Незнакомые термины: включение слов, фраз или аббревиатур, которые не являются частью используемого респондентами языка.
Ложные выводы: предложения, которым некоторые респонденты могут придавать чрезмерное значение, пытаясь понять лежащие в их основе намерения.

Вы можете использовать какие-либо конкретные методы для устранения этих проблем, но лучшая общая стратегия — убедиться, что другие люди проверяют и корректируют ваши опросники, прежде чем вы их кому-то отправляете. Всегда запускайте пилотную версию, которая позволяет респондентам спрашивать вас о любых вещах, вызывающих у них затруднения.

Проблема с неоднозначными вопросами опроса — Drag’n Survey

Неоднозначный вопросы некоторые из наиболее опасных элементов обследования. Они могут испортить надежность и полезность результаты, что может означать, что либо опрос должен быть проведен повторно, либо ваша компания предпримет действия, которые являются контрпродуктивными. Поэтому неоднозначно запросов следует всегда избегать.

Есть различные способы избежать этого типа запроса в ваши опросы. Тем не менее, это требует времени, терпения и некоторого уровня навыков письма. Итак, вот наше краткое руководство по неоднозначным вопросам и тому, как избегайте их в своих опросах.

>> Создайте свой Онлайн-опрос с Drag’n Survey , нажмите здесь

Что такое двусмысленный вопрос?

первое, что вам нужно сделать, это определить и понять, что такое неоднозначный вопрос. Есть некоторые, которые не понимают разницы, и некоторые люди, которые ошибочно отмечают запросы как неоднозначные, когда они не.

Неоднозначный вопрос определяется как вопрос, в котором нет конкретного запроса, он может иметь более одного значения, требовать нескольких ответов или нечетко определяет субъект/объект. Вот несколько примеров с причинами, почему это не очень хорошие вопросы:

Ты смотрел фильм на прошлых выходных? – какой фильм? где они это видели? Сколько из них они видели? Они должны были его смотреть или просто знали, что его показывали в кинотеатре/по телевидению?
Вам понравилось? — чем они должны были наслаждаться? Могли ли они полюбить какой-то аспект, но не получить удовольствие от опыта?
Покупали ли вы что-нибудь за последние три месяца? – т это довольно очевидно, большинство людей что-то покупали на прошлой неделе, не говоря уже о трех месяцах. Но где они сделали покупку? Что они купили? Почему это применимо к опросу? Как они платили?

По использование двусмысленных вопросов в рамках опроса, вы можете получить широкий спектр ответов. Например, «вам понравилось?» многие могут сказать «нет». Если бы речь шла о нового мороженого, они могли бы насладиться вкусом, но текстура была неприятно, или они могли бы насладиться мороженым, но обстановка была слишком шумно/многолюдно для них.

Опасность двусмысленных вопросов

Проблема в том, что информация, которую вы получаете, может быть столь же неоднозначной. Это также может иметь небольшую ценность. Например, «вам понравилось» может привести к либо да, либо нет ответа. Однако, если большинству людей это не нравится, вы все равно не знаете, почему они мне это не нравится.

Это означает, что вы можете ошибаться при принятии деловых решений. Вы могли бы полностью изменить рецепт, действие или продукт, которые могли понравиться большинству клиентов, но не понравились определенному аспект.

Это может повредить репутации вашего бизнеса и вынудить клиента удовлетворение падать дальше.

Просто поставить, двусмысленные вопросы приводят к ограниченному количеству информации. И поскольку информация является ключом к решению делая, вы ставите свой бренд в невыгодное положение.

Как избежать двусмысленных вопросов?

Есть много способов написать лучшие вопросы. Вот некоторые советы для ваших опросов чтобы помочь вам получить больше данных от них и повысить ценность результатов.

1. Разделите вопросы на несколько частей

Один одна из самых больших ошибок двусмысленных вопросов заключается в том, что они часто требуют слишком много информации в слишком маленьком пространстве. Например, «вам понравилось, может спросите о широком спектре аспектов продукта. Вместо этого вы должны сломать разбить запрос на несколько частей. Например, если бы речь шла о мороженом, это поставил бы лучше.

Что вы думаете о цвете продукта?
Что вы думаете о текстуре продукта?
Что вы думаете о вкусе продукта?
Что вы думаете о запахе продукта?

Эти очень специфичны и могут дать вам представление о том, что люди делали или делали не наслаждайтесь продуктом.

2. Не запрашивайте ответы «да/нет»

Только

запросить ответ да/нет если вы уверены, что это единственные два доступных ответа (например, если кто-то купил определенный товар). Для всех других вопросов вы хотите дать любой пробел для качественного ответа, масштабированный ответ ответ (т. е. сильно не понравилось на сильно понравилось) или набор ответов с множественным выбором.

3. Не используйте жаргон

Жаргон ужасен для опросов. Это сбивает с толку аудиторию, которая может не знать правильного значения слова, а если кто-то не понимает этот термин, то по умолчанию делает его двусмысленным.

4. Будьте конкретны

Когда говоря о чем-то, не надейтесь на удачу чтобы аудитория знала, о чем вы говорите. Будьте конкретны в вопросе. Например:

«Сделал вы смотрите последний фильм о супергероях в кинотеатре в выходные 05.04.^-й Июль?»

чем конкретнее вы будете задавать вопросы, тем качественнее будут ответы, которые вы получите.

5. Тестовые опросы перед отправкой

Другое ключевой аспект заключается в том, чтобы всегда проверять свои опросы перед их отправкой. Собираться группу аудитории и посмотреть, как они реагируют на ваш опрос. Если они кажутся трудными, вы знаете, что некоторые вопросы могут быть сформулированы неправильно.

Заключение

Неоднозначный вопросы не отлично подходит для вашего бренда. Они предоставляют неверные данные, которые могут привести к тому, что вы действия, которые могут нанести ущерб деятельности вашего бизнеса. Поэтому смотрите запросы перед отправкой опросов аудитории и убедитесь, что они достаточно конкретны, чтобы собрать правильные данные.

Подробнее об опросах:
Принимайте более взвешенные решения, используя более качественные данные, нажмите здесь

14 вопросов, которые следует задать в рамках опроса об удовлетворенности клиентов, нажмите здесь
Как опросы улучшают всестороннюю обратную связь, нажмите здесь
Узнайте, как вы можете обратиться к своим сотрудникам Вопросы, нажмите здесь
Роль опросов в создании контрольных показателей, нажмите здесь

Самая большая ошибка разработчиков вопросов для опросов

Опубликовано: 20 февраля 2018 г.

Опросы могут помочь нам узнать, как группа людей относится к чему-либо , будь то удовлетворенность клиентов или сотрудников, будущие потребности, отношение к организации, взгляды на некоторые политики или целый ряд других вещей. Чтобы по-настоящему изучить собранные данные, их должно быть

действительно , то есть они должны измерять то, что вы собираетесь измерять.

Как же так? Что ж, существует множество способов исказить процесс опроса, но самая большая ошибка — это двусмысленные формулировки вопросов опроса. Это происходит, когда значение ключевых слов или фраз неясно. Люди могут по-разному интерпретировать вопрос.

Как же тогда можно интерпретировать данные, у разных людей были, по сути, разные вопросы?

Примеров двусмысленных вопросов предостаточно, но давайте изучим вопрос опроса, заданный в США после президентских выборов 2016 года: вмешательство России в президентские выборы.

Многочисленные опросы общественного мнения пытались измерить мнение общественности по этому поводу, и они обычно используют формулировку, подобную:

«Считаете ли вы, что Россия вмешивалась в выборы 2016 года?»

Вопрос может быть задан как бинарный вопрос «Да/Нет» или по шкале интервалов согласия.

Кажется простым, не так ли?

Тем не менее, два человека с одинаковыми базовыми точками зрения могут давать диаметрально противоположные ответы. Как? Неясность в формулировке вопроса.

Это затруднительное положение иллюстрирует проблему достоверности, созданную двусмысленными вопросами.

Неоднозначный вопрос в опросе приводит к результату , когда разные люди интерпретируют какое-то слово или фразу по-разному. Приведенный выше вопрос о вмешательстве в выборы содержит четыре слова, которые определяют, как вы интерпретируете вопрос. (Исследователи сказали бы, что эти слова «вводят конструкцию в действие».)
Давайте разберем их по порядку.

Подумай . Разным респондентам могут потребоваться разные уровни доказательств, чтобы утверждать, что они «думают» или «верят» в то, что что-то действительно произошло. Представьте, как иначе отреагировали бы некоторые, если бы им задали вопрос: «Вы уверены…»

Россия . Что означает «Россия» в данном контексте? Русский народ? российские олигархи? Российское правительство? Я предполагаю, что большинство людей интерпретируют это как Владимира Путина или его агентов, но некоторые, безусловно, воспользуются одним из этих вариантов.
Вмешались . Это слово открыто для интерпретации и должно рассматриваться в контексте следующей предложной фразы «на выборах 2016 года». То, как вы интерпретируете «выборы», влияет на то, как вы интерпретируете «вмешательство», как мы увидим.

Выборы . Здесь у нас настоящая двусмысленность. Для некоторых «выборы» означают фактический процесс голосования, когда мы подаем бюллетени и подводим итоги. Другие могут рассматривать «выборы» как включающие многомесячную кампанию. Это совсем другое. Таким образом, «вмешательство в выборы 2016 года» можно интерпретировать как:
1) Чтобы повлиять на мнение людей или
2) Чтобы изменить результаты голосования.

На момент написания этой статьи имеются существенные доказательства того, что «Россия» распространяла дезинформацию и спровоцировала сбои во время кампании через Facebook и другие платформы социальных сетей. Существуют некоторые свидетельства того, что местные избирательные системы проверялись на предмет возможных взломов, но, по всей видимости, ни один из них не увенчался успехом.

Таким образом, респондент с узким определением «выборов» как процесса голосования и подсчета голосов мог бы ответить на вопрос Нет , в то время как кто-то другой с более широким определением «выборов», включающим кампанию, мог бы ответить Да .

И то, и другое было бы правильно. И оба могли поверить, что Россия занимается гнусной «предвыборной агитацией».

Вы можете подумать, что шкала интервальных оценок решит проблему, но это не так. Если использовать шкалу соглашений Лайкерта, вы бы спросили об уровне согласия с утверждением «Россия вмешивалась в выборы 2016 года». Если бы вы интерпретировали «выборы» как процесс голосования, тогда ваш рейтинг согласия был бы низким. Кто-то с более широким определением «выборов» дал бы высокий рейтинг Согласия. Неоднозначность все еще является проблемой.

Конечно, все это предполагает, что в игре нет предвзятости ответов. Многие люди ответили бы на этот вопрос не на основании своего мнения о вмешательстве России в выборы, а только на основании того, что им нравится или не нравится президент Трамп или спонсоры голосования. В этом случае их ответ обусловлен скрытым мотивом, а не честным заявлением о том, как они относятся к рассматриваемой проблеме.

Люди бросали мне вызов из-за моей озабоченности двусмысленными вопросами. Данные — это данные, с которыми они спорили бы. Мой ответ им прост: «Как вы можете интерпретировать результаты? Что еще более важно, какие действия вы бы предписали?» Хммм…

Предположим, что какой-то процент респондентов интерпретировал фразу «вмешательство в выборы 2016 года» как процесс голосования, а некоторые истолковали это как дезинформацию кампании. Последствия для действия различаются в зависимости от того, какая интерпретация была преобладающей. И вы бы не знали, какое значение чаще всего предполагалось!

Учебные курсы по проведению опросов

Запускаете собственные программы опросов? Узнайте, как сделать это правильно у нас — ведущие в мире инструкторы по разработке и анализу опросов.

Избранные классы:

Расписание семинаров

В действительности многие (большинство?) разработчиков опроса будут слепы к своим двусмысленным вопросам и просто предполагают, что все респонденты интерпретировали вопрос так, как они, разработчики, задумали для них интерпретировать его. Это предположение может привести к ошибочным выводам и рекомендациям к действию.

Вот почему двусмысленные вопросы являются самой большой проблемой при проведении опросов.

Неквалифицированный исследователь, скорее всего, слеп к проблеме достоверности.

Для недобросовестного исследователя двусмысленные вопросы прекрасны. Они будут использовать общие формулировки, которые могут привести многих к согласию с утверждением, даже если их истинные чувства более узки. Исследователь может претендовать на мандат на действие там, где его в действительности нет.

Если мы собираемся действовать, то эти действия должны основываться на реальных знаниях, а не на интерпретациях сомнительных исследований.

На своем семинаре по проведению опросов я проповедую необходимость тестирования инструментов опроса, как внутренних, так и внешних, перед тем, как они будут запущены. Вот три рекомендации.

Как дизайнер вопросов, прочитайте каждый вопрос вслух, слово в слово . (Делайте это в уединенном, укромном месте. В противном случае коллеги начнут недоумевать о вас.) В своих вопросах вы будете «слышать» проблемы, которые в противном случае не заметили бы.
Провести внутреннюю проверку проектной группы Анкета. Другие люди увидят ошибки, на которые вы не способны. Проверяйте свое эго, когда проводите эти сеансы. Вы будете удивлены тем, какие проблемы найдут другие. Если вы считаете, что какая-то фраза может быть проблематичной, вот как это выяснить. Попросите каждого члена вашей команды записать свою интерпретацию фразы, например, «вмешиваться в выборы». Посмотрите, все ли они пишут одно и то же или почти одно и то же. На языке исследователя опроса: все ли они описывают один и тот же атрибут. Если нет, то необходима перефразировка.
Чаще всего обходятся , проводят внешнее тестирование анкеты, так называемое пилотное тестирование или бета-тестирование. Желательно провести опрос лично среди нескольких человек из числа респондентов. Попросите их объяснить, почему они так ответили на вопросы. Таким образом, вы получите их интерпретацию вопроса и основного атрибута.

Приведенные выше предложения уменьшат двусмысленность и должны устранить действительно вопиющие ошибки.

РубрикаРазное