Розробка матеріалів для фіксування даних досліджень, побудова валідних анкетувань та методи валідації методик спостережень


Проведення опитувань, елементи розробки опитування

Опитування - це дизайн дослідження, яке збирає однакові дані про кожен випадок у вибірці. Це дозволяє створити стандартний набір даних для кожного суб'єкта, який може бути статистично проаналізований для пошуку закономірностей та взаємозв'язків між оціненими змінними. Серед прикладів зазначимо про великі національні опитування домогосподарств, як-от Опитування у сфері охорони здоров'я в Англії, а також менш масштабні опитування, наприклад запитання пацієнтам лікарні про досвід у певних ситуаціях. Опитування можуть бути використані для збору інформації з цілого ряду тем, що стосуються охорони здоров’я, як-от поведінка щодо здоров'я та громадська думка.

Ефективно розроблені опитування з достатньо великою репрезентативною вибіркою можуть генерувати корисні узагальнені дані, які можуть слугувати підґрунтям для гіпотез подальших досліджень. Позаяк опитування не можуть надати обґрунтування причинно-наслідкових зв’язків.[1]

Етапи розробки та проведення опитування[2]

Під час розробки опитування слід дотримуватися декількох етапів:

  1. Встановіть цілі вашого проекту - яку інформацію ви хочете отримати? Це допоможе визначити, кого вам слід опитувати, і які питання ставити.

  2. Визначте свою вибірку - інформація про різні вибіркові методи дослідження висвітлена в інших розділах (Methods of sampling from a population). Однак тут слід спиратися на два основоположні компоненти:

  • Хто ваша цільова популяція?

  • Скільки осіб потрібно опитати? Цей аспект може включати компроміс між перевагами великої вибірки та витратами на опитування великої кількості людей.

3. Визначтеся з методологією опитування - оберіть необхідний метод збору даних, наприклад:

  • Індивідуальне інтерв'ю за методом «віч-на-віч»;

  • Телефонне опитування;

  • Опитування поштою;

  • Інтернет-опитування.

4. Розробіть структуру опитування - шукайте цю тему нижче в підзаголовку Структура опитування.

5. Зорієнтуйте своє опитування на певну цільову групу - це може виявити досі не передбачені проблеми з викладом, формулюванням запитань, вказівок тощо. Це також дозволяє перевірити, чи можна провести опитування в розумних часових межах, і, у випадку, якщо відповіді не надають достатньо вичерпної інформації, допомагає переформулювати або змінити структуру запитання. Важливо визначити, чи це опитування є культурно прийнятним для учасників дослідження, а також, чи здатне воно надати достовірні та послідовні відповіді.

6. Проведіть опитування та заповніть необхідні дані.

7. Проаналізуйте отримані дані та складіть звіт.


Документи для опитування

Роль основного документа в опитуванні виконує власне сама анкета, або документи, що використовуються для фіксації відповідей суб'єктів. Однак за посиланням на Аналіз показників захворюваності на малярію[3], проведеного Всесвітньою організацією охорони здоров'я та іншими групами, ви знайдете низку інших документів, які можуть бути підготовлені для супроводу опитування.

Серед них, зокрема, знаходяться бланки для опитування учасників, посібники як для інтерв'юерів, так і для їх контролерів, а також інша навчальна документація та вказівки щодо формування вибірки. Таким чином інформація про методи дослідження цілком прозора і може бути використана іншими групами. Однак, важливішим є те, що це закріплює застосовувані методи опитування для всіх інтерв'юерів та мінімізує будь-які відхилення.

Розробка анкети

Анкета може бути використана як єдиний інструмент для збору даних опитування або поєднуватися з іншими інструментами збору даних. Ступінь якості отриманих анкетою даних, які б відповідали реальним цілям і завданням дослідження, залежить від правильності складеної анкети, наскільки точно розроблені запитання та наскільки ефективно втілюється опитування.

Анкета, яка вважається дійсною, оцінює те, про що сама запитує. Наприклад, анкета-оцінка споживання їжі, заповнена учасником самостійно, може вважатися недійсною, оскільки вона оцінюватиме те, про що респонденти тільки стверджують, а не те, що вони насправді з’їли.4 Тож для отримання дійсної та надійної інформації, ретельне врахування цілей та завдань дослідження є вирішальним.

Певно, найважливішою настановою для опитування на етапі розробки є принцип «KISS» ー keep it short and simple ー коротше та простіше. Якщо ви вручите учасникам анкету на 20 сторінок, то більшість потенційних респондентів з жахом відмовляться навіть не розпочавши.2

Загальні рекомендації[1]

Мова, що використовується в анкеті, повинна бути зрозумілою і простою, а речення ー короткими. Слід уникати скорочень та жаргону. Регістр повинен відповідати цільовій аудиторії. До того ж професійні методи подачі інформації створять враження окремої важливості анкети.

Анкету слід починати з незагрозливих, цікавих питань, а найважливіші запитання оптимально включати саме до першої половини опитування, адже респонденти можуть повернути не до кінця заповнені бланки. Запитання повинні бути логічно згруповані за категоріями і мати достатньо місця для відповідей. Навігація анкетою має бути максимально простою.

Щоб учасники не давали одноманітних нудних відповідей, формат запитань слід змінювати, адже в протилежному випадку увага респондентів знижується і виникає так зване звикання.


Типи запитань

Перше завдання при Під час формулювання запитань передусім потрібно обрати змінні, які ви прагнете оцінити. Це може бути зроблено суто теоретично, наприклад, висвітлити питання, які вважаєте важливими, використати фокус-групу або інтерв'ю для визначення того, що важливо для цільової групи, або визначити важливі змінних за допомогою пошуку літератури. Запитання можуть вимагати або числових відповідей, які можна кількісно проаналізувати, або текстові приклади, для яких може знадобитися якісний аналіз.

Існує два основні типи запитань[4]:

  1. Закриті запитання, які обмежують відповідь певним списком запропонованих варіантів. Це може бути або "Так / Ні", або формат з декількома варіантами. Для дослідника це має ряд переваг, адже набір стандартних відповідей дозволяють фахівцям швидко створювати агреговані дані. Водночас це обмежує повноту потенційних відповідей. Закриті запитання можуть не включати всіх потенційних відповідей, що призводить до упередженості результатів. У подібних випадках закриті запитання повинні включати після усіх варіантів запитання відкритого на кшталт "Інше" або "Не знаю".

  2. Відкриті запитання дають респонденту свободу вираження. Однак запитання відкритого типу вимагають більш складних методів аналізу.

Учасників також можна попросити позначити свою відповідь за шкалою згоди чи незгоди з твердженням. Про якісний дизайн досліджень, які можуть включати дещо поглиблене спілкування з учасниками, йдеться в інших програмах (див. The principles of qualitative methods).


Максимізація частки респондентів, що відповіли на запитання

Для отримання репрезентативних результатів важливо прагнути отримати максимальну частку респондентів, що дали відповіді на запитання. До потенційних бар'єрів на шляху до точності та чесності учасника належать[1]:

  • Зайве розумове навантаження ー наприклад, труднощі з розумінням питання, складнощі під час пригадування минулих подій чи станів.

  • Упередженість відповідей ー наприклад, бажаний соціальний статус (прагнення представити себе в найкращому світлі), неточність спогадів, або уникнення категоричності (респонденти надають перевагу не надавати категоричних відповідей на кожне запитання).

Інші поради щодо підвищення частки респондентів, що відповіли на запитання:

  • Попередньо повідомляти учасників листом, де зазначена мета дослідження

  • Використовувати чіткого та простого формат викладу

  • Ставити чіткі та стислі питання, без використання професійного жаргону, а також довгих, навідних або негативних питань, що вимагають протилежної до змісту відповіді

  • Якщо це опитування поштою, надайте конверт зі зворотною адресою та марками, або забезпечте збір анкетних матеріалів, якщо це можливо

  • Забезпечте анонімність, де це можливо, особливо якщо анкета зачіпає особисті питання

  • У разі відсутності відповіді респондента, установіть зв'язок з ним телефоном чи листом

  • Пропонуйте нагороди за заповнення анкети (безкоштовний подарунок або благодійний внесок)


Оцінка валідності методів спостереження

Валідність опитування ー це те, наскільки анкета виконала поставлені завдання. Дослідники Штрейнер та Норман описують валідацію як процес тестування гіпотез: "Той, хто добре виконав цю умову, продемонструє хороші результати в ситуації А, і погані в тесті B і відрізнятиметься від тих, хто погано себе покаже за ознаками C і D”.[6]

Більш детально про типи валідності досліджень можна дізнатись за посиланням Validity, reliability and generalisability.


Методи спостереження передбачають вимірювання явищ у їх природному середовищі. На практиці, для оцінки валідності існує два загальних підходи:

  • Тест можна порівняти з найкращою доступною клінічною оцінкою. Наприклад, психіатричну анкету, яка заповнюється самостійно, можна порівняти з думкою більшості експертної психіатричної групи.

  • До того ж, тест може бути валідований своєю здатністю передбачати деякі інші відповідні дані або події. Наприклад, за показниками глікозурії (глюкози в сечі) можна передбачати аномальний аналіз на толерантність до глюкози, а на основі даних анкети ー спрогнозувати виникнення хвороби.

Суб'єкти класифікуються як позитивні чи негативні за своїм результатом. Спочатку за даними опитування чи за новими матеріалами, а потім відповідно до референтного тесту. Отримані результати можуть бути зображені у вигляді таблиці спряженості 2х2.



З цієї таблиці можна отримати деякі важливі статистичні дані.

  • Чутливість (a/a+c) - чутливий тест виявляє високу частку справжніх випадків

  • Специфічність (d/b+d) - специфічний тест дає мало хибно-позитивних результатів

  • Систематична помилка (a+b)/(a ​+c) - відношення загальної кількості позитивних випадків нового тесту порівняно з еталонним. Це вказує на частку підрахунків, які виявились правильними.

  • Позитивне прогностичне значення - частка позитивних тестів, які є справді позитивними.

Ці статистичні дані детальніше розглядаються за посиланням Diagnosis and Screening.

Валідність методів спостереження може бути покращена такими способами, як-от:

  • Забезпечте спостерігачів підготовкою і зважайте на умови дослідження

  • Забезпечте відповідний репрезентативний зразок та врахуйте ефект рефлексивності (вплив спостереження та вплив спостерігача на учасників)

  • Переконайтесь, що результати спостережень точно фіксуються, наприклад, за допомогою двох спостерігачів або за допомогою записування усних відповідей

  • Триангулюйте відповіді шляхом повторення спостережень або шляхом оцінки бажаного результату за допомогою додаткових інструментів

Для отримання додаткової інформації про ефективну розробку опитувань, переходьте на ресурси Британського медичного журналу[4,5,7,8].


Література

  1. Durand M, Chantler T. Principles of Social Research (2nd ed.), Open University Press, 2014

  2. http://www.surveysystem.com/sdesign.htm - Accessed 8/04/17

  3. http://www.malariasurveys.org/toolkit.cfm - Accessed 8/04/17

  4. Boynton, PM, Selecting, designing, and developing your questionnaire. BMJ 2004;328:1312-1315

  5. Boynton, PM, Administering, analysing, and reporting your questionnaire. BMJ 2004;328:1372-1375

  6. Streiner D, Norman G. Health measurement scales: A practical guide to their development and use (3rd ed). Oxford University Press, 2003

  7. Rose G, Barker D. Repeatability and validity. BMJ 1978; 2:1070-1071

  8. Barbour R. Checklists for improving rigour in qualitative research: a case of the tail wagging the dog? BMJ 2001;322:1115-1117




Переклад - Богдана Багацька.

Джерело - https://cebm.be/61147