НАЗАД Мангейм Дж., Рич Р.К. Политология. Методы исследования ВПЕРЕД
Красным шрифтом в квадратных скобках обозначается конец текста на соответствующей странице печатного оригинала данного издания
18. НЕКОТОРЫЕ ОБОБЩЕНИЯ
Итак, мы предоставили основную информацию, нужную для того, чтобы спланировать и полностью осуществить исследовательский проект. На рис. 3.6 в гл. 3 представлен обобщающий взгляд на исследовательский процесс. На протяжении всего остального текста рассматривались компоненты этого процесса. В этой заключительной главе мы рассмотрим исследовательский процесс как единое целое. Мы обратим особое внимание на то, как в действительности те последовательные шаги, которые были разделены границами глав, переплетены и взаимозависимы. Нашей целью является облегчить вам разрешение исследовательских задач через полное понимание исследовательского процесса, а не через последовательное сосредоточение на каждой стадии по мере ее достижения. Ценность такого интегрированного понимания, прежде всего в том, что можно избежать многих рабочих проблем, если исследователь осознает, в чем заключается значение принятых на одной стадии решений для последующих стадий. [c.503]
РАЗРАБОТКА ГИПОТЕЗЫ, ИЗМЕРЕНИЯ И ПРОГРАММЫ ИССЛЕДОВАНИЯ
Любое исследование начинается с постановки исследовательского вопроса о том, почему вещи таковы, какими мы их видим. Как правило, мы пытаемся объяснить наблюдаемые события. Начинать поиски этих объяснений следует с литературы по социальным наукам, имеющей общее отношение к нашему предмету. Если повезет, то литературные поиски могут увенчаться готовым рецептом в форме готовой теории, которую наши предшественники разработали для объяснения явлений, подобных тем, которые интересуют нас. Однако чаще приходится использовать литературу более творчески, с тем чтобы создать по возможности лучшее объяснение, имея в распоряжении существующую по предмету информацию. Остальная часть исследовательского процесса, таким образом, будет [c.503] посвящена проверке этого объяснения, с тем чтобы увидеть, насколько оно улучшает наше понимание исследуемых явлений.
Первым шагом такой проверки является выдвижение гипотез, которые, как подсказывает логика, должны быть правильны, если наши объяснения верны. У этих гипотез есть несколько ключевых функций. Во-первых, они обозначают этапы анализа, которые необходимо соблюсти, если мы хотим проверить наши объяснения. Во-вторых, они выделяют переменные, для которых нужно разработать показатель. И наконец, гипотезы предлагают такие способы организации изложения, которые позволят продемонстрировать надежность наших объяснений. Выдвигая гипотезы, мы всегда должны задаваться вопросом, а сможем ли мы в действительности наблюдать указанную взаимосвязь. Располагаем ли мы необходимыми данными или есть ли у нас требующийся для самостоятельного их сбора источник? Совершенно необходимо, чтобы исследователь выбирал гипотезы, которые можно проверить, исходя из наличного времени, степени своей подготовки и ресурсов. Поступать по-другому – значит обречь себя на неудачу.
Далее, переменные, необходимые для работы с гипотезами, должны быть подготовлены так, чтобы можно было произвести нужные для расчетов измерения, позволяющие сделать выводы о верности наших предположений. При выборе инструментария или процедур измерения мы должны совершенно четко решить, располагаем ли мы необходимыми для их применения ресурсами. Если у нас нет достаточного времени, денег или других необходимых компонентов, мы не сможем провести процедуру измерения. Кроме того, мы должны выяснить, не изменяется ли смысл любого из объектов, задействованных в нашем исследовании, когда мы заменяем его результатами измерений, призванными представлять его. Хотя надежность анализа данных можно оценить практически всегда, вопрос о надежности следует ставить еще перед этапом сбора данных, поскольку никакой самый хитрый анализ не сделает ненадежное измерение полезным.
Уже на этапе измерения полезно подумать о той стадии, когда будет осуществляться анализ данных. Следует внимательно проверить свои гипотезы, чтобы решить, [c.504] какие именно математические и статистические тесты понадобятся для проверки их верности. Затем нужно убедиться, что выбранные способы измерения действительно подходят для этого вида данных. Главное, что нужно здесь принять во внимание, – это соответствие уровня измерений, используемого при подготовке данных, уровню измерений, требующемуся для проведения статистических расчетов, которые будут использованы при проверке гипотез. Если вы планируете использовать измерение связи, для которого необходим порядковый уровень измерений, удостоверьтесь сначала, что в результате процедур измерения вы действительно получили порядковые данные. Второе, о чем следует помнить, – соответствие распределения значений переменной, полученного в результате процедур измерения, распределению, удовлетворяющему тем статистическим процедурам, которые вы собираетесь применить. Если вы планируете провести тест на статистическую значимость, требующую нормального распределения, следует убедиться, что измерительные процедуры не помешают получению распределения, близкого к нормальному.
Следующий шаг–это разработка программы исследования, для того чтобы наметить приложение измерительных процедур. Центральной задачей программы является гарантия нашей уверенности в том, что любая наблюдаемая взаимосвязь есть результат процессов, описанных в наших объяснениях, а не каких-либо других процессов. Программа обеспечивает эту гарантию путем предоставления возможности исключить альтернативную гипотезу. Добротная программа исследования начинается с обзора литературы. На стадии этого обзора (с помощью логического анализа положения дел) уже можно выделить основные альтернативные гипотезы, которые должны быть исключены, прежде чем мы убедимся в верности наших основных предположений о наблюдаемых явлениях.
В исследовательскую программу включаются: (1) выработка перечня процедур, необходимых для проверки гипотезы; (2) решение о том, какие нужно собрать данные (о ком или о чем, в каком порядке, какими путями, на каких условиях) для проведения этих процедур; (3) предварительная прикидка всех результатов, возможных вследствие этих процедур (отсутствие связи, положительная [c.505] связь, отрицательная связь и т.д.); (4) формулирование основных альтернативных гипотез, которые могут объяснить каждый возможный результат; (5) организация сбора дополнительных данных, которые позволят провести дополнительные операции, необходимые для исключения альтернативных гипотез, как только будут получены надежны объяснения какого-либо из результатов.
Важно, чтобы, разрабатывая программу, мы знали, какой вид статистического анализа мы собираемся применить, поскольку именно на стадии планирования принимается решение о том, какие данные необходимы для анализа. Например, если на стадии анализа данных предполагается работа со многими переменными, мы должны быть уверены, что исследовательский план предполагает получение достаточного количества случаев для такой сложной разбивки массива. Если мы хотим, чтобы партийная принадлежность оставалась неизменной при измерении силы связи между двумя основными переменными для членов каждой партии отдельно, мы должны включить достаточное количество членов каждой партии, для того чтобы подсчеты силы связи были надежными, и предусмотреть наличие информации о партийной принадлежности. Если мы планируем применить анализ временных рядов в исследовании, где используются сводные данные, мы должны быть уверены в том, что сведения о значения НП относятся к периоду более раннему, чем момент сбора данных о ЗП, если у нас есть теоретические посылки к тому, чтобы полагать, что в воздействии НП на ЗП есть запаздывание.
При планировании исследования, так же как и при выборе гипотез и основных методов, очень важно задать себе вопрос – насколько посильную мы поставили задачу. Самая лучшая в мире исследовательская программа окажется бесполезной, если у исследователя нет средств к ее реализации. Вы должны очень внимательно относиться к логике сбора данных в процессе разработки исследовательской программы. [c.506]
Как мы уже отметили, исследовательский процесс, сбор и анализ данных имеют целью проверку гипотез. Мы представили вам основные правила, которые следует [c.506] соблюдать при использовании различных методов сбора и анализа данных, и в гл. 2 описали процесс восхождения от эмпирических результатов к теории, что замыкает круг исследования. Нет необходимости повторять все эти рассуждения. Однако нам хотелось бы сделать два замечания, которые при изложении по главам, может быть, не были столь заметны, как нам этого хотелось бы.
Первое замечание заключается в том, что, хотя мы рассказывали о каждом способе сбора данных отдельно, их не стоит разделять в процессе исследования. По сути дела, в использовании самых разнообразных способов сбора данных в исследовании есть свои резоны. Во-первых, различные методы могут служить разным задачам. Исследователи могут, например, использовать прямое наблюдение за какой-либо политической группой для сбора общей информации, нужной для объяснения, а затем использовать опрос для сбора точных данных, которыми можно проверить это объяснение. Кроме того, использовать при сборе данных разные методы бывает полезно еще и потому, что большее количество способов измерений способно повысить доверие к надежности результатов, о чем говорилось в
гл. 3. Например, при изучении изменений в качестве работы общественных служб в пригородах полезно взаимное подтверждение данных о качестве данных, полученных с помощью опросов, сводных данных, официальных сведений, интервью с официальными лицами и оценок квалифицированных экспертов. Если все эти наблюдения представляют схожие распределения в пригородах, исследователь может быть вполне уверен, что качество служб измерено точно.Второе замечание состоит в том, что эмпирическое исследование может быть подготовительным по характеру. Мы можем использовать его не для проверки гипотез, выведенных из объяснений, а прежде всего для того, чтобы обеспечить данные, которые будут использоваться для формулирования объяснений. Фактически каждый исследовательский проект обычно поднимает новые вопросы, предлагает новые объяснения и ведет к новым исследованиям. Если вы вернетесь к
рис. 3.6, то заметите, что существуют прямые связи между формулированием наблюдаемых взаимосвязей и гипотезами. Эти прямые связи суть результат приложения индуктивной логики к анализу [c.507] данных. Все это может стать важным шагом в эмпирическом исследовании, поскольку ведет к новому этапу анализа данных, который позволит исследователю усовершенствовать и тщательно обосновать объяснения в тех аспектах, которые не предполагались на стадии планирования, или даже, без дополнительных новых данных, произвести проверку объяснений, которая также ранее не предполагалась. [c.508]КОНТРОЛЬНЫЙ БЛАНК ДЛЯ ОЦЕНКИ ИССЛЕДОВАНИЙ
При оценке чужого или планирования своего собственного исследования часто бывает полезно отступить от частностей каждого этапа и попытаться охватить исследование целиком, задаваясь вопросом, удовлетворяет ли оно некоторым общим, но ясно сформулированным требованиям, предъявляемым к глубокому эмпирическому исследованию. Чтобы облегчить вам эту задачу, мы предлагаем в табл. 18.1 перечень того, что следует проверить. Вопросы расположены примерно в той последовательности, в которой обычно встают серьезные проблемы в изложении исследования или в процессе работы. Правила, предложенные в этих вопросах, достаточно широки, и проект, выдержавший проверку по всем этим пунктам, может все же содержать более или менее крупные технические ошибки, но, если вы сможете ответить “да” на каждый из вопросов, оцениваемое исследование скорее всего свободно от тех ошибок, которые вы научились определять по этой книге, и может послужить базой для основательной работы.
Используя этот перечень вопросов, помните о трех вещах. Во-первых, не все вопросы подходят для всех исследовательских проектов. Предварительные исследования, например, могут не заниматься проверкой гипотез, а исследования, в которых применялись методы направленных опросов, иногда не требуют случайной выборки. Во-вторых, вопросы относятся скорее к техническим, чем к содержательным аспектам исследований. Исследователь может все делать правильно, но тем не менее изучать объект, не заслуживающий внимания. Исследование только тогда имеет ценность, когда оно выполнено верно технически и одновременно посвящено важной проблеме. Оценивая [c.508] исследование, необходимо задаться вопросом, добавит ли оно при условии точного выполнения полезные знания к попыткам понять важные политические явления. Иногда невысокий технический уровень оправдан актуальностью и масштабом объекта исследования. В целом тот проект, который хоть что-то добавляет к нашим знаниям о важных явлениях, более ценен, чем тот, который открывает очень много нового о незначительном событии. В-третьих, немного таких исследований, которые свободны от ограниченности. Например, иногда бывает невозможно сделать репрезентативную выборку из огромной совокупности, будучи при каком-либо исследовании ограниченным в ресурсах. Иногда приходится выбирать какую-то подгруппу (например, проводить изучение политического поведения всех американцев на основе массива по одному штату). Такие ограничения становятся ошибкой только в том случае, если исследователю не удается принять их во внимание и соответствующим образом представить результаты работы.
Контрольный лист может использоваться для оценок как своих, так и чужих исследований. В качестве исследовательского упражнения вы можете выбрать ту часть, в которой изложены результаты исследовательского проекта, и оценить ее, используя контрольный лист, приведенный в табл. 18.1, выделяя все ошибки, которые вы сможете обнаружить, и объясняя, почему они являются ошибками. Мы поместили таблицу так, чтобы облегчить ее фотокопирование.
Последний комплекс принципов оценки исследования в табл. 18.1 несколько отличается от перечисленных выше технических аспектов. Исследование можно оценивать и с точки зрения соответствия этическим требованиям. Что этично, а что нет, чаще всего решает сам исследователь, так что эти требования могут достаточно широко варьироваться. Например, во время вьетнамской войны некоторые ученые в Соединенных Штатах отказались участвовать в работах, финансируемых теми федеральными организациями, которые, по их мнению, разделяли ответственность за войну. Другие же полагали, что источник финансирования исследования не имеет отношения к его этической стороне, и оценивали исследования только с точки зрения их содержания. Кроме подобных различий, [c.509] существует целый ряд общепринятых этических требований, относящихся ко всем общественным дисциплинам. Некоторые примеры представлены в Приложении Б. Все ученые, активно работающие в области политологии, должны иметь представление о тех этических проблемах, которые иногда возникают в научном процессе1.
Таблица 18.1.
Контрольный бланк для оценки исследования
1. Достаточно ли ясно поставлена исследовательская проблема? Достаточно ли мы знаем о задачах исследования, чтобы оценить весь проект? Насколько тесно исследование связано с какой-либо политической проблемой или темой? Достоен ли выбранный объект изучения?
2. Являются ли элементы анализа четко выделенными и верно выбранными при реализации всего проекта?
3. Являются ли понятия, используемые в исследовании, ясно и четко разработанными? Имеют ли эти понятия четкое эмпирическое выражение?
4. Достаточно ли ясно, какие объяснения проверяются? Если используется теория, то верна ли она логически? Проясняет ли она, как связаны различные понятия и какие причинные процессы работают?
5. Согласуется ли теория доказательства с существующей по предмету литературой? Насколько широк обзор литературы? Достаточно ли ясно показано соотношение данной работы с предыдущими исследованиями и более общими темами в области политологии?
6. Являются ли гипотезы, нуждающиеся в проверке, четко выделенными и верно сформулированными? Следуют ли они из тех доказательств или теории, которые нужно проверить? Можно ли вообще их эмпирически проверить?
7. Если проверяется более одной гипотезы, выделены ли связи между ними? Действительно ли эти гипотезы относятся к рассматриваемой теории и выявлена ли со всей очевидностью их роль в тестировании?
8. Являются ли исследуемые переменные четко выделенными, а их статус (независимая, зависимая, промежуточная, предварительная) – определенным в гипотезе?
9. Включены ли в исследование переменные, которые могут изменить предполагаемые связи? (Например, можем ли мы ожидать наличие взаимосвязей как для мужчин, так и для женщин или как для индустриальных, так и неиндустриальных стран?)
10. Достаточно ли ясно изложена операционализация понятий и достаточно ли детально описаны процедуры измерения для того, чтобы другие исследователи могли повторить их? [c.510]
11. Насколько измерения валидны и надежны? Применяются ли тесты на надежность и достаточность? Замечены ли возможные невалидность и ненадежность данных и приняты ли меры к их устранению?
12. Является ли достаточно четким план исследования и годен ли он для необходимой проверки гипотез? Сформулированы ли альтернативные гипотезы и предусматривает ли план исследования изучение этих гипотез как альтернативного объяснения? Содержит ли план глубокое логическое обоснование выводов о причинах?
13. Четко ли выделена совокупность, интересующая исследователя? Является ли используемая выборка репрезантативной по отношению к совокупности? Если нет, то осознает ли исследователь те ограничения, которые это накладывает на результаты? Хорошели описаны процедуры выборки?
14. Соответствуют ли типу исследования, этапам анализа и виду искомой информации выбранные способы сбора данных (опрос, контент-анализ и т.д.)?
15. Полностью ли описан процесс сбора данных? Достаточно ли четко обозначены другие, кроме первичных источников, данные, чтобы последующие исследователи могли обратиться к ним?
16. Полно ли описаны и проверены системы кодировки, которые могут повлиять на измерения, такие, как группы с падающим доходом среди более широких категорий или восприятие отдельных видов ответов как доказательных или недоказательных?
17. Полно ли описаны индексы и шкалы? Сохраняют ли эти суммарные измерения смысл понятий? Не являются ли они одномерными (отражающими только одну лежащую в основе идею или мысль)?
18. Был ли заранее проверен инструментарий?
19. Были ли предприняты усилия к проверке результатов? (Например, достаточно ли настойчиво опрашивались респонденты? Предпринимались ли поиски альтернативных источников или сводных данных)?
20. При изложении данных достаточно ли верно иллюстрируют таблицы и схемы то, что они должны иллюстрировать? Достаточно ли полно они описаны в тексте и выделен ли их основной смысл? Не искажают ли они каким-либо образом результаты?
21. Снабжены ли таблицы и схемы достаточно ясными пояснениями, позволяющими легко разобраться в них?
22. Верны ли интерпретации таблиц и рисунков или они искажают данные?
23. Верно ли использованы описательные статистики (такие, как среднее геометрическое и стандартное отклонение) для интерпретации данных и дополнений к таблицам и рисункам? [c.511]
24. При изучении взаимосвязей между переменными предоставляют ли исследователи сведения о силе, форме и значимости связей?
25. Изучают ли исследователи возможные воздействия предшествующей, промежуточной и скрытой переменных? Пытаются ли они проконтролировать эти воздействия при анализе данных?
26. Соответствуют ли использованные статистические методики уровню измерения переменных и целям, для достижения которых они применяются?
27. Соответствуют ли данные тем мерам, которые были предприняты для обеспечения верного применения статистических методик (случайная выборка, нормальное распределение и т.д.)? Определили ли исследователи степень, до которой данные удовлетворяют этим допущениям?
28. Являются ли измерения статистической значимости верными и правильно ли они интерпретированы?
29. Исследовались ли с помощью статистики альтернативные гипотезы? Верно ли изложены и интерпретированы результаты этого?
30. Верно ли соотнесены все фрагменты анализа данных с общими выводами исследования? Соответствуют л и интерпретации самим данным и проверяемым теории и доказательствам?
31. Содержит ли ваше исследование:
а) точное изложение целей?
б) обзор литературы, достаточный, чтобы продемонстрировать свой определенный вклад?
в) соответственно описание плана, использованных данных и методов?
г) точно и ясно сформулированные выводы?
д) четко сформулированные результаты?
32. Действительно ли подкреплены сделанные выводы представленными данными и использованным планом исследования? Верны ли заявления авторов о вкладе исследования в разработку темы или же авторы сделали слишком далеко идущие выводы из своей работы?
33. Принимал ли автор во внимание этические проблемы, вставшие в ходе исследования? [c.512]
Вооружившись сведениями, почерпнутыми из этой книги, вы можете успешно осуществить очень широкий круг эмпирических исследований. Однако вы должны понимать, что этот учебник лишь слегка затронул необъятную тему эмпирических политологических исследований. Десятки других книг, перечисленных в наших [c.512] списках дополнительной литературы, должны показать вам, что об этом еще очень многое можно сказать. Есть вещи, о которых из этой книги узнать нельзя.
В процессе исследования вы можете столкнуться со многими важными вопросами, на которые вам будет трудно ответить. Даже если вы постараетесь тщательно и точно следовать всем советам и правилам, может обнаружиться, что вы не в состоянии (1) выполнить какой-либо исследовательский проект или (2) получить такие результаты, которые более опытные исследователи признают недействительными, поскольку вы сделали ошибки, о которых вас не предупредили. Если вы последуете всему, что говорилось в первых вводных главах, вы, вероятно, сделаете минимум ошибок в формулировании гипотез, выборе инструментария, поисках литературы, разработке программы исследования. Главы о выборках и организации данных, может быть, содержат меньше конкретных рекомендаций, так как эти процессы более формальны и меньше зависят от конкретной ситуации каждого отдельного исследовательского проекта. Нам также не удалось представить вам полное описание всех способов сбора и анализа данных из-за их чрезвычайного разнообразия и сложных технических аспектов, так что мы советуем вам более обстоятельно изучить эти вопросы, прежде чем заявлять о своей компетенции в эмпирическом анализе. Списки дополнительной литературы в каждой главе являются хорошей отправной точкой для приобретения необходимой информации.
Мы предоставили вам солидную базу; теперь вы можете состояться как политолог. Надеемся, что вы, как и мы в свое время, найдете это занятие захватывающим и достойным и в конце концов согласитесь: игра стоит свеч! [c.513]
1
Понять этические вопросы, иногда встающие перед исследователями, вам поможет кн.: Beanchamp T.L. et al., eds. Ethical Issues in Social Science Research. – Baltimore: Johns Hopkinks University Press.