ПОЛИТОЛОГИЯ: МЕТОДЫ ИССЛЕДОВАНИЯ

 

 

НАЗАД     Мангейм Дж., Рич Р.К. Политология. Методы исследования    ВПЕРЕД

Прежде чем предпринять любое серьезное исследование, следует составить его программу, которая не только в точности описывает, что и как вы собираетесь делать, но и объясняет, почему вы совершаете каждый данный шаг и почему вы совершаете его именно так, а не иначе. [c.118]

Вплоть до настоящего момента мы обсуждали политологическое исследование так, как если бы оно было полностью предназначено для проверки гипотез с помощью процесса, изображенного на рис.3.6. И хотя проверка гипотез обычно считается наиболее важной во всех социальных науках, исследование, вообще говоря, может иметь множество целей, и его программа, [c.118] максимально подходящая для любого данного проекта, будет зависеть от его цели². Некоторые исследовательские проекты являются поисковыми. Они предназначены для того, чтобы поближе познакомить нас с явлениями, которые мы собираемся исследовать, дать возможность более точно сформулировать проблемы и, быть может, построить гипотезы. Такие исследования могут играть важную роль, когда изучаются новые явления или явления, которые ранее не изучались. Некоторые проекты включают в свой состав описательные исследования. Последние предназначены для того, чтобы дать точное представление о некоторых явлениях, позволяющее нам лучше сформулировать проблемы и гипотезы. Например, прежде чем мы начнем строить теорию возможных причин некоторого явления, нам могут понадобиться сведения о частоте, географическом распределении и последовательности событий в составе данного явления или о том, с какими иными явлениями, как правило, ассоциируется данное явление. И наконец, исследование может быть предназначено для проверки каузальных гипотез. Если результаты исследования можно использовать для подтверждения того, что одно явление вызывает другое, можно попытаться дать объяснение этому другому явлению. Поэтому исследование, проверяющее гипотезы, может быть названо объяснительным исследованием. Такое исследование подходит тогда, когда мы уже достаточно знаем о явлении, чтобы начать искать объяснение того, почему данное явление таково, каково оно есть.

Данная предварительная типология целей исследования удобна потому, что исследование каждого типа предполагает свою программу. Поисковое исследование требует скорее гибкости, чем точности, поскольку его цель – выявить возможные, а не проверить гипотетические объяснения. Программы поискового исследования должны давать лишь возможность наблюдать соответствующее явление. А вот описательное исследование требует точного измерения явлений. В описательных исследованиях (если мы надеемся получить точную картину интересующих нас событий) программа призвана обеспечивать беспристрастность и надежность наблюдений. Программы объяснительных исследований должны не только обеспечивать беспристрастное и надежное наблюдение, но и [c.119] давать возможность делать выводы относительно причинного воздействия переменных друг на друга. Программа исследования дает возможность делать каузальные выводы, если она позволяет исключить любые правдоподобные объяснения наблюдаемых фактов, являющиеся альтернативными по отношению к проверяемой каузальной гипотезе.

Главы 2 и 3 дают необходимые сведения относительно пунктов программы (1) – (4); гл. 12–16 освещают проблему анализа данных. Настоящая глава посвящена организации наблюдений. Именно этот аспект программы исследования дает основания для исключения альтернативных конкурирующих гипотез, и именно его имеет в виду большинство исследователей, когда идет речь о программе исследования. [c.120]

На примере гипотетической программы исследования можно продемонстрировать воздействие способа структурирования или организации наших наблюдений на степень полезности результатов. Представьте себе, что департамент юстиции какого-то американского штата осуществил новую программу, направленную на сокращение детской преступности. В программу входит однодневное пребывание в тюрьме малолетних преступников и тех, кто потенциально может стать преступником; во время этого пребывания они получают некоторое представление об [c.120] ужасах тюремной жизни. Программа основана на предположении, что этот опыт отобьет у них охоту совершать преступления, которые могут повлечь за собой тюремное заключение. Предположим, после того как программа осуществлялась в течение нескольких месяцев, администрация штата хочет узнать, имела ли она желаемый эффект, и предлагает вам, опытному политологу, оценить ее результаты. Что вы предпримете для этого?

Поскольку программа, известная под названием “операции по устрашению”, предназначена для сокращения детской преступности, преступность и будет зависимой переменной. Можно операционализировать ее как быть арестованным за совершение уголовного преступления и далее просто проконтролировать регистрацию приводов в течение года после посещения тюрьмы тех молодых людей, которые прошли через “операцию по устрашению”. Если в течение года они подверглись аресту, вы считаете их правонарушителями. Если они не были арестованы, вы не считаете их правонарушителями³.

2. У лиц, добровольно принявших участие в “операции по устрашению”, иная семейная обстановка, чем у тех, кто в ней не участвовал, и именно эта обстановка, а не организованная [c.121] штатом программа предотвратила совершение правонарушений.

Альтернативная гипотеза (2) заключается в том, что представляющееся очевидным отношение между участием в программе и преступным поведением является мнимым. Гипотеза утверждает, что обстановка в семье является [c.122] причиной и участия в программе, и последующего отсутствия правонарушений. Такое рассуждение предполагает, что существует процесс отбора, при котором те, кто имеет в семье поддержку, помогающую не совершать преступления, и те, кто, скорее всего, примет участие в программе,– одни и те же люди, и что это создает очевидную связь между “операцией по устрашению” и отсутствием преступлений.

Альтернативная гипотеза (3) еще в большей степени нуждается в таком дополнительном методе сбора данных. В соответствии с этой гипотезой выдвигается предположение, что “операция по устрашению” сделала своих участников более осторожными и, быть может, [c.123] даже более хитрыми преступниками, а не уменьшила количество совершаемых ими преступлений. Гипотеза ставит под сомнение адекватность операционализации зависимой переменной. Пока единственной мерой преступности является официальная регистрация арестов, вы не можете быть уверены в том, что ваши сомнения напрасны.

Один из способов проработки гипотезы (3) состоит в том, чтобы включать в операционализацию преступности сообщения о преступных действиях, полученные от самих несовершеннолетних, и проводить интервью до и после прохождения программы. Вам придется проводить интервью и с участвующими и с не участвующими в программе и для каждой группы включать информацию о семейной обстановке, для того чтобы обрести уверенность, что ваши результаты нельзя объяснить с помощью гипотез типа (1) и (2), сформулированных в терминах этого нового показателя преступности. Поступив таким образом, вы ввели не только новый момент наблюдения (предваряющее программу интервью), но и другой способ операционализации зависимой переменной.

Альтернативная гипотеза (4) вводит в исследование ось времени. Если вам нужно ее учитывать, придется проводить интервью и проверять регистрации преступлений как для участников программы, так и для контрольной группы не только через год после посещения тюрьмы, но и через два, а возможно, и через три года. Причина проведения последующих наблюдений за участниками программы должна быть очевидна, поскольку гипотеза (4) утверждает, что при определенных обстоятельствах участники программы становятся преступниками. Но необходимо также пронаблюдать и за контрольной группой, чтобы убедиться, что изменения показателей преступности участников программы в последующие годы не являются результатом воздействия других факторов, таких, как взросление, изменение семейных условий или ухудшение материального положения. Только в том случае, если в последующие годы показатели преступности у участников программы оказываются близкими к показателям преступности для неучастников на тот же момент времени (или даже более плохими), вы [c.124] можете сделать вывод, что программа оказалась неэффективной (или что она имела отрицательный эффект).

Этот краткий обзор нескольких возможных конкурирующих гипотез, способных поставить под сомнение ценность полученных результатов, позволяет разработать более детальную программу исследования, чем та, что предлагалась вначале. Если вы хотите получить возможность исключить те пять альтернативных интерпретаций результатов, полученных в ходе вашего исследования (а вы должны это сделать, чтобы ваше исследование имело какой-то смысл), вам придется перейти от одной-единственной операционализации зависимой переменной и от одного-единственного наблюдения к программе, включающей множество способов операционализации, множество методов сбора [c.125] данных и несколько наблюдений. Такая новая программа должна включать следующие основные этапы:

Анализируя данные, вы захотите сравнить количество арестов, количество осуждений и различия между количеством арестов и количеством осуждений для участников программы и контрольной группы; при этом необходимо внимательно следить за тем, чтобы исключать из контрольной группы тех ее членов, которые, будучи вначале отобранными для исследования, приняли затем участие в “операции по устрашению”. Используя при анализе данных, полученных в ходе этих наблюдений, подходящие статистические процедуры, вы должны суметь получить в высшей степени надежные выводы о ценности операции как средства, противодействующего преступности малолетних. Благодаря вашему умению исключить основные [c.126] конкурирующие гипотезы департамент юстиции штата сумеет вполне довериться вашим выводам, чего никак не могло бы случиться, если бы эти выводы основывались на первой программе исследования.

Обсуждение этого гипотетического исследования можно рассматривать как пример разработки адекватных программ. Составляя план для исследовательского проекта, вы следуете тому же ходу рассуждений, который мы наметили. Программа исследования – это процесс формулирования альтернативных конкурирующих гипотез и продумывания, какого рода наблюдения необходимы для проверки этих гипотез, так чтобы их нельзя было рассматривать в качестве объяснений возможных результатов.

Альтернативные конкурирующие гипотезы обнаруживаются так же, как и рабочие гипотезы. Они возникают в результате логического анализа теорий, касающихся событий, которые мы пытаемся объяснить. Действительную альтернативу составляет конкурирующая (соперничающая) гипотеза, предлагающая такие же взаимоотношения, как и наша основная гипотеза, но объясняющая их с точки зрения отличного причинно-следственного процесса. Важно не смешивать действительно альтернативную конкурирующую гипотезу с тем, что мы можем назвать “другие гипотезы”. Благодаря существованию множественности причинных связей в социальных явлениях очень часто мы сталкиваемся с тем, что любому явлению может быть найдено множество равно достоверных объяснений. Устанавливая другую причину изучаемых отношений, мы можем выдвинуть просто иную гипотезу, которая, возможно, ни в меньшей степени не будет конкурирующей с основной. Гипотеза является альтернативной конкурирующей гипотезой только [c.127] тогда, когда логически невозможно доказать, что и она, и основная гипотеза являются достоверными.

Выдвижение критической конкурирующей гипотезы – это преимущественно творческий процесс⁴. Не существует точных и строгих правил, гарантирующих установление всех конкурирующих гипотез, способных поставить под сомнение ценность вашего исследования. Процесс разработки программы для исследовательского проекта индивидуален для каждого исследования. Вы не можете просто выбрать подходящую программу из ограниченного набора альтернатив, как могли бы выбрать в обувном магазине пару туфель на полке с вашим размером. Существует, однако, несколько общих типов программ исследования, каждый из которых удобен для работы с определенной проблемой. Следующий раздел содержит обзор основных типов программ и введение в логику планирования исследования. Имея такую базу и разумное теоретическое и эмпирическое представление о соответствующем объекте, вы будете в состоянии разрабатывать собственные программы. [c.128]

Цель хорошей программы – дать возможность с максимально возможной степенью уверенности определить результаты воздействия одной переменной на другую. Программы исследования позволяют сделать это, давая возможность в некоторой степени контролировать условия, в которых взаимодействуют переменные. Такой контроль – ключевое понятие для программы. Если после добавления в рацион животных новых кормов какие-то животные на ферме заболевают, фермер не может быть уверен, что причиной болезни являются именно новые корма, так как в то же самое время животные могли пострадать от многих других факторов (например, инсектицидов в питьевой воде). С другой стороны, если в медицинской исследовательской лаборатории обнаруживается, что после введения в рацион новых кормов заболевает необычно большой процент наблюдаемых животных, исследователь скорее может быть уверен, что причина [c.128] болезни – новые корма, поскольку в этой ситуации имеется возможность контролировать условия содержания исследуемых животных и гарантировать, что в процессе наблюдения они не подвергаются воздействию никаких других новых факторов. Обстановка, в которой работает исследователь, в отличие от условий фермы дает возможность частичного контроля.

Для элементарной экспериментальной программы исследования требуется экспериментальная группа, состоящая из лиц, которые будут подвергнуты воздействию независимой переменной, или стимула, и контрольная группа лиц, которые сходны с экспериментальной группой во всех существенных аспектах, но не будут подвергаться воздействию стимула. Значение зависимой переменной в каждой группе измеряется до начала воздействия стимула в ходе так называемого предварительного тестирования (pretest) и затем еще раз после того, как экспериментальная группа подверглась воздействию стимула, в ходе контрольного тестирования (posttest). Вывод о влиянии стимула (независимой переменной) делается на основании сравнения оценок предварительного теста и контрольного теста для каждой группы. Чем больше различие в значениях между предварительным тестом и контрольным тестом в каждой группе, тем большее влияние приписывается независимой переменной. В [c.129] табл.4.1 изображена логическая структура экспериментальной программы исследования. Значение этой исследовательской программы состоит в том, что она позволяет достичь двух условий, облегчающих получение валидных каузальных выводов: сравнения и управления.

Чтобы обрести уверенность, что одна переменная оказывает причинное воздействие на другую, мы должны [c.130] располагать информацией, кто из обследуемых подвергался воздействию независимой переменной, а кто нет, так чтобы мы могли сделать необходимые сравнения. Классический эксперимент дает такую информацию, так как независимую переменную вводит сам исследователь. Ученый управляет обстановкой, окружающей обследуемых, так что причинное воздействие происходит не по воле случая. Кроме того, исследователь контролирует обстановку таким образом, чтобы гарантировать, что все другие возможные причины изменения зависимой переменной в течение времени воздействия независимой переменной на объекты исследования из эксперимента устранены.

Многие другие программы основаны на логической структуре классического эксперимента, однако в них имеются модификации, предназначенные специально для ученых. Их потребность в более тщательно разработанных программах в значительной степени объясняется тем, что (1) часто на объекты их исследования оказывает влияние сам процесс исследования (например, поведение людей может меняться, если они знают, что за ними наблюдают) и (2) объекты их исследования не статичны, а постоянно меняются (например, оценки людей могут варьироваться в зависимости от ситуации). Возможности учета этих фактов иллюстрируются на примере двух экспериментальных программ, разработанных Р.Л.Соломоном⁵.

Первая программа нацелена на один из аспектов проблемы реактивности – так называемый тест-эффект. Когда объекты эксперимента подвергаются предварительному тестированию, всегда существует возможность, что их оценка в контрольном тесте будет складываться как из реакции на стимул, так и из реакции на сам предварительный тест. Любое различие между оценками предварительного и контрольного тестов, возникающее исключительно в результате реакции на предварительный тест, известно под названием тест-эффекта. Если нам необходимо получить точную картину воздействия стимула на поведение, мы должны уметь удалять из оценок этот тест-эффект. Сделать это позволяет предложенная Р.Соломоном программа исследования с двумя контрольными группами, представленная в табл. 4.2. [c.131]

Итак, программа с двумя контрольными группами позволяет нам оценить и, как мы надеемся, исключить тест-эффект как альтернативное объяснение наблюдаемых изменений в оценках испытуемых. Существуют, однако, другие возможные причины изменения оценок [c.132] зависимой переменной в группах в контрольном тесте по сравнению с предварительным. Одна из причин – воздействие внешних факторов, находящихся вне контроля экспериментатора. Другая причина – естественные изменения, происходящие с испытуемыми вне связи с экспериментом (такие, как старение, изменения в ходе длительных экспериментов или умственное утомление). Воздействие таких посторонних факторов можно оценить (и тем самым исключить в качестве конкурирующего объяснения результатов эксперимента), используя программу Р. Соломона с тремя контрольными группами (см. табл. 4.3).

В этой программе добавлена третья контрольная группа, не получающая ни предварительного теста, ни стимула. Любое различие между оценками предварительного и контрольного тестов в этой группе может возникать только за счет влияния посторонних факторов. Если мы способны вычесть это различие из результата эксперимента, значит, мы способны устранить результаты воздействия посторонних факторов и изменения, которые происходят в результате такого воздействия у испытуемых; и мы можем надеяться исключить альтернативную гипотезу, состоящую в том, что именно эти воздействия, а не независимая переменная были причиной изменения оценки в экспериментальной группе от момента 1 до момента 3. [c.133]

Трудность состоит в том, что контрольная группа 3 не подвергалась предварительному тесту. Как же определить, насколько изменились оценки этих испытуемых с момента 1 до момента 2? Если все наши группы в основном сходны между собой, мы можем считать, что их оценки в предварительном тесте должны были быть очень близки, и просто приписать контрольной группе 3 в предварительном тесте оценку, равную усредненным оценкам экспериментальной и первой контрольной групп. Тогда мы можем вычесть эту оценку из оценки контрольной группы 3 в контрольном тесте, чтобы получить меру изменения, возникающего вследствие воздействия посторонних факторов и естественных изменений, происходящих с испытуемыми. Устранив и это изменение, мы можем более отчетливо увидеть результаты воздействия независимой переменной на зависимую. [c.134]

Как фактически добиться устранения различий между членами разных групп? Существует три подхода к формированию групп. Во-первых, это точный подбор соответствий. Определив, какие характеристики могли бы оказать воздействие на реакцию испытуемых в отношении независимой переменной, мы отбираем для эксперимента ряд испытуемых. Для каждого выбранного испытуемого в состав контрольной группы подбирается другой испытуемый, [c.134] имеющий то же самое сочетание релевантных характеристик. В результате возникает две группы, тождественные с точки зрения характеристик, которые могли бы повлиять на их реакцию в эксперименте. В идеале их оценки в предварительном тесте должны быть очень близки, и мы можем использовать степень близости, реально установленную в ходе предварительного теста, чтобы оценить свои усилия по достижению соответствия.

Второй метод – метод контроля за частотным распределением. В этом случае мы не проводим сопоставление каждого испытуемого с каким-либо другим по всем характеристикам. Вместо этого испытуемые распределяются по группам таким образом, чтобы было гарантировано наличие в каждой группе одних и тех же средних характеристик и одинаковое распределение каждой характеристики. Может так случиться, что не найдется двух испытуемых с одинаковым набором характеристик пола, возраста, расовой принадлежности и профессии, однако каждая группа будет характеризоваться одним и тем же количеством мужчин и женщин, одинаковым средним возрастом и т. п. Более того, группы будут характеризоваться очень близким распределением этих характеристик среди их членов. [c.135]

Третий метод формирования групп более гибок по сравнению с точным подбором соответствий. Это метод рандомизации. Испытуемый, выбранный из списка всех подходящих испытуемых, включается в группу посредством некоторого случайного процесса, например с помощью таблицы случайных чисел. Настоящая рандомизация не может быть достигнута с помощью процедур, имеющих случайный характер (вроде того, чтобы отобрать первых 30 человек, выразивших желание участвовать в эксперименте, в экспериментальную группу, а следующих 30 – в контрольную).

Рандомизация имеет большое преимущество, создавая у нас чувство уверенности, что все наши группы сходны между собой во всех отношениях, а не только с точки зрения переменных, которые мы считаем релевантными для эксперимента, поскольку при отборе большого числа испытуемых случайное распределение по группам гарантирует нейтрализацию различий между испытуемыми. Таким образом, рандомизация позволяет исключить любую альтернативную конкурирующую гипотезу, утверждающую, что наблюдаемые результаты объясняются какими-то систематическими различиями между группами, она [c.136] является ключом к успешным лабораторным экспериментам. Детально процедуры случайного выбора объектов обсуждаются в гл.5. [c.137]

Политологи по характеру своей деятельности редко работают в лабораториях. Они скорее наблюдают события в естественной обстановке, где меньше возможности контролировать факторы, которые могли бы повлиять на результаты исследования. В тех случаях, когда исследователи могут управлять независимой переменной и контролировать реакцию испытуемых, но не в состоянии контролировать другие аспекты ситуации, они могут проводить полевые эксперименты. В этих исследованиях используется экспериментальная программа, в которой испытуемые систематически распределяются на экспериментальную и контрольную группы. Примерами полевых экспериментов являются различные эксперименты по “отрицательному подоходному налогу”, проводимые в США⁶. Эти исследования использовались для измерения воздействия автоматических благотворительных выплат в форме отрицательного подоходного налога на образ жизни и усердие в работе, характеризующие испытуемых. Исследователи могли контролировать, кто из испытуемых получил выплаты в виде отрицательного подоходного налога, но они не могли проконтролировать другие релевантные аспекты ситуаций, в которых находились испытуемые. Например, исследователи не могут гарантировать сохранение здоровья и семейного статуса испытуемого или возможность получить работу в данном месте. Такое положение создавало трудности при отделении воздействия благотворительных выплат от других возможных причин изменений в поведении испытуемых, однако оно имело явные преимущества, позволяя осуществить проверку воздействия отрицательного подходного налога на практике. Лабораторный эксперимент, даже если бы его можно было организовать, не был бы столь же успешным, так как нельзя быть уверенным, что результаты, полученные в таких искусственных условиях, точно отражают то, что происходит в окружающем мире. И это – главное преимущество [c.137] полевых экспериментов перед лабораторными исследованиями.

В неэкспериментальных исследованиях ученые не в состоянии контролировать ни распределение испытуемых по экспериментальным группам, ни распространение независимой переменной, не могут они получить и предварительные оценки для зависимой переменной. Они могут быть вынуждены использовать то, что называют программой постфактум, в которой одно-единственное наблюдение осуществляется после того, как произошло предполагаемое каузальное событие. Иногда может добавляться “контрольная группа” сходных испытуемых, не подвергавшихся воздействию независимой переменной, и различия в оценках двух групп связываются с воздействием независимой переменной. Однако такие программы не позволяют делать надежные выводы относительно [c.138] воздействия независимой переменной, так как не дают возможности исключить даже самые простые альтернативные гипотезы. Например, мы не можем быть уверены даже в том, что значение зависимой переменной, наблюдаемое после воздействия независимой переменной, хоть в какой-то степени отличается от значения зависимой переменной до этого воздействия. Неэкспериментальные программы подходят только для описательных или поисковых, а не для объяснительных исследований. [c.139]

Большинство исследовательских программ, используемых политологами, можно определить как квазиэкспериментальные. В этих исследованиях невозможно контролировать воздействие независимой переменной или условия, при которых оно происходит, однако исследователи пытаются имитировать экспериментальную программу, либо собирая дополнительные данные, либо используя методы анализа данных. Правильно составленные квазиэкспериментальные программы дают такую возможность, как если бы были использованы все контрольные характеристики настоящего эксперимента; они являются надежной логической основой для получения причинных выводов.

Возможно, наиболее простым типом квазиэкспериментальных программ в политологии является эксперимент ех post facto. В ходе этого эксперимента исследователи осуществляют одно наблюдение и собирают данные о независимой и зависимой переменных и обо всех других переменных, которые, по их мнению, следует контролировать. Если, например, мы хотим изучить воздействие высшего образования на поведение избирателей, мы можем провести исследование на случайно выбранных испытуемых. Затем мы анализируем наши данные, чтобы определить, действительно ли люди, сходные в других отношениях (например, сточки зрения расовой принадлежности, пола, возраста, места жительства), но имеющие разный уровень образования, голосуют по-разному. Для этого существуют более тонкие статистические методы, но проще всего рассортировать наших респондентов по таблицам взаимной сопряженности признаков, так чтобы можно было исследовать соотношение между образованием и участием в выборах в разных категориях [c.139] других переменных, рассматривая, например, только женщин или только мужчин, которые посещали или не посещали колледж.

Бывают ситуации, когда мы не можем воспользоваться случайной выборкой и не можем подобрать сравнимые контрольные группы. Это происходит в том случае, если количество наших единиц анализа невелико или они уникальны с точки зрения многих релевантных аспектов. Примером может служить ситуация, когда городские власти хотят узнать результат воздействия административной реорганизации на стоимость муниципальных услуг. Чтобы ответить на этот вопрос, политологам следует использовать другую распространенную программу, известную как программа измерения временного ряда.

В программах измерения временного ряда исследователь делает несколько наблюдений как до, так и после введения некоторого каузального явления и сравнивает значения зависимой переменной до и после такого введения. В нашем примере политологи могли бы использовать городские архивы для сравнения стоимости муниципальных услуг на душу населения до и после административной реорганизации. (Им придется учитывать расходы на душу населения и следить за инфляцией, чтобы исключить возможность воздействия на эту стоимость увеличившегося населения города [c.140] или роста цен независимо от влияния реорганизации.) Рис.4.1, 4.2, 4.3 иллюстрируют некоторые возможные результаты такого исследования.

Рис.4.1 иллюстрирует данное рассуждение. Если данные оказываются такими, как представлено на этом рисунке, городские власти с радостью обнаружат, что реорганизация не только уменьшила расходы служб, но также коренным образом изменила тенденцию в направлении устойчивого снижения расходов. Результат воздействия реорганизации в любом данном году может быть измерен в виде разницы между значением, предсказанным для [c.141] данного года на основе первоначальной тенденции, и наблюдаемым значением. Согласно рис.4.1, для 1995 г. результат воздействия реорганизации на расходы служб составляет 50 долларов. Если данные оказываются такими, как показывает рис.4.2, предсказываемые и наблюдаемые значения будут совпадать и можно будет считать, что реорганизация не оказала воздействия на расходы. Рис.4.3 иллюстрирует случай, когда реорганизация вначале уменьшила расходы, но не повлияла на тенденцию. В то время как рис.4.1 демонстрирует, что общий результат реорганизации за четыре года составил 325 долларов, рис.4.3 демонстрирует результат лишь в размере 25 долларов.

В некоторых случаях тенденция, с которой мы имеем дело, не так отчетлива и устойчива, как в данном примере. Пусть, например, городская полиция, озабоченная ростом количества арестов за проституцию, организует кампанию по борьбе с этим явлением и затем хочет узнать, насколько она была успешна. Рис.4.4 демонстрирует, какого рода данные могли быть собраны на протяжении десятилетнего периода. Значения зависимой переменной (аресты за проституцию) [c.142] в разные годы на протяжении указанного периода то возрастают, то уменьшаются. Задача исследователя – определить, есть ли существенное отличие между общей тенденцией, следующей за проведенной кампанией, и общей тенденцией, предшествующей проведению кампании. Один из способов решить эту задачу заключается в сравнении среднегодового количества арестов за проституцию в годы, предшествующие кампании и следующие после нее. (Среднее количество арестов в том и другом случаях равно в данном примере девяти.) Если мы будем считать, что без проведения кампании тенденция осталась бы прежней, то различие между двумя средними значениями можно использовать как показатель воздействия кампании на уровень арестов за проституцию. Другой способ – сравнить линии тенденций (представленные на рис.4.4 пунктирной линией), проходящие через разбросы значений зависимой переменной в период до кампании и после нее, чтобы определить, различаются ли общие тенденции.

Этот пример иллюстрирует одно из важных достоинств программ измерения временного ряда. Если мы отмечаем количество арестов только в 1994 и 1996 гг. (как в типичном [c.143] исследовании “до введения стимула – после введения стимула”), мы можем сделать вывод, что полицейская кампания уменьшила количество арестов за проституцию. Однако данные измерений временного ряда позволяют увидеть, что падение числа арестов с 1994 по 1996 г. – нормальная флуктуация относительно общей тенденции (представленной пунктирной линией), которая остается не затронутой полицейской акцией.

Помимо сильной стороны, программы измерения временных рядов имеют и свою слабую сторону. Во многих случаях у нас нет контрольной группы, и поэтому мы не можем с уверенностью сказать, каковы результаты воздействия независимой переменной, так как не знаем точно, каким было бы значение зависимой переменной в отсутствие независимой переменной; мы можем лишь предполагать, что исходная тенденция сохранится. Однако по многим причинам это может оказаться ошибкой. Одна из наиболее важных причин (в терминологии Д.Кэмпбелла и Дж.Стэнли) – регрессия к среднему⁷. Это явление ставит под сомнение валидность выводов, сделанных на основании многих исследовательских программ. [c.144]

В нашем последнем примере полиция провела кампанию из-за исключительно большого числа арестов за проституцию. Такое положение было отклонением от нормы для данного города, и оно могло бы исправиться само по себе, даже если бы полиция ничего не предпринимала. Чтобы исключить регрессию в качестве альтернативного объяснения, можно применить программу контролируемых временных рядов.

В программе контролируемых временных рядов мы собираем данные об объекте или множестве объектов, которые во всех существенных отношениях сходны с исследуемым объектом или группой объектов, но не подвергались воздействию независимой переменной; и этот объект или группа объектов используется в качестве контрольных при оценке результатов воздействия независимой переменной. В нашем примере можно выбрать один или несколько городов, очень похожих на тот, в котором проводилась кампания по борьбе с проституцией (притом что в этих городах политика в отношении проституции не менялась), и посмотреть количество арестов за те же самые годы. Рис.4.5 демонстрирует некоторые возможные результаты. Сравнивая исследуемый город (в котором проводилась кампания) с группой похожих городов, мы можем заметить, что в отличие от изменившейся тенденции динамики арестов за проституцию в обследуемом городе в период до 1995 г. среднее количество арестов в контрольных [c.145] городах резко возрастает. Это наводит на мысль, что, хотя кампания по борьбе с проституцией не смогла изменить тенденцию, характерную для обследуемого города, она, возможно, предотвратила воздействие тех событий, которые вызвали рост числа арестов в других городах, похожих на данный. В этом случае мы используем различие между показателями для обследуемого города в период после кампании и показателями для контрольных городов в том же году в качестве меры воздействия независимой переменной, исходя из предположения, что, если бы не действия полиции, ситуация в обследуемом городе складывалась бы так же, как и в остальных, похожих на него городах. Например, в 2000 г. воздействие кампании расценивалось как два ареста на тысячу жителей.

В данном примере применение более строгой программы исследований уберегло бы нас от явно [c.146] неверного вывода, что программа, послужившая в качестве эффективного сдерживающего средства, не оказала никакого влияния. [c.147]

С эмпирическим исследованием связано два основных типа валидности: внутренняя валидность и внешняя валидность. Внутренняя валидность имеет отношение к надежности логического базиса, предоставляемого программой для осуществления вывода о том, вызывает ли независимая переменная изменение зависимой переменной. Вопрос о внутренней валидности – это вопрос типа:

“Имеется ли в программе исследования нечто такое, что позволит отнести причинное воздействие за счет независимой переменной (тогда как она такого воздействия не оказывает) либо не даст возможности установить наличие причинного воздействия, оказываемого независимой переменной?” Например, если имеется значительный тест-эффект, связанный с использованием некоторого определенного измерения, любая программа, не дающая возможности контролировать этот тест-эффект, не будет обладать внутренней валидностью, поскольку может вынудить нас ошибочно проинтерпретировать изменения, [c.147] вызванные тест-эффектом, как доказательства причинного воздействия независимой переменной. Внешняя валидность имеет отношение к возможности обобщения полученных результатов. Есть ли у нас основания надеяться на обнаружение тех же самых причинных воздействий в других условиях? Дает ли исследование возможность понять что-либо относительно той части действительности, которая в нем не представлена? Например, полевой эксперимент, в котором изучается воздействие на пользование автомобилем повышения цен на бензин (в размере доллара на галлон), не обладает внешней валидностью, если он приводится в группе, где среднегодовой доход семьи превышает 100 000 долларов, поскольку нельзя надеяться на то, что так же будут вести себя люди со средним и низким доходом. [c.148]

К числу основных факторов, представляющих собой угрозу как для внутренней, так и для внешней валидности, относятся следующие⁹.

1. История: события, отличные от проявлений независимой переменной, которые могут изменить оценки контрольного теста и происходят в промежутке между предварительным и контрольным тестами. Например, широковещательные заявления политического лидера могут изменить отношение испытуемых вне зависимости от некоторой долгосрочной обработки, которой они подвергаются в ходе эксперимента.

2. Развитие: естественные изменения, происходящие с испытуемыми, которые с течением времени оказывают влияние на оценки зависимой переменной вне всякой связи с независимой переменной (например, утомление, рост популяции в регионах, подвергающихся анализу, физическое старение).

3. Нестабильность: случайные изменения в зафиксированных значениях, возникающие вследствие ненадежных измерений, несоответствующего выбора испытуемых или по другим причинам. [c.148]

4. Тестирование: описанный в данной главе тест-эффект.

5. Инструментарий: различия в используемых средствах измерения, которые создают вариации в оценках, не связанные с воздействием независимой переменной (например, разные точки зрения у интервьюеров, плохо отрегулированный прибор, недостаточно точное кодирование).

6. Артефакты регрессии: изменения, происходящие в результате регрессии к среднему, обсуждавшемуся в данной главе.

7. Отбор: различия в оценках, возникающие в результате дифференцированного подхода к формированию экспериментальной и контрольной групп (например, в том случае, когда члены экспериментальной группы подвергаются воздействию независимой переменной в законном порядке, а члены одной из контрольных групп идут на это добровольно).

8. Смертность в эксперименте: разные уровни потерь испытуемых в экспериментальной и контрольной группе. (Например, те объекты, благодаря которым контрольная группа в целом реагирует на независимую переменную так же, как экспериментальная группа, могут выбыть из эксперимента до контрольного теста.)

9. Взаимодействие отбора и развития: непоследовательное проведение процессов отбора, которое ведет к разному уровню развития в экспериментальной и контрольной группах. (Например, в “операции по устрашению” испытуемые экспериментальной группы могут быть старше, так как они изъявили желание участвовать в программе лишь после ряда арестов в качестве малолетних правонарушителей, и они, таким образом, могут перерасти преступность несовершеннолетних скорее, чем более юная контрольная группа.)

1. Взаимодействие результатов тестирования: оценки в контрольном тесте испытуемых, прошедших предварительное тестирование, могут быть сочтены непредставительными для совокупности, не прошедшей предварительный тест, в силу того, что предварительный тест [c.149] определенным образом повысил чувствительность испытуемых к независимой переменной.

2. Взаимодействие отбора и проведения эксперимента: в результате непоследовательно проведенного отбора может быть сформирована экспериментальная группа, реагирующая на независимую переменную иначе, чем генеральная совокупность.

3. Реактивное воздействие обстановки эксперимента: условия эксперимента могут быть нерепрезентативны с точки зрения условий окружающего мира.

4. Интерференция нескольких исследований: при одновременном осуществлении более чем одного исследования могут возникнуть изменения, отличные от тех, которые возникли бы, если бы каждое исследование проводилось отдельно.

5. Нерелевантные данные измерений: все измерения отражают многообразные аспекты окружающей действительности, в число которых могут входить нерелевантные компоненты, создающие видимость изменений при отсутствии таковых или маскирующие реальные изменения.

6. Нерелевантные повторения исследований: в том случае, когда независимые переменные являются сложными событиями (таковы, например, посещение тюрьмы в примере с “операцией по устрашению” или высшее образование), исследователи могут не знать, какой из аспектов события вызывает изменение в объектах исследования, и по ошибке не включить релевантный аспект независимой переменной во все экспериментальные предъявления.

И последнее соображение относительно программы исследования. Оно касается возможного в ходе осуществления программы нарушения профессиональной этики. Не будет ли нанесен кому-либо какой-нибудь ущерб? Если да, то насколько серьезный? Не слишком ли это дорогая цена за ту пользу, которая может быть принесена обществу? Каждый ученый должен ответить на эти вопросы в соответствии со своими ценностными ориентациями и принятыми в его профессии нормами. В приложении Б перечисляются рекомендуемые этические нормы проведения исследований, одобренные в ведущих профессиональных ассоциациях политологов и социологов. Единственный руководящий принцип, который мы можем предложить для решения такого рода проблем, – это еще раз высказать наше убеждение, что наука существует не сама по себе, а является инструментом, служащим человечеству. [c.151]

Вопросы, касающиеся программы исследования, обсуждаются в ряде общих работ, посвященных методам исследования в социальных науках. К таким работам можно отнести кн.: Ваbbiе Е. The Practice of Social Research, 5 ed. – Beltmont, Calif.: Wadsworth, 1989; Miller D.C. Handbook of Research Design and Social Measurement, 5 ed. – Newbury Park, Calif.: Sage, 1991; Nachmias D.,Nachmias Ch. Research Methods in the Social Science, 3 ed. – NewYork: St.Marotin's, 1987. Большой популярностью пользуется работа: Cook Th.D., Сampbеll D.Т. Quasi-Experimentation. – Chicago: Rand McNally, 1979.

Асlаnd H. Are Randomised Experiments the Cadillacs of Design? // Policy Analysis. – Vol.5. – 1979, Spring. Более подробный анализ программы исследования можно найти в: Вlаlосk H.M., Jr. (ed.) Causal Models in Panel and Experimental Designs. – N.Y.: Adline, 1985. Еще ряд хороших примеров исследовательских программ см. в: Tufte E.R. Quantitative Analysis of Social Problems. – Reading (Mass.): Addison-Wesley, 1970. Удачное использование программы измерения временного ряда представлено в: Imring F.Е. Firearms and Federal Law; The Gun Control Act of 1968. // Journal of Legal Studies. – Vol.4. – 1975, January. – P.133-198. [c.152]

НАЗАД    ОГЛАВЛЕНИЕ   ВПЕРЕД