Научная электронная библиотека

Монографии, изданные в издательстве Российской Академии Естествознания

СОВЕРШЕНСТВОВАНИЕ УПРАВЛЕНИЯ РАЗВИТИЕМ МУНИЦИПАЛЬНОГО ОБРАЗОВАНИЯ

Цвикилевич А. В.,

3.2. Методика оценки воздействия муниципальных программ на развитие муниципального образования

Программа развития муниципального образования - это система практических действий по эффективному управлению муниципальным об­разованием, которая влечет за собой реальный, ощутимый эффект. Следо­вательно, его можно и нужно «наблюдать» и измерять. Как правило, му­ниципальные программы направлены на предоставление конкретных благ конкретным людям, группам людей, населению муниципального образова­ния. Поэтому оценивать успешность программ развития можно, опираясь на вполне объективные параметры.

Согласно определению из литературных источников, оценка считается комплексной, если она включает в себя мониторинг, а также оценку процес­са, оценку «затраты-выгоды» и оценку воздействия. Однако эти составляю­щие имеют четкие различия. Мониторинг (monitoring) помогает определить, не отклоняется ли программа от плана. Он обеспечивает постоянную об­ратную связь, что позволяет выявлять проблемы по мере их возникновения. Оценка процесса (process evaluation) относится к процессам осуществления программы и предоставления соответствующих услуг. Оценка «затраты-выгоды» (cost-benefi t) и «затраты-эффективность» (cost-effectiveness) сопо­ставляет затраты по программе (финансовые и пр.) с альтернативными воз­можностями использования тех же ресурсов и соответствующими выгодами от программы. И, наконец, оценка воздействия (impact evaluation) выявляет, оказала ли программа ожидаемое воздействие на людей, домохозяйства или институты и дало ли это мероприятие необходимый эффект. Оценка воздей­ствия позволяет также анализировать побочные последствия, положитель­ные и отрицательные, для бенефициаров (получателей выгод).

Особое значение представляет определение того, в какой степени эти выгоды оказываются достижимыми для бенефициаров и как эти выгоды воздействуют на их благосостояние. Среди вопросов, которые ставит пе­ред собой оценка воздействия, могут быть следующие: как проект повли­ял на бенефициаров? Были ли наблюдаемые улучшения прямым результа­том проекта или они произойти бы в любом случае? Можно ли повысить эффективность программы путем внесения в нее каких-либо изменений? Обоснованы ли затраты?

На эти вопросы нельзя ответить простым измерением итогов про­граммы. Ведь в ситуации могут присутствовать другие факторы или со­бытия, коррелирующие с результатом, но не вызванные программой. Для обеспечения методологической строгости оценка воздействия должна охва­тывать так называемую «гипотетическую альтернативную ситуацию или сценарий», «предположение от обратного» (determining the counterfactual), т. е. «то, что было бы в отсутствие программы».

Чтобы получить представление о гипотетическом альтернативном сценарии, необходимо отделить эффект воздействия от других факторов, что представляет собой довольно сложную задачу. Для этого используют­ся контрольные группы (control groups), т. е. группы тех, кто не участвует в программе и не получает помощи.

Получить представление о гипотетической альтернативной ситуации можно несколькими методами, которые подразделяются на две общие кате­гории: экспериментальные (рэндомизированные) и квазиэксперименталь­ные (нерэндомизированные) подходы.

Тем не менее, довольно сложно отделить воздействие программы от такой ситуации из-за различий в предыстории, смещений и ошибок выбор­ки. Для оценки воздействия можно также использовать качественные мето­ды, или методы с вовлечением бенефициаров. Они часто дают возможность критически взглянуть на процесс с позиции бенефициаров, увидеть, какова ценность программы для ее участников, какие процессы могут влиять на результат и, таким образом, более корректно интерпретировать данные ко­личественного анализа.

Сильные и слабые стороны каждого из этих методов более подробно рассмотрены ниже. Ни один из методов не является идеальным, и потому окончательное решение о выборе наиболее подходящего из них должен при­нимать специалист по оценке. Однако заблаговременное и тщательное плани­рование даст больше вариантов при разработке схемы и стратегии оценки.

Экспериментальные подходы

Экспериментальные подходы, также называемые «рэндомизацией», обычно считаются наиболее надежной и обоснованной методикой оценки. При случайном распределении сам процесс создает экспериментальные и контрольные группы или объекты, сравнимые и статистически эквивалент­ные при достаточном объеме выборки. Это очень важный результат, посколь­ку контрольные группы или объекты, составленные с помощью случайной выборки, обеспечивают идеальную «гипотетическую ситуацию», свобод­ную от смещения выборки (эта проблема присутствует во всех оценках). Основное преимущество этой методики заключается в простоте интерпре­тации данных, так как воздействие программы измеряется разницей между средними показателями в экспериментальной и контрольной группах.

Хотя экспериментальные подходы считаются оптимальным инстру­ментом при оценке воздействия программ, их практическое применение сопряжено с некоторыми проблемами. Во-первых, рэндомизация (процесс формирования случайной выборки) может оказаться неэтичной, так как она требует отказа в предоставлении помощи и услуг тем, кто нуждается в них и имеет на них право. В качестве крайнего (экстремального) примера мож­но привести отказ некоторым членам в лечении, которое потенциально мог­ло бы спасти им жизнь. Во-вторых, предоставление выгод одной группе и отказ по отношению к другой могут оказаться политически опасными. В-третьих, программа может быть столь широка, что получают выгоды все и контрольной группы просто не может быть. В-четвертых, у членов кон­трольной группы во время эксперимента возможны изменения некоторых ключевых характеристик, что сделает затруднительным получение адекват­ных и «чистых» результатов. В-пятых, трудно обеспечить по-настоящему случайный характер распределения выгоды от программы. И, наконец, при некоторых обстоятельствах экспериментальные подходы могут быть трудо­емкими и дорогостоящими, особенно при сборе новых данных.

При использовании экспериментального подхода некоторые из этих проблем можно решить, благодаря тщательному планированию. Один из способов - случайный отбор бенефициаров. Это обеспечивает создание политически прозрачного механизма распределения и одновременно осно­ву грамотного плана оценки, поскольку бюджетные или информационные ограничения часто делают невозможным точно выявить тех, кто имеет наи­большее право на помощь, и оказать им эту помощь. Второй способ - ис­пользовать контрольные группы на более поздней стадии программы, по­сле того как план оценки уже разработан и сама оценка уже началась. Этот метод случайной выборки определяет, когда именно получат помощь те, кто имеет на это право (в отличие от определения того, получают ли они ее вообще). И, наконец, рэндомизация может быть применена в подвыборке из группы людей, имеющих одинаковое право на выгоды от программы.

Квазиэкспериментальные подходы

Когда невозможно создать контрольные и экспериментальные группы посредством экспериментального подхода, для оценки можно использовать квазиэкспериментальные (нерэндомизированные) подходы. С помощью эконометрических методов создаются контрольные группы, напоминаю­щие экспериментальные (по крайней мере, в отношении наблюдаемых ха­рактеристик). Примеры:

• метод отбора по подобию - метод формирования контрольной группы из тех, кто не участвует в проекте, но наиболее близок по ключе­вым переменным к экспериментальной группе;
• методы двойных различий- метод учета различий между различия­ми, метод анализа результативности программы, когда сравниваются раз­личия, имевшие место в экспериментальной и контрольной группах за вре­мя реализации программы;
• методы, основанные на использовании инструментальных перемен­ных и рефлексивных сравнений (таблица 7).

При использовании этих методов экспериментальная и контрольная группы обычно выбираются после осуществления программы, причем вы­бираются неслучайным образом. Поэтому для достижения максимально­го подобия между контрольной и экспериментальной группами различия между ними должны устраняться с помощью статистических мер контро­ля и/или сложных методов отбора по подобию. В некоторых случаях кон­трольная группа также выбирается до реализации программы, хотя ее вы­бор не является рэндомизированным.

Главное преимущество квазиэкспериментальных подходов в том, что они позволяют использовать существующие данные и поэтому требуют меньше времени и средств. При наличии достаточных данных их можно применять после проведения программы.

Главные недостатки квазиэкспериментальных подходов заключают­ся в следующем:

а) надежность результатов часто невысока, поскольку методологияменее строга в статистическом плане;

б) методы могут быть статистически сложными;

в) существует проблема смещения выборки.

При создании контрольной группы (в отличие от случайной выбор­ки) на надежность результатов может повлиять множество факторов. Слож­ность статистических методов требует высокой квалификации при разра­ботке плана оценки, анализе и интерпретации результатов. Это не всегда возможно, особенно в условиях, характерных для некоторых развивающих­ся стран.

Третья проблема - смещение, или отклонение (bias). Под «смеще­нием» (bias) обычно понимается разность между данной величиной и сред­ним значением некоторого набора величин или степень отклонения данных в наборе от случайного распределения. Эта проблема связана с тем, что сте­пень участия в программе неодинакова для различных подгрупп; это влияет на выборку и в конечном счете на результаты.

Существует два типа смещения: смещение из-за различий в том, что подлежит наблюдению, т. е. различий в данных, и смещение из-за различий в ненаблюдаемых факторах (не в данных). Последнее часто называют сме­щением выборки.

Смещение выборки относится к ненаблюдаемым факторам (напри­мер, индивидуальные способности, ранее существовавшие условия и т. д.), которые могут привести к искажению результата. Рэндомизированные экс­перименты решают проблему смещения посредством контрольной группы, сформированной из тех, кто мог бы участвовать в программе, но кому на случайной основе было отказано в доступе к ней. Случайное распределе­ние помощи не устраняет смещения, но равномерно распределяет его меж­ду участниками и неучастниками программы. В квазиэкспериментальных схемах статистические модели (например, метод отбора по подобию, метод двойных различий, метод инструментальных переменных) приближаются к этому результату путем моделирования процесса выборки, чтобы, даже используя неэкспериментальные данные, получить несмещенную оценку. Общая идея - сравнить участников и неучастников программы, исполь­зуя один и тот же процесс их отбора. Достоверность этой модели зависит от того, насколько хорошо она определена.

Хорошим примером может служить ситуация с оценкой зарплаты женщин. Имеющиеся данные относятся к категории женщин, которые для себя сделали выбор - работать. Если бы решение об использовании этих данных было принято, то мы могли бы игнорировать тот факт, что не вся информация о заработках собрана, и применить в модели формирования оплаты труда линейную регрессию. Однако решение работать принима­ется женщинами не случайно: возможно, те из них, кто получил бы низ­кие заработки, предпочтут не работать, поскольку они оценивают свой ожидаемый заработок выше, чем им предлагают работодатели. По этой причине выборка, составленная на основе этих имеющихся данных, была бы смещена вверх по сравнению с реально существующими заработками женщин.

Можно внести соответствующую поправку, если существуют перемен­ные, оказывающие сильное влияние на возможные наблюдения (ожидаемая заработная плата), но не на изучаемый результат (фактически предлагаемая за­работная плата). Такой переменной могло бы быть количество детей в доме.

Наблюдаемое смещение может быть обусловлено критериями, ис­пользуемыми для формирования выборки (например, географическое по­ложение, посещение школы или присутствие на рынке труда).

Ненаблюдаемые факторы, которые способны повлиять на результат программы, могут включать индивидуальные способности, степень жела­ния работать или семейные связи, а также субъективный (часто политиче­ски мотивированный) уклон в процессе отбора участников программы.

Оба типа смещения могут исказить результаты, включая недооцен­ку и переоценку фактического воздействия программы, негативную оценку при реальном положительном эффекте (и наоборот) или признание воздей­ствия статистически незначимым при его реальной статистической значи­мости (и наоборот).

Можно контролировать смещение статистическими методами, такими как метод сравнения по подобию (схожести) - метод сравнения эксперимен­тальной и контрольной группы (отобранной на основе эконометрических методик, например показателей уравнений регрессии, на основе более ши­роких исследований, например бюджетных), или метод инструментальных переменных, но полностью устранить смещения очень трудно, что является большой проблемой для исследователей в области анализа воздействия.

Среди методов, применяемых в рамках квазиэкспериментальных подходов, второй наилучшей альтернативой экспериментальным, вообще говоря, считается метод сравнения по подобию.

Литература по методологии оценки большей частью посвящена ис­пользованию именно этого метода, что отражает как частоту его применения, так и большое количество трудностей, вызванных далеко не идеальны­ми контрольными группами. В последние годы произошло существенное развитие метода отбора подобного по склонности (вероятности) - метод формирования контрольной группы с использованием показателей уравне­ния регрессии, рассчитанного для экспериментальной группы.

Этот метод привлекателен для специалистов по оценке, работающих в условиях ограниченного времени и не имеющих базовых (исходных) дан­ных, поскольку он может быть использован с единичным срезом данных. Но его результаты зависят от наличия правильных данных, так как он осно­вывается на избыточной выборке из числа участников программы в про­цессе полевой стадии более масштабного исследования, а затем на сравне­нии их по подобию с контрольной группой, также отобранной из большой выборки, часто из общенациональных обследований домохозяйств.

Поскольку крупные обследования в развивающихся странах прово­дятся все чаще (например, Многоцелевое обследование уровня жизни - Living Standard Measurement Studies, LSMS), то этот метод оценки выглядит весьма перспективным.

Краткая характеристика количественных методов, используемых при оценке воздействия программ представлена в таблице 7.

Табл. 7 Количественные методы, используемые при оценке воздействия программ

 

Табл. 7.1

Качественные методы

Качественные методы также применяются для оценки воздействия, однако причинно-следственные связи определяются не через гипотетиче­скую альтернативную ситуацию. Главное в качественных методах - по­нять, как изучаемые объекты воздействия воспринимают происходящие процессы, их реакция и условия.

Качественные методы, особенно наблюдение участников, могут рас­крыть, как домохозяйства и местные сообщества воспринимают програм­му, и какое влияние он на них оказывает. Поскольку ключевым элементом анализа воздействия является анализ гипотетической альтернативной ситу­ации, качественные подходы обычно комбинируют с другими методами.

Качественный подход использует сравнительно «открытые» методы в составлении схемы сбора данных и при их анализе. Качественным дан­ным можно дать также количественное выражение.

Среди методик качественной оценки воздействия есть такие, что предназначены для проведения экспресс-оценок в сельской местности. Они основываются на знаниях участниками окружения проекта или про­граммы, по которым проводится оценка.

Также используются методики, при которых предусмотрено широкое участие всех заинтересованных сторон на всех этапах проведения оценки, при определении цели исследования, выявлении и отборе тех показателей, что будут использоваться, а также сборе и анализе данных. Подробный ана­лиз методов, предусматривающих участие общественности, см.: The World Bank Participation Sourcebook. Washington, DC: World Bank, 1996.

Преимущества качественной оценки заключаются в гибкости мето­дики и возможности ее адаптации к конкретной ситуации, в ее «открыто­сти» и быстроте проведения. Использование качественных методов дает более глубокое понимание позиций всех заинтересованных сторон и си­стемы их приоритетов, а также условий и процессов, влияющих на воздей­ствие программы.

Среди недостатков следует отметить субъективность при сборе дан­ных, отсутствие сравнительной (контрольной) группы и статистическую недостоверность ввиду небольших объемов выборки, что затрудняет экс­траполяцию выводов на более репрезентативную совокупность (популя­цию). Обоснованность и надежность качественных данных в большой мере зависят от квалификации и интуиции специалиста, проводящего оценку. Если полевые работники не понимают какие-либо социальные и культур­ные нормы или установки, не учитывают знаки невербальной коммуника­ции, то существует риск неверной интерпретации собранных данных. Под «невербальной коммуникацией» понимается передача или обмен информа­цией без посредства речи или устного высказывания. Например, это может быть обмен письменными посланиями, выражение отношения к чему-либо жестом или поступком (отказ от интервьюирования, который может быть обусловлен нарушением каких-либо социальных и культурных норм или установок).

И, наконец, не имея сравнительной группы, невозможно построить гипотетическую альтернативную ситуацию, и, соответственно, выявить причинно-следственные характеристики воздействия проекта.

Сочетание количественных и качественных методов

Существует обширная литература, посвященная сравнению и проти­вопоставлению количественных и качественных методов. Вместе с тем рас­тет и понимание необходимости сочетания этих подходов. Количественные методы оценки на основе статистически репрезентативной выборки более подходят для оценки причинно-следственных связей посредством экономе-трических методов или для получения экстраполируемых заключений. Ка­чественные методы дают возможность глубокого изучения избранных тем, ситуаций или событий. Они позволяют посмотреть на происходящее с по­зиции получателя помощи (бенефициара), наблюдать динамику изменений, помогают интерпретировать количественные результаты. Выбор того или много подхода имеет как преимущества, так и недостатки.

Часто именно комбинация количественных и качественных подхо­дов наилучшим образом соответствует информационным потребностям проекта. При сочетании двух подходов качественный метод помогает формулировать ключевые вопросы, составлять анкеты, стратифициро­вать количественные выборки, анализировать социальный, политиче­ский или экономический контекст проекта. Количественные же методы помогают определять стратегии сбора качественных данных, разрабаты­вать структуру выборки таким образом, чтобы результаты качественно­го анализа могли быть экстраполированы на всю совокупность через ис­пользование статистически значимой выборки. Статистический анализ можно использовать для внесения поправок в описание характеристик домохозяйств и социально-экономических условий в различных иссле­дуемых областях, исключая тем самым альтернативные объяснения на­блюдаемых результатов.

Преимущества использования такого интегрированного подхода сле­дующие:

• Проверка согласованности оценок может осуществляться посред­ством метода триангуляции (процесс независимых повторных, многоразо­вых оценок основных переменных для проверки устойчивости измерений), т. е. путем проведения нескольких независимых оценок ключевых перемен­ных (таких, как уровень дохода, различные мнения о проекте, причины ре­ализации или отсутствия реализации государственных программ, конкрет­ное воздействие проекта и т. д.).
• Возможность ознакомиться с разными точками зрения. Например, несмотря на то, что исследователи могут считать ключевыми показателями благополучия домохозяйства уровень дохода или потребления, конкретные ситуации могут показать, что женщины более обеспокоены своей незащищенностью (определяемой как отсутствие доступа к системе социальной защиты в кризисной ситуации), безвластием или применяемым к ним насилием.
• Возможность проведения анализа на различных уровнях. Иссле­довательские методы могут дать точную оценку благосостояния (инди­видуума, домохозяйства или общества). Но они гораздо менее эффектив­ны при анализе социальных процессов (конфликт, участие или неучастие в программах и т. д.) или при анализе работы общественных институтов (насколько эффективно работают системы здравоохранения, образования, кредитования и т. д. и как они воспринимаются обществом). Существует множество качественных методов для анализа социальных процессов, ин­ститутов, структуры общества и конфликтов.
• Возможности обратной связи, помогающей интерпретировать ре­зультаты. Отчеты об исследованиях часто содержат напоминания об оче­видной непоследовательности или противоречивости результатов или об интересных различиях между сообществами и группами, которые не объ­ясняются имеющимися данными. Большинство количественных исследо­ваний не дает возможности после окончания фазы сбора данных вернуться в поле за дополнительной информацией. Поэтому исследователи также ис­пользуют качественные методы для проверки так называемых «выбросов» - ответов, не вписывающихся в общую картину. Часто аналитик вынужден принимать произвольное решение о том, исключать ли человека или домо­хозяйство, которые не соответствуют норме (исходя из предположения, что такое отклонение содержит ошибку), или же изменять цифры. Качествен­ные методы позволяют быстро проводить дополнительные полевые иссле­дования для проверки таких случаев.

На практике количественные и качественные методы должны соче­таться на каждом этапе оценки воздействия.

Другие подходы к оценке воздействия

Говоря об оценке воздействия муниципальных программ на развитие муниципального образования, следует отметить еще два очень важных мо­мента, это:

а) подходы к измерению воздействия программ структурной пере­стройки;

б) теоретическая оценка.

Обе темы включают в себя применение многих из рассмотренных выше методик, несмотря на использование иного подхода.

Оценка программ структурной перестройки. В последнее время довольно активно обсуждается воздействие программ структурной пере­стройки на положение населения. Многие из аргументов, используемых в этих дискуссиях, основаны на неверных допущениях и методах.

Как и в других случаях, стратегические изменения в проектах струк­турной перестройки должны быть:

а) сопоставлены с соответствующими гипотетическими альтернатив­ными ситуациями, в которых действовали те же макроэкономические огра­ничения;

б) проанализированы в контексте местной структуры экономики иоснованы на эмпирической информации, полученной в ходе обследованиядомохозяйств.

Задача усложняется по трем причинам.

Во-первых, стратегические изменения способны влиять на всю экономику, из-за чего могут отсутство­вать незатронутые сравнительные группы.

Во-вторых, из-за наличия внешних факторов, задержек, обратных связей и замещений любые изменения в уровне благосостояния населения следует интерпретировать с большой осторожностью.

В-третьих, трудно предсказать, что произошло бы, если бы измене­ния не проводились, - какую стратегию выбрало бы местное самоуправ­ление и каковы были бы последствия для населения.

В литературе описано несколько подходов, и у каждого из них есть свои недостатки. Методы во многом похожи на описанные в та­блице 7, хотя, как мы увидим ниже (см. Методы оценки стратегии структурной перестройки), анализ гипотетической альтернатив­ной ситуации (предположения от обратного) требует существенных допущений, что может значительно повлиять на обоснованность ре­зультатов. Максимальный эффект дает выделение конкретных стра­тегических изменений, воздействующих на население. Но и без этого выделение воздействий конкретных стратегических изменений может оказаться трудной задачей.

Методы оценки стратегии структурной перестройки

Подходы без использования гипотетической альтернативной ситуации:

• Для оценки уровня жизни населения (и часто для выявления групп риска) до, во время и после осуществления стратегии структурной пере­стройки используются анализ фокус - группы, интервью и другие каче­ственные методы.
• Метод «до и после программы», когда сравниваются значения клю­чевых переменных до и после программы. Эти статистические методы ис­пользуются для того, чтобы определить, произошло ли значимое изменение каких-либо переменных, представляющих интерес для данного исследова­ния. Такой подход часто приводит к смещению результата, поскольку он исходит из предположения, что без программы показатели остались бы на исходном уровне.

Подходы, использующие построение гипотетической альтернатив­ной ситуации (сценария) при множественных допущениях:

• Расчетные модели общего равновесия (Computable General Equi­librium Models - CGE) базируются на имитационных моделях для про­гнозирования результатов для экспериментальных и контрольных групп. Основная задача таких моделей - отследить работу реальной экономи­ки. Они обычно базируются на использовании детальных матриц «об­щественных счетов» (social accounting matrices - SAMs), составленных с помощью данных национальных счетов, анализа расходов домохозяйств и данных других исследований. Хотя метод CGE и позволяет постро­ить гипотетический сценарий, надежность этой модели полностью за­висит от достоверности допущений. Это может быть проблематичным, поскольку базы данных не являются исчерпывающими, а многие пара­метры не были оценены формальными эконометрическими методами. Модели CGE также очень трудоемки и вообще отличаются своей гро­моздкостью.
• Сравнения: «с программой и без программы» - здесь сравнива­ется динамика ключевых переменных по выборке объектов, где была осу­ществлена программа, и объектов, где она не проводилась (контрольная/ сравнительная группа). В качестве альтернативного гипотетического сце­нария выступает поведение контрольной группы (она демонстрирует си­туацию, которая имела бы место в муниципальном образовании при прове­дении программы и в отсутствие такой программы). Однако формирование надежной контрольной группы - довольно сложная задача. Этот метод исходит из того, что единственным отличием контрольной группы муни­ципального образования, где проводится программа, является факт реали­зации программы структурной перестройки, а остальные внешние факторы влияют на обе группы одинаково.
• Методы, внесения статистической поправки (статистический кон­троль) используют регрессии, фиксирующие различия в начальных усло­виях и стратегиях, применяемых в так называемых «программных» и «непрограммных» объектов муниципального образования. Такой подход определяет различие между «программными» и «непрограммными» объ­ектами муниципального образования в период, предшествующий прове­дению программы, а затем дает возможность внести статистические по­правки для выделения воздействия программы на показатели, полученные после проведения программы.

Теоретические оценки. Исходное положение «теоретических оце­нок» заключается в следующем: программы и проекты основываются на яв­ной или неявной теории о том, как и почему должна работать программа. В таком случае оценка будет состоять в анализе каждой теории и набора до­пущений по программе в ходе ее реализации, а не в ее середине или после ее завершения. При составлении плана оценки лежащие в ее основе теоре­тические допущения представляются в виде последовательности многочис­ленных малых шагов с применением методов сбора данных и анализа того, как реализуются в реальной жизни сделанные теоретические допущения. Если же события не разворачиваются ожидаемым образом, то с достаточ­ной долей уверенности можно сказать, где, почему и каким образом произо­шел сбой.

Здесь основное внимание уделяется тому, как люди реагируют на ме­роприятия в рамках программы. Теория ориентирует производящего оцен­ку на наиболее вероятный тип краткосрочных и долгосрочных результа­тов. Преимущества такого подхода заключаются, во-первых, в том, что эффективность программы выявляется на ранней стадии ее внедрения. Сбои в процессе выполнения программы можно сразу откорректировать. Во-вторых, такой подход помогает объяснить, как и почему получается на­блюдаемый эффект. Если события разворачиваются согласно ожиданиям, можно с определенной долей уверенности сказать, как именно был получен наблюдаемый эффект. Поэтапное рассмотрение программы позволяет от­следить, каким образом ресурсы, используемые в рамках программы, при­водят к этим результатам.

Недостатки данного подхода подобны тем, что имеют место в других методиках. В частности:

а)  выявление допущений и теоретических положений - задачасложная в силу самого своего содержания;

б) без правильного инструментария и данных проведение поэтапногоизмерения может быть проблематичным;

в)  существуют проблемы при проверке эффекта, поскольку положе­ния теорий могут быть слишком общими или расплывчатыми для целейпроверки;

г)  трудности с интерпретацией могут усложнить формулировку экс­траполируемых заключений и выводов.

Анализ «затраты - выгоды» и «затраты - эффективность»

Хотя целью этого типа анализа не является определение воздействия, он позволяет разработчикам стратегии измерить эффективность программ путем рассмотрения альтернатив и сопоставления затрат на получение ре­зультата. Такой анализ повышает значимость оценки воздействия для раз­работчиков стратегии, и поэтому его следует включать в план любой оцен­ки воздействия.

При анализе «затраты-выгоды» основной задачей является измерение экономической эффективности в денежном выражении через сопоставле­ние стоимости программы и тех выгод, которые она принесла. Однако для многих проектов, особенно в социальной сфере, невозможно перевести все результаты в денежный эквивалент. Например, результатом программы ин­вестиций в школы (учебники, мебель, подготовительные программы) яв­ляется рост успеваемости. Для количественного выражения пользы здесь уместно использовать не деньги, а показатели успеваемости - оценки. Это потребует проведение анализа «затраты - эффективность». Концептуаль­ная основа обоих типов анализа идентична.

Основные этапы при проведении анализа «затраты - выгоды» и «за­траты - эффективность» таковы: определить все затраты и выгоды и за­тем рассчитать соотношение затрат и эффективности. При подсчете затрат следует включать стоимость самой программы, а также административные издержки, предоставление услуг, инвестиции (дисконтированные и пред­ставленные в виде чистой приведенной стоимости), денежное выражение предоставленных бесплатно товаров или услуг, издержки для общества (на­пример, ухудшение состояния окружающей среды, опасность для здоровья и т. д.). Выгоды могут иметь денежное (увеличение дохода) или количествен­ное выражение, например, число поставок (услуг), оценки, полученные в ходе тестов, или улучшение здоровья. Если выгоды от программы нельзя определить количественно, можно использовать субъективные показатели, такие как ранжирование или систему весов. Впрочем, при таком подходе ин­терпретация субъективных оценок может оказаться непростой задачей.

После определения затрат и выгод, соотношение «затраты - эффек­тивность» (R) может быть представлено, как R=затраты/единица (например, количество часов классной работы, требуемое для получения зачета) или выгода. По этому соотношению затем можно сравнивать различные про­граммы для того, чтобы выяснить их эффективность. Теоретически данный метод достаточно прост. Но на практике существует множество сложностей при выявлении и количественном выражении затрат и выгод. Важно выбрать правильные показатели, использовать одинаковые методы и последователь­но делать экономические допущения, чтобы соотношения затрат и выгод действительно были сопоставимы. Как и с другими методами, используе­мыми при анализе воздействия, измерение показателя «затраты - эффектив­ность» может быть осуществлено наилучшим образом, если оно включено в план оценки на самых ранних ее стадиях. Это позволяет собрать информа­цию о необходимых затратах и выгодах и обеспечить их согласованность.

Выбор методологии

Различия в типах программ обусловливают вопросы, применяемые для оценки, исходные данные, стоимость, временные ограничения и прочие обстоятельства. Поэтому оценки их воздействия тоже отличаются друг от друга и требуют подходящего для каждого случая сочетания качествен­ных и количественных методик. Эксперты, проводящие оценку, должны тщательно изучить имеющийся набор методик, так, чтобы получить наи­более надежные результаты. Среди количественных методов лучшим вари­антом считаются экспериментальные подходы; вторыми по степени пред­почтительности являются методы сравнения по подобию. Другие приемы тоже могут дать надежные результаты, особенно при использовании хоро­шего плана оценки и данных высокого качества.

Результаты лучших практических примеров (best practice evalua­tions) показывают, что существующие методы оценки воздействия не яв­ляются взаимоисключающими. Действительно, для более строгих оценок часто комбинируются методы, обеспечивающие их устойчивость и приме­нимость в непредвиденных ситуациях. С методической точки зрения реко­мендуется сочетать метод «с программой и без программы» и метод «до и после программы», в котором используются данные исходных и повторных замеров.

Наличие исходных данных позволяет специалистам проверить це­лостность экспериментальной и контрольной групп, определить степень адресности и подготовиться к проведению надежной оценки воздействия. Это справедливо даже в отношении методов рэндомизированного контроля. Хотя рэндомизация и обеспечивает эквивалентность экспериментальной и контрольной групп на момент рэндомизации, на основании этого оценщик не должен полагать, что исходные данные не нужны. На самом деле, исхо­дные данные могут играть важнейшую роль в реконструкции причин тех или иных событий и во внесении поправки на эти события при оценке воз­действия.

Также весьма рекомендуется включить анализ «затраты-выгоды» или «затраты - эффективность». Эти методы позволяют разработчикам стра­тегии сопоставить разные типы воздействий или мероприятий по стоимо­сти получения определенного результата. Это особенно важно для муници­пальных образований, где ресурсы крайне ограничены.

Наконец, сочетание количественных и качественных методов явля­ется идеальным, ибо оно дает количественную оценку воздействия про­граммы и объясняет процессы и воздействия, приводящие к наблюдаемым результатам. Хотя каждая оценка воздействия имеет уникальные характе­ристики, требующие различных методологических подходов, можно выде­лить некоторые типичные свойства оценки:

• анализ гипотетического сценария осуществляется с помощью: а) применения случайного распределения для создания контрольной группы (экспериментальный подход); б) осторожного использования методов отбора по подобию для подбора сравнительной группы (квазиэксперимен­тальный подход);
• для внесения поправки на различия в участниках до и после про­граммы и для определения воздействия данные собираются на исходном этапе и при повторном замере (для проявления воздействия программы должно пройти достаточное время);
• для получения статистически значимых результатов эксперимен­тальная и контрольная группы должны быть достаточно многочисленны;
• частью оценки эффективности программы является анализ «затра­ты - выгоды» и «затраты - эффективность»;
• для анализа выводов методом триангуляции использованы каче­ственные методы.

Основные этапы разработки и проведения оценки воздействия

Проведение оценки воздействия может оказаться весьма сложным и дорогостоящим мероприятием, которое сопровождается возникающими на каждом шагу трудностями. Для решения этой непростой задачи требуют­ся тщательная подготовка, надежная и высокопрофессиональная команда с налаженными механизмами коммуникации, благодаря включению оценки в план программы на раннем этапе появляется возможность своевременно получить данные, которые могут быть полезны для корректировки опреде­ленных компонентов в ходе реализации программы.

Независимо от масштаба и типа программы или методологии, ис­пользуемой для проведения оценки, следует придерживаться определенно­го поэтапного плана.

Примерный план разработки и проведения оценки воздействия мо­жет выглядеть следующим образом.

Во время формулировки/подготовки оценки:

1. Определение необходимости проведения оценки.
2. Четкая формулировка целей оценки.
3. Проверка наличия данных.
4. Составление плана оценки.
5. Подбор группы для проведения оценки.
6. Если предполагается вести сбор данных:

а) структура и формирование выборки;

б) разработка инструментария исследования;

в) подбор и обучение работников для работы на местах;

г) проведение пробных («пилотных») оценок;

д) сбор данных;

е) обработка данных и обеспечение доступа к ним.

На стадии реализации оценки:

1. Продолжающийся сбор данных.
2. Анализ данных.
3. Подробное отражение и обсуждение результатов с разработчиками стратегии и другими заинтересованными сторонами.
4. Внедрение результата в общий план оценки.

Далее представлено рассмотрение этих этапов и других вопросов, ко­торые могут возникнуть при проведении оценки. Принципиально важной является последовательность выполнения этих этапов, особенно на стадии сбора необходимых данных до начала осуществления оценки. Заблаговре­менное планирование позволяет провести рэндомизацию, сделать предва­рительные сравнения методом сравнения по подобию, собрать исходные (базисные) данные и определить те предстоящие обследования, данные ко­торых, могут быть использованы при отборе подобного по склонности (ве­роятности).

Планирование и сбор первичных данных следует проводить на ста­дии формулировки и подготовки оценки. В идеале некоторые данные будут получены уже в процессе реализации оценки и использованы (при необхо­димости) для усовершенствования ее плана.

Определение необходимости проведения оценки

Первое, что следует определить: насколько необходима оценка воз­действия? Как уже отмечалось выше, оценку воздействия отличает от дру­гих подходов акцент на изучение причинно-следственных связей. Ввиду сложности и высокой стоимости проведения оценок воздействия следует взвесить выгоды и затраты и подумать о том, не будет ли другой подход (на­пример, изучение динамики ключевых показателей или оценка процесса) более приемлемым. (Эти подходы не следует воспринимать в качестве за­мены оценки воздействия; более того, часто они являются критически важ­ным дополнением к этим оценкам.) Возможно, самым главным фактором при принятии решения о целесообразности проведения оценки воздействия будет наличие значительной политической и финансовой поддержки.

Дополнительные усилия и ресурсы, необходимые для проведе ния оценки воздействия, будут наиболее целесообразны в инновацион­ных, тиражируемых и ресурсоемких программах с четко поставленны­ми задачами.

Оценка воздействия становится более приоритетной задачей, если рассматриваемая программа представляет собой новый подход, например, пробная («пилотная») программа, которая, в зависимости от результатов оценки, может быть расширена.

Другой немаловажный момент состоит в том, что целесообразность оценки программы должна быть хорошо обоснована. Часто пилотные про­граммы и зарождающиеся реформы подвергаются пересмотру как с точки зрения их содержания, так и в отношении того, кто, каким образом и ког­да будет претворять их в жизнь. Такие изменения могут сделать оценку в известной степени бессмысленной, особенно когда речь идет об экспери­ментальном подходе и других типах перспективной оценки, основанных на использовании исходных и последующих данных по четко определен­ным экспериментальным и контрольным группам. Если программа, кото­рая подлежит оценке, еще находится в стадии формирования, то, возможно, для сохранения гибкости проекта имеет смысл не проводить оценку воз­действия.

Труднодостижимым, но обязательным условием для проведения оценки воздействия является поддержка со стороны разработчиков про­граммы и финансистов. Их необходимо убедить в том, что именно оценка даст информацию, необходимую для принятия решений по усовершенство­ванию, расширению или свертыванию программы. Также их следует заве­рить в том, что план оценки - и, соответственно, ее результаты - оправда­ны, особенно если эти результаты не отвечают их ожиданиям.

Финансирование остается сложным вопросом, как для руководите­лей программ, так и для заказчиков. Он осложняется еще и тем, что обычно бывает непросто получить информацию о стоимости проведения оценки. И, возможно, самый щекотливый момент касается общей полезности оцен­ки в качестве общественного блага: если ее результаты будут использованы для информационного обеспечения регионального, федерального проекта (а часто именно так и происходит), то почему только одно муниципальное образование должно оплачивать расходы, связанные с проведением оцен­ки? Поэтому целесообразно решение вопроса о долевом финансировании оценки.

Уточнение целей оценки

После определения уместности и обоснованности оценки, факто­ром, в значительной мере способствующим ее успешному проведению, будет предварительная четкая формулировка задач и согласование того, какие вопросы считать ключевыми. Ясность целей необходима для вы­явления информационных потребностей, выбора показателей, характе­ризующих выполнение мероприятий программы и воздействий, а также для создания надежной стратегии для поиска ответов на поставленные вопросы.

В матрице логической структуры (logical framework, или log frame), используется простая таблица 4x4; в ней информация о целях программы сопоставляется с порядком определения результатов работы на основании реализации ключевых этапов по времени, с тем, какое воздействие окажет программа на институт или организацию или систему организаций бенефи­циаров, с тем, как это будет измеряться и каким образом задействованные ресурсы обеспечат отдачу программы, т. е. его продукт.

Иначе говоря, предполагается, что запланированное воздействие про­граммы зависит от продуктов этой программы и целого ряда иных факто­ров. Продукты, в свою очередь, обусловлены ресурсами программы и внеш­ними факторами. Далее следует определить подлежащие количественному выражению показатели для каждого этапа программного цикла. Такой под­ход не исключает рассмотрения побочного эффекта программы, однако он предназначен для того, чтобы сохранять четкость и сфокусированность це­лей оценки. Качественные методы также полезны для стимулирования уча­стия общественности в прояснении целей оценки и итоговых показателей воздействия.

Хотя на первый взгляд формулировка целей может показаться од­ним из самых простых этапов процесса оценки, на самом деле такая за­дача может быть крайне сложной. Например, слишком пространные фор­мулировки не позволят провести оценку. Например, цели, заявленные при оценке программы, гласят, что оценка должна выявить «воздействие про­граммы переподготовки кадров на рынок труда». Но оценка была бы бо­лее точной, если бы ее цели были конкретизированы, например «влияние программы на количество рабочих часов, часовой заработок, месячный заработок и время, за которое трудоустраиваются различные категории работников».

Использование других компонентов оценки, таких как «затра­ты - эффективность» или оценка процесса, может также являться важ­ным элементом исследования, дополняющим оценку воздействия. Подход «затраты - эффективность» может представлять особый интерес для раз­работчиков программы, которые принимают решения о сокращении, рас­ширении или пересмотре программы. Применительно к предоставлению услуг, оценка процесса помогает понять те процедуры, динамику, нормы и другие ограничения, при которых идет осуществление той или иной про­граммы.

Проверка наличия данных

При оценке воздействия могут использоваться различные типы дан­ных, полученных в ходе как одномоментных или панельных исследований, так и качественных открытых интервью. В идеале, чтобы обеспечить оцен­ку истинного воздействия, эта информация должна поступать с индивиду­ального уровня. Информация на уровне домохозяйств может скрыть картину распределения ресурсов внутри домохозяйства, а это отрицательно сказывается на положении женщин и детей, поскольку они часто имеют меньший доступ к производительным ресурсам домохозяйства. Во многих случаях при оценке воздействия могут использоваться уже существующие данные или могут дополняться текущие обследования, что приводит к су­щественной экономии средств. Но при таком подходе возможны проблемы, связанные со сроками сбора данных и гибкостью структуры анкеты. Неко­торые основные соображения, касающиеся использования существующих информационных ресурсов в оценке воздействия, перечислены ниже.

Ключевые моменты при определении информационных ресурсов для оценки воздействия:

• начинать оценку без подробного знания административных/инсти­туциональных структур программы рискованно, обычно такой информаци­ей располагает координатор программы;
• информация о важных «стилизованных данных» в отношении условий, в которых осуществляется программа. Среди таких данных могут быть карта бедности, порядок работы рынка труда, информация об основ­ных этнических группах, других соответствующих государственных про­граммах;
• данные разного рода - от неформальных неструктурированных ин­тервью с участниками программы до количественных данных по репрезен­тативной выборке. Однако с помощью интервью или фокус - групп край­не сложно построить гипотетический альтернативный сценарий. Возможен вопрос участнику программы. «Что бы Вы сейчас делали, если бы програм­мы не было?» Общение с участниками может быть ценным, но не обеспе­чивает достоверную оценку;
• данные об отдаче проекта и о соответствующих объясняющих переменных (регрессоры, независимые переменные). Такие переменные должны помочь снять проблему неоднородности результатов, обусловлен­ной участием в программе. Результаты могут различаться, к примеру, в за­висимости от уровня образования участников. Без поправок на такую раз­нородность (гетерогенность) можно «не увидеть» воздействия программы;
• в зависимости от используемого метода могут также потребовать­ся данные по переменным, описывающим влияние на участие, но не на результаты при таком участии. Эти инструментальные переменные могут быть полезны при анализе вероятных причинно-следственных эффектов неслучайных программ (таблица 7);
• данные по результатам и другие соответствующие объясняющие переменные могут быть как количественными, так и качественными. Тем не менее, необходимо иметь возможность систематизировать информацию в некоторую структуру данных. Простой и распространенный пример - наличие значений разных переменных, включая один или более показа­телей результата, для различных единиц наблюдения (лиц, домохозяйств, предприятий, сообществ);
• те переменные, по которым имеются данные, а также используе­мые единицы наблюдения часто выбираются как часть метода оценки. Их отбор должен диктоваться знанием программы (ее целей и порядка ее рабо­ты) и условий, в которых она осуществляется;
• конкретным источником данных о результатах и факторах, их определяющих (включая участие в программе), обычно являются разного рода обследования. В зависимости от типа программы единицей наблюде­ния могут быть домохозяйства, фирмы или географические объекты;
• данные обследований могут быть дополнены другими полезными сведениями по программе (например, из базы данных мониторинга про­граммы) или по условиям ее осуществления (например, из географических баз данных).

На самом базовом уровне требуются данные по всей популяции (ге­неральной совокупности) для определения размера выборок, создания гра­ниц выборки и формирования самой выборки. Другие виды данных, кото­рые могут быть в наличии в муниципальном образовании и которые могут использоваться в различных оценках воздействия, включают в себя: данные из обследований доходов и расходов домохозяйств; из исследований уровня жизни (Living Standards Measurement Studies - LSMS); из обзоров рынка рабочей силы; учетных записей кооперативов, кредитных союзов и других финансовых институтов; а также из школьных отчетов о посещаемости, ре­зультатах экзаменов и о второгодниках; данные из документов системы об­щественного здравоохранения о младенческой смертности, случаях инфек­ционных болезней, о количестве женщин, обратившихся за консультацией по вопросам контрацепции, или о показателях использования презервати­вов; из специализированных обследований, проводимых университетами, неправительственными организациями (НПО) и консультативными груп­пами; данные мониторинга от руководителей программ; данные анализа конкретных ситуаций («кейс-стади»).

Использование имеющихся данных, полученных в обследо­ваниях. Многие обследования могут также находиться на стадии плани­рования или проведения. Если планируется провести обследование в отно­шении требуемого показателя, при оценке можно применить избыточную выборку в ходе общего обследования (например, для использования метода отбора подобного по склонности). С другой стороны, планируя обследова­ние интересующей части населения, оценщик может внести в анкету вопрос или серию вопросов либо дополнить количественную информацию качественной.

Разработка оценки

Выяснив цели и имеющиеся информационные ресурсы, можно пе­реходить к фазе планирования оценки воздействия. Выбор методики бу­дет зависеть от поставленных вопросов, временных и бюджетных рамок, а также возможности по осуществлению оценки. Следует рассмотреть пре­имущества и недостатки различных подходов, о которых шла речь ранее, и на основе такого сравнения выбрать наиболее подходящие методики и определить, как количественные и качественные методы могли бы взаимно дополнять друг друга.

Даже после составления плана оценки и встраивания его в програм­му оценщики должны быть готовы гибко реагировать и вносить изменения в свой план по мере выполнения программы. Если оценка включает исхо­дные (базисные) и последующие данные, то следует также предусмотреть возможность учета влияния программы таким образом, чтобы оценка шла параллельно самой программе.

При составлении плана также важно определить, каким образом оцен­ка воздействия будет включена в более широкую стратегию мониторинга и оценки программы. Мониторинг необходим для всех программ, чтобы ру­ководители, кредиторы и разработчики стратегии могли видеть, как разво­рачивается программа. Как отмечалось выше, работа по оценке должна от­вечать информационным нуждам программы.

Вопросы оценки. Задаваемые в ходе оценки вопросы тесно связаны с планом оценки в отношении типа данных, анализируемой организаци­онной единицы, используемых методик и времени прохождения различ­ных стадий. Например, определяя воздействие учебников на результаты учебного процесса, необходимо приспособить оценку к измерению воз­действия на учеников, классы и учителей в течение данного учебного года. Это существенно отличается от измерения воздействия инвестиций социальных фондов, где требуются данные о коммунальном хозяйстве и домохозяйствах.

При определении вопросов оценки также важно учитывать тендер­ный аспект воздействия программы. Поначалу это не всегда очевидно, но в процессе реализации программы возможно вторичное воздействие на до­мохозяйства, которое может ускользнуть от нашего внимания, если не пред­принять действий по сбору и анализу конкретных данных.

Временные рамки и бюджет. Самый важный момент, касающийся времени, - это возможность начать разработку оценки, до того как про­грамма будет завершена и когда потребуются результаты оценки. Также полезно определить с самого начала, в какой именно момент реализации программы понадобится информация от проводимой оценки, чтобы мож­но было скоординировать сбор и анализ данных. Наличие своевременных результатов может быть принципиально важным при принятии стратегиче­ских решений во время анализа программы, предвыборного периода или при рассмотрении вопроса о продолжении программы.

Для применения некоторых методов требуется больше времени. Так, методы случайного распределения и методы «до и после програм­мы» (например, рефлексивные сравнения) требуют больших затрат вре­мени, чем методы сравнения по подобию после завершения программы. Применяя подходы «до и после программы», использующие исходные и повторные оценки, необходимо дождаться, пока все члены группы не по­лучат помощь и пока не проявится эффект программы. Исследователи предлагают считать стандартным периодом, который должен пройти до исследования воздействия, промежуток 12-18 месяцев с начала участия в программе. Некоторые программы с исходными (базисными) данными могут потребовать нескольких лет ожидания, прежде чем проявятся по­следствия вмешательства (здравоохранение, образование, экология, раз­витие малого бизнеса).

Однако время, необходимое для оценки, не может оказывать влия­ние на временные рамки самой оцениваемой программы. По своей сути оценка определяется временными рамками, установленными программой. Оценщикам придется занять выжидательную позицию по отношению к программам, не дающим моментального результата. Даже если программы идут, как было запланировано, некоторые виды программ, особенно про­граммы в области инфраструктуры, более длительны. Временные рамки оценки также зависят от выбранных показателей, поскольку многие из них (например, изменения в уровнях рождаемости или образования) проявля­ются только через длительный период, т.к. чтобы их воздействие отрази­лось на заинтересованной группе населения (популяции - бенефициаре), требуется больше времени.

Возможность проведения оценки. Заключительное соображение при определении масштаба и сложности плана оценки - то, насколько группа оценщиков способна выполнить задачу. Осуществление оценки может стать весьма сложным предприятием там, где отсутствует опыт прикладных исследований и оценки программ. Очень важно правиль­но подобрать оценивающую группу, так, чтобы в нее входили специа­листы, владеющие различными методиками, которые дополняли бы и усиливали возможности друг друга. Это особенно важно при работе с государственными ведомствами, где при ограниченном штате выполняются очень разнообразные функции. Сведения о загруженности подраз­деления необходимы не только для определения того, как это повлияет на качество проводимой оценки, но и для выявления альтернативной стоимости оценки по сравнению с другими функциями, выполняемы­ми подразделением. Возможны неудачи проведения оценки, когда клю­чевые сотрудники могут быть переведены на другие программы и не смогут своевременно осуществить сбор данных в самый ответствен­ный момент (во время учебного года или сельскохозяйственного сезо­на). Повторения этих ситуаций можно избежать благодаря координации работы с руководителями подразделения, ответственными за оценку, чтобы обеспечить сбалансированность сроков реализации различных программ и оптимальное распределение сотрудников и ресурсов. Аль­тернативой может быть приглашение для проведения оценки частной компании.

Формирование группы оценки

Чтобы проводить оценку, необходимо обладать рядом навыков. Из­начальное согласование деятельности команды оценщиков и разработчи­ков стратегии развития муниципального образования значительно повыша­ет качество оценки и ее полезность в конечном итоге. Поэтому важно как можно раньше определить, кто войдет в команду, распределить функции и наладить механизмы взаимодействия при осуществлении ключевых этапов оценочного процесса.

В число основных членов команды входят координатор группы, осу­ществляющей оценку, аналитики (экономист и социологи) и, если запла­нирован сбор новых данных, - специалист по выборке, разработчик плана обследования, координатор работ на местах (работа по интервьюирова­нию, сбору и обработке данных на местах) и команда, работающая на ме­стах, также менеджеры, ответственные за сбор данных и их обработку (полное руководство по планированию и осуществлению исследований). В зависимости от объема, масштаба и плана исследования сотрудники мо­гут сочетать некоторые из этих функций, либо потребуется набор допол­нительных работников в помощь основной команде. В некоторых случаях, если у аналитиков нет опыта комбинированного использования количе­ственных и качественных методов, на стадии формирования команды мо­жет потребоваться дополнительное время, чтобы члены команды «притер­лись» друг к другу и могли эффективно сотрудничать. Ответственность среди членов команды распределяется следующим образом.

• Координатор оценки - отвечает за определение информацион­ных потребностей и используемых для оценки показателей (которые ча­сто определяются совместно с заказчиком с помощью матрицы логической структуры), за составление технического задания на проведение оценки, выбор методики и формирование команды. Во многих случаях координатор оценки осуществляет также анализ оценки.
• Аналитики - для проведения количественного анализа потребу­ется экономист, а для вовлечения общественности и качественного анализа на разных этапах оценки воздействия необходим социолог или антрополог. В написании отчета должны принимать участие и те, и другие.
• Специалист по выборке - управляет процессом формирова­ния выборки. Для получения количественных данных специалист дол­жен уметь производить расчеты мощности выборки - предварительное обоснование объема выборки с точки зрения ее близости по данному на­бору показателей к моделируемому объекту, чтобы определить прием­лемый объем выборки для используемых показателей, формировать вы­борку, сравнивать результаты фактической и запланированной выборки и определять веса выборки - совокупность показателей, используемых для расчета степени репрезентативности полученной выборки (по отно­шению к генеральной совокупности) и рассчитанных после проведения исследований на местах - для последующего анализа. Для получения качественных данных специалист по выборке управляет процессом фор­мирования выборки вместе с аналитиками, обеспечивая правильный вы­бор экспертов (источников информации). Специалист по выборке также отвечает за выбор места и групп для осуществления пробных проектов. Часто он должен работать в паре с местным информационным координа­тором, ответственным за сбор данных, на основании которых будет фор­мироваться выборка.
• Разработчик плана исследования - это человек или группа людей, ответственных за разработку инструментария для сбора данных, инструк­ций и схем кодирования информации, а также за согласование действий с координатором (-ами) оценки, чтобы с помощью имеющихся инструмен­тов были получены необходимые для анализа данные. Этот человек/группа участвует также в апробации и доработке анкет.
• Координатор работы на местах/работники - координатор осу­ществляет надзор за всем процессом сбора данных, от планирования маршрутов для сбора данных до формирования команды работников на местах и составления графика их работы. Команды, работающие на ме­стах, обычно состоят из контролеров и интервьюеров. Контролеры (супер-вайзеры) руководят работниками на местах (интервьюеры, ответственные за ввод данных и водители) и отвечают за качество данных, полученных на местах. Интервьюеры проводят анкетирование и заполняют опросные ли­сты. В некоторых случаях в соответствии с принятыми культурными установками необходимо, чтобы в состав интервьюеров входили как мужчины, так и женщины, а интервью с мужчинами и женщинами разрабатывались и проводились раздельно.
• Специалисты по организации (управлению) и обработке дан­ных - планирование ввода данных, ввод, проверка их валидности, доку­ментирование данных и получение основных результатов, которые затем проверяются аналитиками.

При формировании команды координатор оценки должен учесть несколько важных моментов, касающихся местных институциональ­ных возможностей для обеспечения непредвзятых и качественных ре­зультатов. Во-первых, имеется ли местный потенциал для полного или частичного проведения оценки и какое внешнее руководство и помощь могут понадобиться? Поэтому необходимо критически оценить местные возможности и распределить обязанности. Вне зависимости от оконча­тельного состава команды важно назначить координатора оценки, спо­собного эффективно работать с источниками информации, аналитика­ми и разработчиками программы, которые будут использовать данные и результаты оценки. Если этот человек не проживает в данном муни­ципальном образовании, рекомендуется назначить местного координа­тора, который будет организовывать работу совместно с руководителем оценки.

Второе: выбор между частной фирмой и государственным ведом­ством. Частные фирмы могут быть более надежными в смысле соблю­дения оговоренных сроков. Но при этом теряется возможность развития потенциала в государственном секторе, и, по понятным причинам, част­ные фирмы менее склонны встраивать в оценочный процесс дорогостоя­щие элементы.

Третье: институциональная дистанция между оценщиком и теми, кто потом будет пользоваться результатами оценки. Для сохранения объ­ективности оценка должна идти независимо от института, отвечающего за реализацию программы. Но часто оценка преследует несколько целей, включая развитие соответствующего потенциала внутри государствен­ных ведомств и привлечение внимания исполнителей программ к реали­ям проводимых программ. По крайней мере, те, кто пользуется результа­тами оценки (разработчики стратегии в администрации муниципального образования, неправительственные организации, донорские организации и институты, отвечающие за муниципальное развитие), должны быть до­статочно вовлечены в процесс, чтобы обеспечить легитимность оценки и соответствие ее результатов их информационным запросам. В конечном счете, координатор оценки и его клиенты должны найти золотую середину между включенностью пользователей оценки в процесс, с одной сто­роны, и независимостью и легитимностью результатов - с другой.

Формирование массива данных

Необходимым условием для проведения оценки воздействия является достаточное количество надежных данных. Для получения обоснованных результатов необходима информация высокого качества. Как отмечалось выше, оценка уже существующих данных - первый важный шаг, предше­ствующий любым действиям по сбору данных на местах. В таблице 8 пред­ставлена связь основных методик оценки с требованиями к данным. Часть этих методик может включать в себя качественные подходы и подходы с участием общественности при разработке инструментария обследования, при определении показателей, выборе мер контроля, переменных для со­гласования или инструментальных переменных.

Если оценка требует сбора собственных данных, ответственными этапами являются разработка инструментария для сбора данных, формиро­вание выборки, работа на местах, управление данными (data management) и обеспечение доступа к ним.

Что измерять. Основные показатели, характеризующие выполне­ние программы и ее воздействие должны быть установлены на стадии пла­нирования оценки, возможно - с использованием матрицы логической структуры. Для своевременного получения результатов оценки необходи­мо разработать иерархию показателей: от таких индикаторов краткосроч­ного воздействия, как посещаемость школы, до показателей долгосрочного влияния, например успеваемость учеников. Это даст возможность оценить результаты программы даже в том случае, если окончательные показатели еще не выбраны. Также оценщик должен планировать измерение осущест­вления вмешательства и учет экзогенных факторов, которые могут воздей­ствовать на результаты, представляющие интерес.

Координаторы оценки могут также запланировать проведение оценок через различные промежутки времени, что позволяет выявлять немедлен­ные воздействия на более раннем этапе, в то время как исследование конеч­ных результатов еще продолжается.

Характеристики населения, получающего выгоды от программы, та­кие как уровень бедности или мнение участников о программе, не имею­щие прямой связи с оценкой воздействия, все же могут быть рассмотрены, если они представляют интерес для анализа. Оценщик также может вклю­чить в план показатели затрат для анализа «затраты - эффективность» или для проведения дополнительных исследований, не обязательно напрямую связанных с оценкой воздействия.

Табл. 8 Методы оценки и требования к данным

Табл. 8.1

 

Модель, выбираемая для оцен­ки воздействия, также предъявляет соответствующие требования к дан­ным. Эти требования определяются методикой, изучаемым населением, масштабами воздействия и другими составляющими оценки. Например, если будет использоваться метод ин­струментальной переменной (один из типов сравнения по подобию), то не­обходимо выявить и включить в сбор данных переменную(ые), с помощью которой(ых) можно будет отделять участие в программе от показателей результата.

Полезной может оказаться раз­работка матрицы оценки (анализа воздействий) с перечислением инте­ресующих вопросов, показателей ре­зультата, переменных и источников данных для переменных. Такую ма­трицу можно затем использовать для анализа анкет и планирования анали­тической работы.

Разработка инструментария и методик сбора данных

Разработка инструментария, позволяющего получить данные, не­обходимые для ответа на поставлен­ные вопросы, может оказаться непро­стой задачей и потребовать участия аналитика при составлении вопро­сов, проведении пробных («пилот­ных») тестов и анализе первичных данных. Важным условием обеспече­ния качества собранной информации может явиться участие координатора работы на местах и специалиста по организации данных в разработке ин­струментария, а также местных специалистов, предпочтительно аналитиков, понимающих специфику муни­ципального образования и знающих программу. Также важно обеспечить разделение собранных данных по гендерному признаку для изучения осо­бенностей воздействия программ на положение мужчин и женщин.

При количественных оценках информацию обычно собирают и фикси­руют с помощью цифр или кодирования по категориям. Информация, отно­сящаяся к качественным оценкам, чаще представляется в виде описательного текста практически без разбиения по категориям. Информация может состо­ять из ответов на открытые вопросы интервью, записей при проведении фо­кус - групп или наблюдений оценщика. Перечень инструментов для сбора данных с описанием достоинств и недостатков каждого из них представлен в таблице 9. Самым распространенным методом является анкетирование.

Ответы на вопросы в значительной степени зависят от построения анкеты. Вопросник должен иметь соответствующий формат и структуру, поэтому его разработку следует поручать опытным специалистам. Цен­ность количественных данных снижается по чисто техническим причинам из-за невозможности связать данные из разных источников. При сборе как качественных, так и количественных данных персонал должен пройти под­готовку, чтобы собирать те данные, которые относятся именно к этому ис­следованию. Порядок сбора данных должен быть описан в инструкциях, которые можно использовать и как дидактический материал для обучения, и как справочный - для работы на местах.

Апробация - тот важный шаг, который позволяет определить, полу­чим ли мы с помощью данного инструментария необходимые данные и как именно нам следует их собирать. Пробный тест должен быть максимально приближен к условиям работы на местах. Поэтому неплохо уже при прове­дении апробации иметь под рукой программы для обработки данных, что­бы проверить, насколько они функциональны. Также в рамках пробного теста должны быть охвачены все группы населения и поселения, намечен­ные для проведения основной работы на местах. Формирование выбор­ки. Формирование выборки - своего рода искусство, и заниматься этим должен квалифицированный специалист. Структура выборки может быть несложной, но при ее разработке обязательно нужны профессиональные знания для определения подходящих границ выборки, ее объема и спосо­ба формирования (в нашем случае мы обсуждаем оценки, для которых ис­пользуются большие, репрезентативные выборки). Специалист по форми­рованию выборки должен участвовать в процессе оценки с самого начала, чтобы анализировать имеющуюся информацию, необходимую для состав­ления выборки, и определить потребность в переписи, для чего может по­требоваться значительное время.

Табл. 9 Основной инструментарий сбора данных для оценки воздействия

 

Табл. 9.1.

Как и на других стадиях проведения оценки, важна координация между специ­алистом по выборке и остальными члена­ми команды. Это имеет особенное значение при использовании метода сравнения по по­добию, поскольку структура выборки слу­жит основой для сравнения по подобию (со­гласования), которое является центральным элементом плана оценки и конструирования гипотетического сценария. В таких случаях специалист по формированию выборки дол­жен работать в тесном контакте с командой, производящей оценку, чтобы выработать критерии сравнения по подобию экспери­ментальной и контрольной групп. Напри­мер, при оценке школьной реформы авто­номные школы стратифицируются по типу, количеству учащихся, продолжительности участия в программе и географическому по­ложению, а затем проводится сравнение по подобию с выборкой школ, не имеющих ав­тономного статуса. Для последних использу­ется такая же стратификация, за исключени­ем продолжительности участия в программе. Этот процесс можно упростить, если сотруд­ник, отвечающий за сбор данных, предо­ставит специалисту по выборке всю необ­ходимую информацию, включая данные по выбранным показателям результата для расчета мощности выборки (определения объе­ма выборки, который потребуется для про­верки статистической значимости различий между группами), необходимые данные о на­селении и детальные характеристики потен­циальных экспериментальной и контроль­ной групп.

Существует немало компромиссов между стоимостью и надежностью выборки, о которых не стоит забывать при ее подготов­ке. Так, проведение выборки в два или три этапа снижает расходы, как на формирование этой выборки, так и на про­ведение работы на местах; вместе с тем увеличивается ошибка выборки, и, следовательно, растет точность оценки.

Определив переменные, описывающие результат, и представляющую интерес группу(ы), специалист по выборке первым делом решает вопрос о расчете мощности выборки. Поскольку расчеты мощности выборки прово­дятся на основании только одного показателя результата, а в ходе оценки обычно используются несколько таких показателей, необходимо решить, какие именно показатели результата будут задействованы при планирова­нии выборки.

Разработав стратегию выборки и подобрав инструменты, специалист по формированию выборки также должен принять участие в составлении выборок для работы на местах и пробного исследования во избежание их дублирования. Нередко первоначальная работа на местах должна прово­диться как часть процедуры по определению выборки. Например, если нет свежих данных о единицах, подлежащих включению в выборку (домохо­зяйства, школы и т. д.), то необходима перепись с присвоением номеров. Перепись может потребоваться также и в том случае, когда нужно опреде­лить группу населения, представляющую интерес для исследования (на­пример, недоедающие дети), с тем чтобы впоследствии избрать ее для про­ведения оценки.

По окончании работы на местах специалист по выборке должен по­мочь в определении весов выборки для расчета коэффициентов расширения и внесения поправок на ошибки выборки и отсутствие ответов. И, наконец, специалист по выборке должен разработать документ, детализирующий стратегию формирования выборки и включающий: а) на стадии планирова­ния выборки, расчеты ее мощности, в которых используются переменные воздействия; определение ошибок и объемов выборки; использование стра­тификации для анализа изучаемого населения; б) на стадии формирования выборки: обзор этапов и процедур отбора; в) на стадии работы на местах и подготовки к анализу: соотношение выборки и генеральной совокупности (популяции), процент отсутствующих данных и другая информация, необ­ходимая для определения весов выборок Документ также должен содер­жать и дополнительную информацию, которая понадобится аналитику для работы с данными оценки. Его можно использовать для отражения хода оценки; также его следует включать в пакет, направляемый аналитикам и призванный помочь им в использовании данных оценки.

Анкеты. Структура анкеты играет важную роль в обеспечении валид-ности (надежности) собранной информации. Для проведения оценки воз­действия необходимо иметь в наличии четыре следующих типа данных:

• соотнесение номинальных данных с респондентами, которые клас­сифицируются в зависимости от своего участия в программе или принад­лежности к контрольной группе;
• отображение в переменных, имеющих отношение к программе, не только факта получения услуг и помощи, но и их частоты, качества и коли­чества. Определение качества может быть затруднительным;
• переменные результата (продукта), с помощью которых будет из­меряться воздействие программы. Они включают в себя немедленные ре­зультаты, долгосрочные эффекты или предоставление услуг в течение дли­тельного периода времени, а также воздействие программы (например, повышение дохода и снижение безработицы);
• промежуточные переменные, которые являются, по сути, фактора­ми, определяющими участие в программе или тип воздействия, и представ­лены характеристиками индивидуумов, домохозяйств или сообществ. Эти переменные могут иметь важное значение для изучения смещений.

Для получения достоверной информации весьма важно, каким об­разом и в какой очередности задаются вопросы. В качестве примера мож­но привести определение уровня благосостояния для измерения прямого воздействия программы по борьбе с бедностью. Вопросы о доходе, задан­ные напрямую, не обязательно дадут адекватное представление об уров­не экономического благосостояния. Литература по этой теме рекомендует для определения истинного уровня благосостояния человека или домохо­зяйства использовать вопросы о расходах, составе домохозяйства, имуще­стве, подарках, денежных переводах, а также предполагаемой стоимости продукции, произведенной в собственном хозяйстве, или собственного жи­лья. Время, прошедшее с момента покупки, и порядок, в котором задаются вопросы, могут значительно повлиять на валидность полученной инфор­мации.

Для хорошей анкеты характерна, в числе прочего, краткость и ак­цент на важных вопросах. Инструкции и вопросы должны быть четкими и касаться той информации, которая требуется для оценки. Для закрытых вопросов необходимо предусмотреть вариант «затрудняюсь ответить» - это обеспечит надежность данных. Предлагая анкету респондентам, сле­дует использовать надежные процедуры, причем в зависимости от типа исследования (количественное или качественное) они могут быть неоди­наковыми.

Аспекты работы на местах. Благодаря сотрудничеству с местны­ми специалистами, имеющими опыт сбора данных, аналогичных тем, что требуются для данного обследования, проведение работ на местах можно значительно облегчить; такие специалисты хорошо осведомлены о географии изучаемого муниципального образования, они владеют информацией о том, где найти респондентов и какой подход к ним был бы наиболее при­емлемым. Однако, работники на местах, подготовка которых не соответ­ствует требуемой квалификации в данной ситуации, могут послужить ис­точником проблем.

Тип работников для сбора данных на местах подбирается в зависимо­сти от целей и направленности оценки. Например, для осуществления коли­чественной оценки воздействия программы по улучшению питания может потребоваться антропометрист: чтобы собрать данные о соотношении роста и веса, в то время как для оценки воздействия образовательной реформы на­верняка понадобятся специалисты по проведению тестов на успеваемость. Для большинства количественных исследований необходима команда, со­стоящая, по крайней мере, из координатора исследования, специалиста по обработке данных, координатора, контролеров за работой на местах, интер­вьюеров, операторов, ответственных за ввод данных, и водителей. В зависи­мости от выбранного качественного подхода состав группы может остаться неизменным (за исключением ответственных за ввод данных). Однако каче­ственные и количественные исследования требуют от интервьюеров различ­ных навыков. Поэтому для проведения фокус-групп, прямого (невключен-ного) наблюдения и т. д. требуется специальная подготовка.

Есть еще три момента, о которых нельзя забывать при планировании обследования. Во-первых, важно учитывать события, которые могут ока­зать влияние на успех работы на местах и/или внешнюю валидность со­бранных данных. Это может быть структура учебного года, праздники, се­зоны дождей, сбора урожая или закономерности миграционных процессов. Во-вторых, важным моментом является апробация инструментов для сбо­ра данных, даже если они уже применялись ранее. Апробация служит как для выяснения того, позволяют ли данные инструменты получить необхо­димую информацию, так и для ознакомления работников на местах с про­цессом сбора данных. Пробные исследования также могут выступать в ка­честве «испытательного полигона» для формирования команды работников на местах, которым предстоит осуществить реальное обследование.

Управление данными и доступ к ним. Задача системы управления - обеспечить своевременное получение данных и их качество. Своевремен­ность достигается максимальной интеграцией процессов сбора и обработ­ки данных, чтобы ошибки могли быть выявлены и исправлены до заверше­ния работ на местах. Качество информации можно обеспечить «проверкой последовательности», контролирующей внутреннюю валидность собран­ных данных и во время ввода, и после него; этому же служит предоставле­ние аналитикам нужной документации.

Такая документация должна содержать информацию двух видов:

а) информация, которая потребуется для интерпретации данных,включая коды, словари данных, руководства, описывающие используемыепеременные;

б) информация, необходимая для анализа, - она часто содержится вбазовом информационном документе, где приведены описание направлен­ности и целей оценки, детали методики оценки, описание или примеры ин­струментов, с помощью которых осуществляется сбор данных, а также ана­лиз работы на местах и руководство по использованию данных.

Данные о результатах оценки должны быть открытыми, поскольку оценки имеют характеристики общественного блага; кроме того, эти дан­ные могут потребоваться для дальнейшей работы по оценке долгосрочного воздействия, которой будет заниматься уже другая группа.

Совместному использованию данных способствует изначальное при­нятие политики информационной открытости. Для этого необходимо со­гласовать и подписать документ, определяющий нормы и обязанности по распространению данных. Политика открытого доступа требует дополни­тельных мер по обеспечению качества информации и защиты конфиденци­альности экспертов-источников информации.

Если различные структуры на протяжении определенного времени получают информацию от одних и тех же экспертов в рамках панельных обследований, то, чтобы иметь возможность проводить работу в дальней­шем, таких экспертов будет необходимо обозначить. Это требование долж­но разумно сочетаться с принципом конфиденциальности, принятым при социологических исследованиях.

Одно из возможных решений - предоставить всем заинтересован­ным исследователям анонимные записи. Исследователи, желающие прове­сти дополнительную работу, могут обратиться в структуру, где находятся данные, и получить список единиц выборки. Таким образом, структура, от­вечающая за данные, получает возможность контролировать качество при последующей работе, общаясь с исследователями, заинтересованными в ее проведении.

Анализ, отчетность и распространение

Подобно другим стадиям процесса оценки, количественный или ка­чественный анализ данных требует взаимодействия между аналитиками, теми, кто готовит данные, и разработчиками стратегии для того, чтобы про­яснить имеющиеся вопросы и получить своевременные и качественные ре­зультаты. Во время анализа практически неизбежно возникнут проблемы, связанные с проверкой и интерпретацией данных; для их разрешения по­требуется участие разных членов команды.

Наиболее употребимы два метода оценки воздействия - контент-анализ (content-analysis) и анализ ситуации (case analysis). Контент-анализ применяется к данным интервью, наблюдений и документов.

Рассматривая данные, оценщик разрабатывает систему их классифи­кации и организует информацию на основе:

а) вопросов оценки, для ответа на которые была собрана информа­ция,

б) планов использования материала,

в) потребности в перекрестной сверке для подтверждения информа­ции.

Анализ ситуации (case analysis) основан на исследовании конкрет­ной ситуации (case studies), цель которого - глубокое изучение отдель­ной группы или индивидуума. Высокий уровень детализации может дать обширную информацию для проведения оценки воздействия программы. Сбор и анализ данных производятся одновременно, так как оценщики осу­ществляют наблюдения в процессе сбора данных. Затем они могут выра­ботать и проверить объяснения и связать важные фрагменты информации в единое целое.

Организация и проведение оценки воздействия муниципальной программы на развитие муниципального образования.

Оценка воздействия муниципальной программы на развитие муни­ципального образования может быть вызвана самыми разными потребно­стями. Некоторые из них:

• мониторинг выполнения программы;
• корректировка содержания программы - уточнение целей и задач, переориентирование программы на реалистичные результаты и т. д.;
• активизация работы по выполнению программы - экспертиза эф­фективности воздействия программы, вовлечение в работу новых исполни­телей, повышение эффективности сбора данных, экспертиза дополнитель­ных потребностей и т. д.;
• анализ причин успехов и неудач выполнения программы;
• учет ошибок и недостатков программы при разработке других про­грамм;
• привлечение внимания общественности;
• обеспечение текущего и привлечение дополнительного финанси­рования;
• информирование лиц и организаций, принимающих решения;
• защита программы от критики;
• анализ разногласий среди исполнителей, возникших по ходу реа­лизации программы.

Структура оценки определяет:

• какая информация необходима для проведения оценки;
• кто и на каких стадиях работы будет привлечен к проведению оценки;
• какими методами, и из каких источников оценщик получит необ­ходимые данные;
• кто будет собирать информацию;
• какие методы анализа информации будут применяться;
• сколько времени уйдет на проведение оценки;
• какие ресурсы понадобятся для проведения всех работ по оценке.Проведение оценки затрагивает, как правило, широкий круг заинте­ресованных лиц - заказчиков оценки, исполнителей, разработчиков про­граммы и целевую аудиторию. Поэтому планирование оценки предусма­тривает подготовку четкого плана работы, ресурсное обеспечение проекта,разграничение обязанностей сторон, методы сбора информации, формы исроки предоставления результатов оценки.

Модельная схема структура оценки представлена в таблице 10.

Табл. 10 Модельная схема структуры оценки воздействия муниципальной программы на развитие муниципального образования

Табл. 10.1

На рис. 3 представлен пример структуры индикаторов типовой му­ниципальной программы развития малого бизнеса, используемых в оценке воздействия муниципальной программы на развитие муниципального об­разования.

Основные этапы организации и проведения оценки воздействия му­ниципальных программ на развитие муниципального образования, предла­гаемые автором, показаны на рис. 4.

Общие рекомендации, касающиеся анализа, документирования и рас­пространения количественной и качественной информации:

Во-первых, анализ может занять больше времени, чем планирова­лось, особенно если данные не столь однозначны и доступны, как ожи­далось, если аналитики не сталкивались с подобным типом оценок или если приоритет отдается формированию потенциала в ходе совместной работы.

Рис. 3. Структура индикаторов типовой муниципальной программы развития малого бизнеса, используемых в оценке воздействия муниципальной программы на развитие муниципального образования.

 

Рис. 4. Основные этапы организации и проведения оценки воздействия муниципальных программ на развитие муниципального образования.

Во-вторых, координатор оценки должен предполагать получение в ходе аналитической работы нескольких типов результатов, не забывая при этом о следующих двух моментах. Первый - получение результата должно быть приурочено к важным этапам, когда будет решаться будущее програм­мы: промежуточные отчеты, выбор или окончание пробной фазы. Второй - это аудитория, для которой предназначен результат. Результаты оценки сле­дует дифференцировать в зависимости от того, кто является их «конечным потребителем»: разработчики стратегии развития муниципального образо­вания и муниципальных программ, координаторы программ, спонсорские организации, широкая общественность, журналисты или ученые.

В-третьих, результаты будут иметь больше отношения к стратегии развития муниципального образования, если будут сопровождаться четки­ми практическими рекомендациями, основанными на анализе воздействия. В рекомендациях могут быть выделены приоритеты развития с учетом крат­косрочной или долгосрочной перспективы и, по возможности, давать пред­ставление о стоимостном аспекте; те, кто будет принимать окончательное решение, будут обращать внимание на итоговую стоимость программы.

Наконец, отчеты следует планировать как часть более масштабной стра­тегии распространения информации; в ее рамках могут быть предусмотрены презентации для различных аудиторий, выпуск пресс-релизов, налаживание обратной связи с экспертами-источниками информации, размещение инфор­мации в Интернете. Для того чтобы на реализацию подобной информацион­ной стратегии в смете были предусмотрены необходимые средства и чтобы обеспечить охват целевой аудитории, информационную стратегию необходи­мо заложить уже на начальной стадии процесса планирования оценки.