Приложение к Постановлению от 07.02.2007 г № 28-ПП Методика
Методика проведения социологического мониторинга результативности деятельности органов государственного управления белгородской области концепция мониторинга
Целью социологического мониторинга результативности деятельности органов государственного управления Белгородской области является получение систематизированной информации об эффективности регионального управления по основным параметрам качества жизни.
Мониторинг опирается на опыт, накопленный в ходе подготовки Программы улучшения качества жизни населения Белгородской области в 2002 - 2003 годах. В основе его лежат несколько основополагающих идей, которые позволили определить концепцию и программу деятельности, направленные на получение комплексной оценки эффективности регионального управления. В их числе следующие:
1.Качество жизни населения служит интегральным показателем эффективности управления на федеральном, региональном и местном уровнях. Оно складывается из показателей двух уровней. Во-первых, из интегральной оценки уровня жизни населения по четырем основным критериям: показателя ожидаемой продолжительности жизни при рождении; показателя естественного прироста населения; показателя отношения числа разводов к количеству заключенных браков; показателя уровня социального и экономического равновесия в обществе. Во-вторых, из показателей удовлетворенности граждан основными условиями своей жизни. Второй показатель является субъективным, но должен быть обязательно учтен, поскольку качество жизни человека определяется как единство показателей, которые характеризуют уровень реализации потребностей человека и степень удовлетворенности его осуществлением своих жизненных планов (жизненных стратегий), и соотносятся, с одной стороны, с минимальными социальными стандартами, с другой стороны, - с ресурсными возможностями общества.
2.Показатели удовлетворенности качеством жизни населения можно разделить на три группы: во-первых, показатели, характеризующие степень обеспечения права на жизнь, продолжение рода, здоровое существование (символически условное обозначение элемента "жизнь"); во-вторых, оценивающие удовлетворенность повседневными условиями жизни ("благополучие" или "успех"); в-третьих, отражающие представления людей о смысле жизни, об их уверенности в будущем ("надежда").
3.Изменение показателей, выявленное на основе данных статистики и социологии, дает возможность оценить динамику качества жизни и, соответственно, эффективность управления на уровне области.
Регулярный сбор данных о деятельности органов государственного управления призван обеспечивать органы государственного управления, а также другие социальные институты и население информацией о социальной и экономической эффективности управленческой деятельности. Применение единой формализованной методологии сбора показателей результативности деятельности органов государственного управления позволяет создать единую информационную базу, которая может использоваться при принятии управленческих решений, оценке эффективности реализуемых программ и проведении различных исследований.
Обзор существующих методик качества жизни населения
Разработка методики оценки эффективности государственного управления на основе показателей качества жизни предполагает анализ существующих методик измерения качества жизни, число которых довольно велико.
Чаще всего качество жизни оценивается на основе определения индекса развития человеческого потенциала (ИРЧП). Эта методика учитывает три показателя: валовый внутренний продукт на душу населения, ожидаемую продолжительность жизни и уровень образования населения.
Наибольшее распространение в настоящее время получили методики, базирующиеся на критериях качества жизни, предложенных Всемирной организацией здравоохранения. В качестве их обычно выступают физические, психологические показатели, уровень самостоятельности, общественная жизнь, окружающая среда, духовность и их составляющие. Качество жизни при этом рассматривается как индивидуальное соотношение своего положения в жизни общества, в контексте культуры и систем ценностей этого общества, с целями данного индивидуума, его планами, возможностями и степенью общего неустройства. К этой группе методик следует отнести, в первую очередь, методику World Health Organization's Quality of Life Assessments (WHOQOL - 100, WHOQOL - brief), а также целый ряд других методик:
- Quality of Life Index(QLI), разработанную для оценки степени реализации физиологических, социально-экономических, духовных и семейных интересов человека и сравнительной значимости этих интересов;
Nottingham Health Profile (NHP), включающую вопросы, направленные на оценку восприятия жизненных проблем в следующих областях: заработок и занятость, домашнее хозяйство, принятие решений, общественная деятельность, сексуальная жизнь, хобби и увлечения, отдых и затрагивающие такие жизненно важные сферы как боль, физическая подвижность, сон, эмоциональные переживания, жизненный тонус (энергия), социальная изоляция;
- международный опросник SF-36 (SF-12) и др. Однако следует заметить, что опросник SF-36, созданный для определения степени удовлетворения минимальных психометрических стандартов в ходе популяционных исследований, обычно применяется для групповых сравнений с учетом общих концепций здоровья и благополучия, то есть параметров, которые не являются специфичными для различных возрастных или нозологических групп.
Общей чертой данных методик является то, что они базируются на оценке собственного восприятия людьми своей жизненной ситуации. Это восприятие субъективно и различается у конкретных людей.
Кроме того, для оценки качества жизни применяется и ряд других узкоспециальных методик, например, Psychological General Well-Being (PGWB), Angina Pectoris Quality of Life Scale (APQLQ), Arthritis Impact Measurement Scale (AIMS), Health Assessment Questionnaire и пр.
Проблема неадекватности методик оценки качества жизни заключается в том, что сегодня одновременно сосуществует множество концептуальных подходов к определению понятия "качество жизни", что подтверждает мысль, согласно которой качество жизни может рассматриваться как постоянно эволюционирующая философская категория, которая наполняется различным содержанием в зависимости от социального времени и точки зрения авторов. Можно выделить два доминирующих направления. Первое: определение качества жизни как комплексной характеристики жизнедеятельности человека (объективистский подход, поскольку эти характеристики не зависят от сознания и могут быть оценены в системе объективных индикаторов). Второе: определение качества жизни как степени удовлетворенности человеком своими условиями жизни и уровнем ее комфортности (субъективистский подход, поскольку в данном случае многое, если не все, зависит от ценностей и установок конкретного человека). Каждая из этих позиций имеет не только очевидные положительные, но негативные следствия. В первом случае качество жизни максимально сближается с уровнем жизни (а это неверно) и не учитывается отношение человека к своим жизненным условиям. Во втором случае субъективная составляющая отрывается от ее объективных предпосылок.
В целом же, анализ различных подходов к определению качества жизни позволяет сделать вывод о бесперспективности поиска единого понимания данного феномена. Следует признать, что любое определение качества жизни будет вызывать критические замечания в силу неопределенности категориального аппарата.
Предложенная концепция учитывает достоинства этих методик, но при этом:
во-первых, разводит две категории: "качество жизни" и "качество условий жизни", что, несомненно, не одно и то же;
во-вторых, в качестве исходных категорий определяет "потребности" и "ценности", поскольку человеческую жизнь можно рассматривать как процесс реализации потребностей и ценностей (при этом ценности допустимо определять как многократно воспроизведенные потребности, закрепившиеся на ментальном уровне), что, в сущности, означает самореализацию человека;
в-третьих, учитывает деятельностную (функциональную) составляющую, так как качество жизни обретается самими людьми в процессе преобразования среды и самих себя;
в-четвертых, позволяет говорить о качестве жизни как о некоторой мере, в пределах которой самореализуется человек;
в-пятых, объединяет объективные и субъективные показатели жизнедеятельности людей.
Настоящая методика содержит в себе описание методологии и логической схемы проведения, на которых основывается система мониторинга результативности деятельности органов государственного управления. В методике рассмотрен процесс сбора информации, проведения исследований, построения индикаторов и оценки результативности управления.
Использование настоящей методики позволяет проводить оценку результативности деятельности органов государственного управления на основании трех групп индикаторов, отражающих реализацию права на жизнь; условия труда и жизни людей и социальное самочувствие.
В методике рассматриваются следующие основные вопросы:
1) определение целей и задач мониторинга;
2) разработка логической схемы мониторинга;
3) формулировка и выбор подходящих индикаторов;
4) выбор источников и методов сбора данных;
5) составление плана проведения мониторинга;
6) использование полученных результатов при оценке результативности государственного управления.
Внедрение системы мониторинга результативности деятельности
органов государственного управления Белгородской области
Мониторинг результативности деятельности органов государственного управления представляет собой периодический процесс сбора информации с целью определения того, насколько эффективно осуществляется региональное управление, какие при этом происходят изменения и какие издержки сопряжены с указанными процессами.
Мониторингу должны быть присущи такие характеристики:
- периодические замеры, по которым можно судить об их динамике (проведенный анализ позволяет рекомендовать проведение мониторинга один раз в год);
- систематическое выяснение состояния показателей и использование этой информации по каналам обратной связи для принятия оптимальных управленческих решений;
- выработка и реализация преобразовательных управляющих воздействий на объекты, явления и процессы, которые попадают в зону мониторинга, т.е. мониторинг не сводится лишь к измерительно-оценочной деятельности
Проведение мониторинга позволит управляющим органам совершенствовать процесс планирования стратегических решений и корректировать проводимую политику в случае возникновения ошибок, различных ограничений и т.д. Задача мониторинга состоит в отслеживании изменений, которые происходят с течением времени в ресурсах, процессе и конечных результатах, при помощи ведения учетных записей, создания системы регулярной отчетности.
Стратегическое планирование и разработка проекта мониторинга
Стратегическое планирование мониторинга осуществляет аппарат губернатора Белгородской области в сроки до 1 февраля каждого года, в течение которого проводится мониторинг.
При разработке проекта мониторинга необходимо ориентироваться на более рациональное использование ограниченных человеческих и материальных ресурсов с целью достижения желаемых результатов.
Результаты мониторинга необходимо учитывать при принятии управленческих решений. Мероприятия, показавшие свою результативность, могут воспроизводиться в рамках комплексных и целевых программ, а действия, которые не привели к положительным результатам, могут быть в будущем пересмотрены.
Оценка результативности управления
В отношении результативности деятельности органов государственного управления оценку можно определить как набор мероприятий, направленных на определение значения количественного и качественного результата, характеризующего условия жизни людей. Оценка предполагает установление взаимосвязи между конечными или промежуточными результатами и произведенными действиями. Можно выделить две основные фазы или уровня оценки: оценку, основанную на анализе статистических данных, и оценку, основанную на основе социологического опроса. Основные характеристики фаз оценки представлены на рисунке 1.
┌─────────────────────────┐ |
| \Оценканаосноверезультатов | |||||||
Рис. 1. Оценка результативности управления на основе показателей качества жизни населения
Определение целей, задач и показателей результативности
Прежде чем внедрять систему мониторинга для оценки эффективности деятельности органов управления, необходимо определить цели и задачи, которые должны быть решены в ходе мониторинга.
Цели - это те основные результаты, которых хотят достичь в процессе управления. К непосредственным целям можно отнести:
- улучшение демографической ситуации в области;
- улучшение жилищных условий;
- трудоустройство и занятость населения;
- улучшение здоровья населения и медицинское обеспечение;
- повышение уровня жизни и обеспечение стабильности доходов;
- создание условий для доступности качественного образования;
- формирование благоприятной для человека окружающей среды;
- обеспечение безопасности жизни;
- обеспечение доверия к власти и создание эффективных каналов общественного участия.
Структура программы мониторинга
Три важные компоненты определяют структуру мониторинга:
- логическая схема, содержащая формулировку целей и задач и связывающая между собой основные компоненты;
- индикаторы, исчерпывающе определяющие измеряемые показатели;
- методология сбора и анализа данных.
Система качественных показателей мониторинга имеет ряд общих характеристик.
Простота. Система должна напрямую и наиболее простым способом продуцировать все необходимые данные. Анкеты должны быть просты для понимания и заполнения. Это особенно важно, если ресурсы ограничены, а сотрудники выполняют множество других обязанностей.
Гибкость. Система должна легко меняться, особенно в том случае, если текущая оценка показывает, что изменения необходимы или желательны. Например, могут быть поставлены новые стратегические задачи или обостриться специфические для региона проблемы. При этом основной блок мониторинга, связанный с оценкой интегрального показателя уровня жизни, остается неизменным.
Приемлемость для участников. Система будет работать в том случае, если люди желают принимать в ней участие. Важно убедить субъектов государственного управления, с одной стороны, и население, с другой, что конечные пользователи получают нужные им результаты, которые всегда открыты для комментариев и предложений по улучшению.
Надежность. Все пользователи данных, продуцируемых системой мониторинга, должны быть абсолютно уверены в точности этих данных.
Надежные данные обладают высокой сензитивностью (т.е. определяют все индикаторы) и позитивной предсказывающей ценностью. Это необязательно результат полного охвата, но охват должен в равной степени отражать настроения всех наиболее значимых статусных групп с учетом основных геосоциальных зон. В Белгородской области целесообразно выделить такие зоны, как город Белгород и окружающие районы; Старооскольско-Губкинский регион; малые города области; сельские районы.
Практичность. Система должна быть практичной и доступной. Не нужно создавать лишнюю нагрузку на персонал и бюджет организации.
Устойчивость. Система должна функционировать при минимуме затрачиваемых усилий, легко поддерживаться и обновляться, продолжая служить своим целям с момента ее организации.
Своевременность. Система должна продуцировать по необходимости самую современную информацию.
На рисунке 2 наглядно представлена схема логически последовательных шагов мониторинга.
Л >
социологического
V
Оценкасистемымониторинга>Обработка данных
V
Интерпретацияданных
Использованиерезультатов<
V V
Население Международныеорганизации Частный сектор и
некоммерческие
организации
V V
Органы государственного и Другие общественные организации
Муниципального управления |
| ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Рис. 2. Этапы мониторинга
Проектирование и построение системы мониторинга
Представляется необходимым в данной части методики подробно остановиться на этапе проектирования и построения системы мониторинга. Реализация мониторинга требует осуществления двенадцати основных шагов в этом направлении (представлены на рисунке 3).
┌────────────────────────────┐ системы 4.Определениеисточников< данных показателейииндикаторов" V 6.Информированиеи 5.Оценкадоступныхресурсов>привлечение участников V > > данных< отчетов |
| 2.Определениецелей V | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Рис. 3. Проектирование и построение системы мониторинга
Основные этапы (шаги) мониторинга
Шаг 1. Идентификация "организаторов" мониторинга
Основным "Организатором" системы мониторинга должен выступать аппарат губернатора Белгородской области. В мониторинге могут принимать участие в организации и частные лица, временные творческие коллективы, которые смогут осуществлять сбор и обработку данных. Чтобы определить всех потенциальных "совместных организаторов", необходимо ответить на следующие два вопроса.
1.Кто заинтересован в результатах мониторинга?
Ответ на этот вопрос поможет получить список потенциальных "совместных организаторов", который включает лиц, принимающих решения, работающих в общественных организациях или в неправительственных организациях, в муниципальных структурах,
2.Кто еще может стать возможным участником?
Для этого необходимо оценить возможность участия других организаций, которые могут быть заинтересованы в сборе или использовании данных мониторинга результативности деятельности органов государственного управления. Необходимо принять во внимание общественных лидеров, которые имеют возможность помочь получить поддержку широкой общественности, политических органов и других влиятельных групп.
Шаг 2. Определение целей системы
Необходимо четко определить, чего следует достичь с помощью системы мониторинга, ответив на следующие вопросы.
1.Зачем органам государственного управления необходима система мониторинга?
Возможны следующие ответы:
- для улучшения системы управления;
- для улучшения качества предоставляемых населению услуг;
- для определения проблем, которые требуют первоочередного решения;
- для получения данных, которые важны при принятии управленческих решений (например, как распределить ограниченные ресурсы, чтобы получить наилучшие результаты);
- для контроля и оценки эффективности управления.
2.Должна ли система мониторинга быть всесторонней (т.е. охватывать все сферы общественной жизни региона) и/или лучше сосредоточиться на отдельных приоритетных направлениях?
Предпочтительнее сосредоточиться на отдельных приоритетных направлениях, так как это позволяет получить наиболее важную информацию при минимуме затраченных ресурсов.
Шаг 3. Определение "ключевых показателей и индикаторов"
После того как определены цели и задачи мониторинга, необходимо выявить индикаторы для измерения степени достижения поставленных целей. Индикаторы служат для измерения отдельных составляющих логической схемы мониторинга.
Выбор показателей и индикаторов
Выбор показателей и индикаторов зависит как от типов данных, имеющихся в распоряжении организации, осуществляющей мониторинг, так и от того, какие показатели можно реально отследить при имеющихся ресурсах и возможностях. Процесс выбора должен начинаться с анализа того, какие данные могут быть доступны и каковы возможности по сбору дополнительной информации. Если отдельные показатели пока недоступны для оценки, их нужно включать в систему мониторинга только в том случае, если есть реальная возможность разработать механизмы сбора и анализа данных, применяемых для построения таких индикаторов. С учетом сказанного выше, выбор показателей должен осуществляться в соответствии со следующими принципами:
- выбор показателей не должен создавать необоснованных затруднений для тех, кто осуществляет сбор информации;
- показатели должны, по возможности, строиться из существующих источников данных;
- если в каких-то случаях возникают проблемы с источниками данных, отсутствует необходимая информация или существующие данные неточны, то должны предприниматься усилия для повышения надежности существующих ресурсов или создания новых источников адекватной информации;
- показатели должны измерять степень достижения поставленных целей регионального управления и отражать их изменение в рамках разработанной логической схемы мониторинга;
- индикаторы, характеризующие показатели, должны быть количественными и допускать измерение, повторяющееся с течением времени; в крайнем случае, индикаторы должны отражать два взаимоисключающих варианта ответа на поставленный вопрос.
При разработке системы мониторинга необходимо выбрать показатели, удовлетворяющие указанным выше свойствам. Не должны выбираться такие показатели, которые необоснованно сложно измерить, построить, которые не связаны с исследуемыми в рамках программы мониторинга проблемами.
После того как установлены критерии для выбора подходящих показателей, следующий шаг состоит в определении индикаторов. Определение индикаторов можно осуществлять в следующей последовательности:
1) выбрать ограниченный набор показателей, соотносящихся с целями программы мониторинга;
2) для каждого из показателей определить способы сбора соответствующих данных;
3) для всех показателей создать и заполнить единую форму, в которой должны быть определены сами показатели, их значимость (насколько индикаторы важны в соответствии с теми показателями, которые они отражают) и определенный с учетом этой значимости индикатор;
4) расставить приоритеты в соответствии со значимостью индикаторов и простотой сбора данных;
5) сгруппировать выбранные показатели по источнику данных для облегчения последующего сбора информации;
6) определить, какие способы сбора информации будут применяться и какие для этого потребуются ресурсы.
Необходимо учесть, индикаторы являются количественными характеристиками общих показателей и обладают рядом свойств:
- индикатор изменяется в зависимости от территории, группы, а также во времени;
- индикатор должен быть чувствительным к изменениям в общественном мнении;
- индикатором нельзя манипулировать для отражения несуществующих достижений;
- индикатор должен быть доступным для отслеживания с течением времени;
- для отслеживания индикатора не требуется существенных затрат.
Постановка задач для индикаторов.
После выбора индикаторов полезно оценить их начальные или базисные значения, а также определить задачи для индикаторов или, по крайней мере, для некоторых из них. Базисные значения индикаторов можно получить из имеющихся статистических данных, если имеется соответствующая информация, при условии, что данные обладают приемлемым качеством. В том случае, если для какого-либо индикатора не существует данных, базисное значение можно взять из предварительной оценки, которая позже может быть пересмотрена, или оно может быть получено в течение некоторого времени.
Наиболее перспективной представляется двухуровневая система показателей и индикаторов.
Первый уровень: интегральный показатель оценки уровня жизни. Он рассчитывается на основе данных статистики по следующей методике.
Таблица 1
Методика интегральной оценки уровня жизни
| N | Показатели качества жизни населения | Индикаторы |
| 1 | Индекс продолжительности жизни населения Ипрж (+) | Отношение средней продолжительности жизни к максимально достигнутой |
| 2 | Индекс воспроизводства Ив(+) | Отношение количества родившихся к умершим |
| 3 | Индекс неустойчивости семьи Инс (-) | Отношение количества разводов к количеству браков |
| 4 | Индекс социальной справедливости Исс(+) | Отношение суммы доходов 10 процентов самой бедной части населения к сумме доходов 10 процентов самой богатой |
В ходе апробирования методики мониторинга группой независимых экспертов была проведена экспертиза значимости каждого показателя и установлены следующие весовые коэффициенты:
Ипрж = 0,54;
Ив = 0,18;
Инс = - 0,12;
Исс = 0,4.
Таким образом, интегральную оценку качества жизни в этом случае можно рассчитать по следующей формуле:
Иокж = 0,54 х Ипрж + 0,18 х Ив - 0,12 х Инс + 0,4 х Исс
Вторая группа показателей и индикаторов представляет собой показатели и индикаторы, характеризующие социальное самочувствие населения Белгородской области.
Их можно разделить на две группы. Первая - универсальные показатели, характеризующие общую удовлетворенность жизнью в ее статике и динамике. В первом случае определяется общая оценка своих жизненных условий; во втором - их динамики за последние несколько лет.
Вторая группа - конкретные показатели удовлетворенности.
Опыт проведения исследований по проблемам качества жизни и регионального управления позволяет структурировать их в соответствие с целями управления (таблица 2). При этом особую проблему представляет оценка весовых значений каждого индикатора. Она определяется на основе выявления средневзвешенного коэффициента полученных оценок в интервале от + 1 до - 1.
Таблица 2
Индикаторы оценки
субъективных показателей качества жизни населения
| Цели управления | Показатели оценки | Коэффициент, определяющий значение индикатора (средневзвешенный коэффициент оценки ответов на вопросы анкеты) |
| 1 | 2 | 3 |
| Улучшение демографической ситуации | Репродуктивные планы (количество планируемых детей в семье) | |
| Улучшение жилищных условий | Удовлетворенность качеством жилья | |
| Трудоустройство и занятость | Удовлетворенность работой | |
| Улучшение здоровья населения и медицинского обслуживания | Оценка доступности качественного медицинского обслуживания | |
| Повышение уровня жизни | Оценка уровня материального благополучия | |
| Создание условий для доступности качественного образования | Представление о доступности качественного образования | |
| Формирование благоприятной для человека окружающей среды | Оценка состояния окружающей среды | |
| Обеспечение безопасности жизни | Ощущение собственной безопасности и безопасности близких | |
| Обеспечение доверия к власти и создание эффективных каналов общественного участия | Уровень доверия к власти |
Разумеется, вторая группа индикаторов является в значительной степени субъективной, что логически вытекает из представления о феномене качества жизни. Однако выстроенные в соответствии с годами проведения мониторинга в динамические ряды, они позволяют отследить изменение ситуации в регионе и дополнить объективные показатели.
Шаг 4. Определение источников данных
Основными источниками данных для мониторинга являются данные статистики и результаты социологического опроса.
При оценке и выборе потенциальных источников данных для проведения мониторинга задача заключаются в том, чтобы:
- определить, какие источники содержат наибольшее количество необходимых данных;
- установить взаимодействие с организациями, ответственными за сбор этих данных;
- разработать механизмы для сбора, обработки, интерпретации и предоставления данных.
Шаг 5. Оценка доступных ресурсов
При организации мониторинга необходимо рассмотреть ресурсы, которые уже имеются, либо те, которые необходимо получить. Они могут включать:
- сотрудников, достаточно квалифицированных для того, чтобы заполнять, собирать статистические и (или) извлекать из них необходимую информацию, обрабатывать их и составлять отчеты;
- оборудование и подручные материалы (например, компьютеры (имеющиеся в наличии или доступные), надежный источник электричества для работы компьютеров, ручные средства, бланки, компьютерные дискеты).
Также необходимо рассмотреть условия, в которых будет происходить мониторинг, особенно на первых этапах, т.е. во время опроса людей, глубинных интервью. Важно, чтобы окружающая обстановка и люди, проводящие анкетное интервью, располагали к сообщению информации. Достаточно ли комфортным для интервьюируемого является то место, где происходит беседа?
Важным вопросом является также вопрос о возможностях электронной обработки информации (имеется ли надежный источник электричества). Оптимальной для обработки данных является ДА-система. В Белгородской области уже имеется опыт ее использования.
Шаг 6. Информирование и привлечение участников мониторинга
Следующим шагом является информирование и привлечение всех организаций, которые были определены как возможные участники системы мониторинга. Необходимо убедить участников в том, что мониторинг будет для них полезен и обеспечить их участие в нем. В конечном счете, привлечение людей, заинтересованных в результатах мониторинга, к разработке и использованию системы мониторинга будет весьма полезно. Они почувствуют себя полноправными участниками завершенной системы, и это сделает ее более устойчивой.
Шаг 7. Определение инструментов сбора данных
Какой объем данных и какого типа необходимо будет собрать зависит от приоритетов, а также имеющихся в наличии ресурсов. Определение инструментов сбора данных во многом зависит от целевой группы исследования результативности управления, в которую могут входить как представители государственных и муниципальных учреждений, так и внешние эксперты.
Следующим шагом после определения целевой группы будет планирование выборки. После построения дизайна выборки следует выбрать соответствующие цели и методы сбора информации. В принципе это могут быть различные социологические методы: проведение интервью, фокус-групп, анкетных опросов, анализа документов, прямого наблюдения и т.д. Для каждого выбранного метода необходимо подготовить рабочий материал - инструкции интервьюерам, опросные листы, бланки анкет и т.д. Необходимо отметить, что выбор метода сбора данных и применяемых инструментов зависит от имеющихся в наличии ресурсов, временных рамок и требований к получаемой информации. Также важно определить, какие показатели отчетности учреждений могут использоваться для дальнейших исследований.
Опыт Белгородской области показал, что наиболее эффективным методом сбора социологической информации являются анкетирование населения и экспертный опрос.
Шаг 8. Сбор данных
При сборе данных необходимо иметь в виду, что важность данных должна соизмеряться со стоимостью их получения. Следует определить, кто будет собирать данные и где это будет происходить. Для сбора данных целесообразно использовать подготовленных анкетеров, имеющих опыт проведения социологических исследований.
Шаг 9. Обработка данных
Системы обработки данных могут быть только электронными. Каким бы ни был метод обработки данных, важно, чтобы при хранении данных и процедуре обработки сохранялся принцип конфиденциальности личной информации, предоставленной респондентом. Следует всегда помнить, что респонденты - важные участники системы, их вклад должен признаваться и уважаться.
Шаг 10. Анализ данных. Разработка и отсылка отчетов
Следующим шагом является составление основных отчетов системы мониторинга, для которых устанавливается определенная частота написания и рассылки. Эти отчеты являются средством передачи результатов мониторинга всем заинтересованным лицам. Отчет должен составляться и распространяться по крайней мере ежеквартально. Однако при принятии решения о разработке отчетов и частоте их написания должны учитываться потребности всех участников мониторинга.
Если используются электронные средства обработки данных, написание базовых отчетов должно осуществляться оперативно. Если все участники имеют доступ к компьютерам и выход в Интернет (или во внутреннюю локальную сеть), то имеется возможность отсылать и получать самую свежую информацию.
Шаг 11. Подготовка персонала и активизация системы
В предыдущих шагах активное участие принимали все участники мониторинга. Чтобы укрепить желание людей участвовать в системе, необходимо планировать и осуществлять их подготовку по работе с системой и использованию данных, принимая во внимание долю их участия. Подготовка должна осуществляться на трех уровнях, все участники должны пройти первый уровень, некоторые - второй и лишь отдельные - третий уровень (см. табл. 3).
Таблица 3
Рекомендации по уровням подготовки персонала,
принимающего участие в системе мониторинга
| Уровень подготовки | Категория обучающихся | Содержание подготовки |
| I | Все участники мониторинга, от руководителей и сотрудников, оперирующих системой, до конечных пользователей | Знакомство с системой мониторинга результативности деятельности; обзор системы, включая ее цели и возможности применения |
| II | Все участники, которые заполняют бланки и обрабатывают данные | Детальное изучение бланков с акцентом на понимании классификации данных и их кодирования; умение получить необходимые данные от респондента, убедить их участвовать в интервью, обеспечить конфиденциальность |
| III | Все, кто принимает участие в кодировании и обработке данных и должен быть знаком с методами обработки данных и программным обеспечением | Практические занятия по извлечению данных из бланков и их кодированию; оперирование ручной и электронной системой обработки данных |
Система мониторинга может стать частью обучающих занятий. Как только люди становятся экспертами по заполнению бланков и обработке данных, эта работа может стать частью их повседневных обязанностей. Документы, определяющие системные процедуры и материалы для подготовки, должны быть всегда доступны для ознакомления и подготовки новичков.
Шаг 12. Мониторинг и оценка системы
Система мониторинга нуждается в постоянном контроле и периодической оценке, которые необходимы для быстрого выявления и устранения проблем. Следует назначить человека, который будет ежедневно контролировать систему и сообщать о возникших проблемах. Он должен незаметно контролировать интервьюеров по мере заполнения бланков, бланки также должны проверяться.
По завершении полевого этапа работы системы должна быть проведена детальная оценка для определения степени достижения поставленных целей, а именно:
- способности системы определять все случаи, попадающие в рамки системы мониторинга, правильно записывать и классифицировать данные по каждому случаю;
- точности и качества отчетов;
- простоты использования анкет и системы обработки данных (т.е. насколько анкеты и системные процедуры доступны для понимания; насколько легко получать информацию от опрашиваемых граждан);
- соответствия и полезности данных, продуцируемых системой, для конечных пользователей.
Ниже представлена логическая схема всех процессов мониторинга результативности деятельности органов власти.
Логическая схема представляет собой управленческий элемент, служащий для стратегического планирования и управления программой, а также играет основную роль в организации мониторинга и оценки. Логическая схема содержит в себе способы представления результатов процесса, что делает возможным систематическое логическое установление целей и задач проекта, способов достижения конечных результатов и проведения возможных мероприятий. В сокращенном виде логическая схема может быть записана в виде следующей таблицы (таблица 4):
Таблица 4
Логическая схема мониторинга
| Цели | Задачи | Мероприятия | Индикаторы |
Эффективное построение логической схемы процесса мониторинга предполагает:
- применение методики мониторинга и ее оценки;
- определение основных факторов, определяющих успешность/неуспешность реализуемых мероприятий;
- определение таких показателей, которые могут быть достаточно точно определены и измерены через индикаторы;
- наличие потенциальных возможностей изменения применяемой методики.
Сбор данных
Определение требований к данным
Как уже отмечалось, при проведении мониторинга важно отслеживать как промежуточные, так и конечные индикаторы, характеризующие состояние каждого показателя. Лишь отклонение показателей результатов от ожидаемых включает всю систему непрерывного улучшения качества мониторинга. Возникшая проблема анализируется, и выбирается наиболее эффективный способ ее решения.
Хорошо разработанная система мониторинга государственного управления должна содержать данные обо всех категориях показателей и индикаторов. Необходимая информация может собираться с помощью разнообразных инструментов различными организациями.
С точки зрения исследуемых данных функции мониторинга и оценки формируются тремя основными факторами:
- рамками исследования, зависящими от того, какие вопросы исследуются; мониторинг также может проводиться для оценки результативности отдельной программы или на регулярной основе;
- временным периодом, в течение которого собираются данные, или частотой сбора данных;
- определением некоторой связи между индикаторами.
Эти три фактора во многом определяют выбор различных источников информации и способы сбора данных.
В перспективе в ходе мониторинга могут применяться альтернативные подходы, включающие в себя глубинные интервью, интервью с основными информаторами, обсуждения в фокус-группах и различные типы наблюдений, могут дополнить широкомасштабные структурированные исследования, проводящиеся в определенном районе, или среди клиентов определенных учреждений. Такой подход способствует более углубленному анализу результативности проводимых мероприятий. Хотя эти альтернативные подходы необязательно входят в регулярную систему исследований в сфере регионального управления, они могут играть важную роль при разработке политики и планировании системы мониторинга и оценки.
Источники и инструменты сбора данных
Под источником сбора данных понимается механизм или метод получения информации. Под инструментом сбора данных понимается физический носитель, используемый для сбора и хранения данных (например, оценочные карты, анкеты таблицы, базы данных и т.п.).
При исследовании эффективности государственного управления может применяться широкий спектр источников данных и инструментов сбора информации. В дальнейшем будут рассматриваться те источники и инструменты, которые могут использоваться с целью создания информационной базы для мониторинга и оценки эффективности государственного управления.
Выбор индикаторов и источников сбора данных происходит параллельно, Например, наличие ресурсов определяет, возможно ли проведение исследования населения и, как следствие, использование индикаторов, базирующихся на характеристиках опрашиваемых. Стоимость сбора информации обычно зависит от детальности и качества данных.
Как только индикаторы определены, основное внимание исследователь должен уделить тому, каким образом предполагается получить необходимую для построения индикатора информацию. Хотя каждый метод сбора данных предполагает применение индивидуального подхода на отдельные вопросы, присущие всем механизмам получения информации, следует обратить внимание. В табл. 5 приведены вопросы, которым должно быть уделено внимание при выборе источников и инструментов сбора информации.
Таблица 5
Основные подходы к выбору источников данных
и инструментов исследования
| 1. Цели и задачи | Какие индикаторы могут быть получены из собираемых данных? Подходит ли выбранный метод сбора информации для выработки этих индикаторов? |
| 2. Единицы наблюдения/анализа | Где будет проведен анализ? По какому принципу будет определена целевая группа? Как будут отбираться опрашиваемые респонденты? |
| 3. Обеспечение качества данных | Какие процедуры должны быть предусмотрены, чтобы обеспечить высокое качество собираемых данных? |
| 4. Разработка опросного инструментария | Будет ли собираться дополнительная информация? Какие инструменты будут использованы? Легко ли использовать инструменты? Сколько времени займет процесс сбора информации и сколько времени будет уделено основным элементам? |
| 5. Сбор данных | Как и кто будет руководить процессом сбора данных? Были ли разработаны стандартные инструкции? Понадобится ли проведение обучающего семинара? Как будет контролироваться сбор данных? |
| 6. Сортировка, хранение и проверка данных | Как данные будут храниться? Понадобятся ли компьютеры? Как данные будут проверяться и редактироваться? Как будет производиться отбор необходимых индикаторов? |
| 7. Анализ | Кто будет проводить анализ? Как будет проводиться анализ? |
| 8. Отчетность и использование данных | Как и кому будет представлен аналитический отчет? Как будет использоваться информация (например, для изменения или улучшения деятельности по реализации программы)? |
| 9. Ресурсы | Кто должен заниматься сбором данных? Сколько это будет стоить? |
| 10. Этические вопросы | Как получить согласие респондентов на проведение обследования? Как обеспечить конфиденциальность? |
Виды источников сбора данных
Основные источники информации, используемой при проведении мониторинга эффективности государственного управления, и соответствующие им инструменты сбора данных приведены в табл. 6. Следует отметить, что разделение источников, приведенное в таблице, является условным и, в принципе, разделы могут перегруппировываться в зависимости от исследования. В следующих разделах эти источники и инструменты будут рассмотрены более подробно.
Таблица 6
Источники информации и инструменты сбора данных
| Источники данных | Инструменты сбора данных |
| Собираемая статистика | Отчетные формы |
| Управленческая информация | Приказы, распоряжения, указания |
| Опрос населения | Анкеты, опросные формы |
| Опрос экспертов: - неструктурированные или полуструктурированные глубинные интервью, | Анкеты, опросные формы: - план обсуждаемых вопросов, - детальное стенографирование или (видео) запись беседы, |
| - обсуждение в фокус-группах | - план обсуждаемых вопросов, - детальное стенографирование или (видео) запись беседы |
| Прямое наблюдение | Схема наблюдения, списки вопросов |
Качество данных
Качество информации может варьироваться, поэтому при использовании информации в дальнейших исследованиях при оценке эффективности государственного управления необходимо организовать проверку качества собираемых данных. Проверка должна предполагать контроль за вносимой в отчетные формы и базы данных информацией. Когда все сопутствующие проблемы будут выявлены, необходимо предпринять шаги для улучшения качества данных. Необходимо проверить, все ли отчетные формы правильно заполнены, для всех ли опрашиваемых лиц, возможно ли на основании собранной информации построить надежные индикаторы.
Организационный механизм мониторинга
Потенциально возможны три модели организации мониторинга, каждая из которых имеет свои позитивные и негативные черты.
Первая модель предполагает осуществление его силами, главным образом, самих управленческих структур. Несомненным достоинством этой модели является максимальная управляемость, использование служебной информации. Кроме того, данная модель сводит к минимуму абстрактное теоретизирование, подчиняет мониторинг прагматическим целям. Но рассматриваемая модель не лишена ряда недостатков. Прежде всего, они связаны с дефицитом квалифицированных специалистов в области социальной диагностики в органах государственной власти. Поэтому мониторинг осуществляется в лучшем случае на основе заимствованных и не всегда адаптированных к конкретным условиям методик, в худшем - на основе соображений здравого смысла.
Вторая модель оценки кадровых процессов связана с ангажированием независимых специалистов и экспертов. Она также имеет свои положительные и отрицательные стороны. К положительным чертам, в первую очередь, относится то, что мониторинг в данном случае осуществляют квалифицированные специалисты. Это обеспечивает большую объективность и достоверность полученных данных, возможность их эмпирического и теоретического анализа, сопоставление с результатами других исследований и выявление на этой основе наиболее существенных взаимозависимостей и даже закономерностей. Независимые исследователи более, чем специалисты, включенные в состав органов власти и управления, свободны от субъективности. Однако их деятельность также содержит в себе ряд негативных моментов. Прежде всего, они связаны с трудностями получения исходной информации. Известная закрытость органов государственного и муниципального управления проявляется в данном случае в нежелании представленных в них работников идти на сотрудничество с учеными. Особенно в тех, что связаны с оценкой деятельности представляемых ими управленческих структур и непосредственных руководителей.
Неполная доступность и частичная закрытость информации о характере кадровых изменений обусловливают очевидную неполноту исходной базы мониторинга. Негативно влияет на ее результаты и относительно слабое знакомство исследователей "со стороны" с реалиями функционирования механизма регионального управления. Все это снижает ценность внешней модели.
Третья модель может быть определена как комбинированная. Она реализуется при участии государственных структур, общественных объединений и внешних (независимых исследователей). На наш взгляд, эта модель наиболее эффективна и перспективна, поскольку минимизирует издержки, присущие двум первым моделям, и усиливает их позитивные стороны. Несомненными преимуществами комбинированной модели являются:
- соединение методологически обоснованного теоретического анализа с исследованием опыта практической деятельности;
- возможность сопоставлять данные, полученные исследователями в различных регионах;
- относительно высокая степень независимости осуществляющих диагностику структур, позволяющая интерпретировать полученные результаты не только под углом зрения практических задач и групповых интересов, но и с точки зрения социально-исторической перспективы;
- наличие всех видов ресурсов;
- координация усилий ученых и управленцев-практиков.
Ниже представлена организационная схема осуществления этапов мониторинга.
Таблица 7
Организационная схема этапов мониторинга
| N | Название этапа | Участники |
| 1 | 2 | 3 |
| 1 | Идентификация "организаторов" мониторинга | Аппарат губернатора области |
| 2 | Определение целей | Аппарат губернатора области |
| 3 | Определение "ключевых показателей и индикаторов" | Рабочая группа, эксперты |
| 4 | Определение источников данных | Аппарат губернатора области рабочая группа |
| 5 | Оценка доступных ресурсов | Аппарат губернатора Белгородской области, рабочая группа |
| 6 | Информирование и привлечение участников мониторинга | Средства массовой информации |
| 7 | Определение инструментария сбора данных | Рабочая группа |
| 8 | Сбор данных | Рабочая группа |
| 9 | Обработка данных | Рабочая группа |
| 10 | Анализ данных. Разработка и предоставление отчета | Рабочая группа |
| 11 | Подготовка персонала и активизация системы | Аппарат губернатора области, рабочая группа, образовательное учреждение |
| 12 | Мониторинг и оценка системы | Аппарат губернатора области, эксперты |