скачать книгу бесплатно
Оценка эффективности НКО: методология и результаты исследования
Андрей Владимирович Мозолин
Предлагаем вашему вниманию итоги проекта «Методика оценки эффективности НКО, работающих в области профилактики потребления психоактивных веществ и реабилитации лиц, страдающих химической зависимостью», реализованного Центром «Аналитик» в 2009 году.В тексте представлена авторская методология, а также результаты исследований, проведенных в Тюменской, Свердловской, Челябинской областях и Пермском крае.Разработанный подход не только не утратил своей актуальности, но и может быть использован для анализа НКО, осуществляющих свою деятельность в самых разных сферах.Книга будет интересна для специалистов органов власти, осуществляющих взаимодействие с общественными организациями, руководителям и сотрудникам НКО, студентам и магистрам, обучающимся по специальностям «социология», «социальная работа», «политология».
Андрей Мозолин
Оценка эффективности НКО: методология и результаты исследования
Методология исследования
ОБЩИЕ ПОЛОЖЕНИЯ
ЦЕЛЬ И ГЕОГРАФИЯ ПРОЕКТА
Цель проекта – определить адекватные современной российской ситуации критерии оценки социально-экономической эффективности некоммерческих организаций, работающих в сфере профилактики потребления ПАВ и реабилитации лиц, страдающих химическими зависимостями (далее – НКО).
1. Исследование реально существующей практики оценки НКО своей социально-экономической эффективности.
2. Исследование моделей оценки социально-экономической эффективности НКО различными общественными группами:
– представителями власти;
– представителями СМИ;
– представителями бизнеса;
– получателями услуг НКО;
– лидерами НКО;
– экспертами в сфере деятельности НКО.
3. Анализ отечественных и зарубежных моделей оценки социально-экономической эффективности НКО в аспекте применимости в современной российской практике.
4. Разработка проекта методики оценки социально-экономической эффективности НКО в современной российской ситуации и процесса ее публичной презентации.
5. Распространение информации о результатах проекта для всех заинтересованных сторон с целью дальнейшей апробации методики.
География проекта включает в себя Свердловскую, Тюменскую, Пермскую и Челябинскую области. В рамках исследования будут выяснены мнения различных групп общественности (объект) относительно критериев оценки эффективности деятельности НКО (предмет). Поскольку перед нами стоит задача разработки комплексной методики, нам необходимо учитывать мнение всех представителей всех социальных групп, прямо или опосредованно взаимодействующих с некоммерческими организациями.
В нашем проекте, при определении набора данных групп, мы исходили из следующей логики. В связи с тем, что основной характеристикой выступает качество взаимодействия, то здесь, первую очередь, нас интересовало мнение тех, с кем взаимодействуют – это лидеры и сотрудники НКО.
Во-вторых, это получатели услуг, предоставляемых некоммерческими организациями. Поскольку деятельность НКО взаимосвязана со всеми субъектами гражданского общества, то следующими объектами нашего исследования являются представители органов власти различного уровня, бизнеса и средств массовой информации. Естественно, что, в конечном счете, работа НКО должна находить резонанс в том социуме, где организации осуществляют свою работу, то в качестве отдельного объекта мы выделили изучение содержания общественного мнения обычных людей, проживающих на территории выбранных нами областей.
Последней группой, чье мнение нам также необходимо для получения комплексной оценки – это представители экспертного сообщества. В данном случае, на наш взгляд, целесообразно привлечь в качестве экспертов членов Общественных Палат субъектов федерации.
В заключении, нам хотелось бы прояснить еще ряд аспектов концепции нашего исследования.
1.) При осуществлении проекта мы будем опираться на деятельность реабилитационных центров, находящихся на территории указанных выше областей. На сегодняшний день их число составляет: Свердловская область – 10, Тюменская область -10, Челябинская область – 10 и Пермская область – 5. На наш взгляд, такой выбор обоснован тем, что позволяет выявить специфику не только собственно деятельности НКО, но и учесть особенности различных регионов.
2.) Поскольку предмет исследования является одинаковым для всех опрошенных (принципиальная разница состоит только в том, что каждая группа респондентов формулирует критерии оценки работы НКО исходя из уровня своего взаимодействия), ниже мы опишем только объекты и методы сбора информации по каждому из них.
КОНТРОЛЬ ДОСТИЖЕНИЯ ПОСТАВЛЕННЫХ ЦЕЛЕЙ
В данном проекте нами будут использованы количественные и качественные методы сбора информации. Это обусловлено как спецификой объектов исследования, так и глубиной данных, которые нам необходимо получить.
Обработка и контроль результатов
Обработка анкет по количественным исследованиям осуществляется в программе Vortex 7, позволяющей обмениваться исходными данными с Microsoft Excel; SPSS; ДА; Microsoft ACCESS. Все результаты анализа в виде таблиц, текста, графиков и диаграмм могут быть перенесены в Microsoft Word или скопированы в Microsoft Excel или другие приложения Windows.
Контроль процесса обработки данных осуществляется научным руководителем проекта на основе выборочной проверки качества работы операторов ввода данных. Итоговыми параметрами проверки является электронная база данных по каждому исследованию, полностью отражающая характеристики выборочных совокупностей, что обеспечивается 100% внесением данных всех анкет. Базы данных сохраняются в форматах SPSS.
Методика обработки результатов качественных исследований включает в себя несколько основных этапов:
1. Транскрибирование аудио- и видеозаписей экспертных интервью и фокус групп.
2. Формирование списка кодировочных категорий.
3. Группировка данных.
Верификация результатов
Верификация результатов осуществляется следующими процедурами:
1. проведением «пилотажного» исследования для тестирования инструмента по каждому исследованию. В рамках «пилотажа» по каждому объекту будет опрошено до 15 респондентов. По итогам «пилотажных» исследований подготавливается методологическое заключение об инструменте и, при необходимости, проводится его корректировка.
2. включением в анкеты вопросов (не более 2-х), по которым уже проводились опросы на данных территориях. Источники вопросов: открытые данные на сайтах ВЦИОМа и Госкомстата. Результаты, полученные в ходе опросов не должны отличаться от результатов ВЦИОМ и/или Госкомстата больше статистической ошибки +5%.
Характеристика итоговых результатов
Итогом исследований являются аналитические отчеты, отражающие в себе структуру параметров оценки эффективности деятельности некоммерческих организаций с точки зрения перечисленных выше групп, взаимодействующих с НКО.
ТЕОРЕТИЧЕСКАЯ ОСНОВА ПРОЕКТА
Центральная методологическая проблема, как уже говорилось ранее, состоит в отсутствии адекватных подходов для оценки эффективности НКО. В коммерческом секторе основным критерием подобной оценки является рентабельность (прибыльность) компании, что не применимо для НКО, осуществляющих коммерческую деятельность только для достижения уставных целей.
Тем не менее, функционирование и коммерческих компаний, и НКО во многом строится на основе общих принципов, что позволит нам использовать уже имеющиеся инструменты (напр., SWOT-анализ) для достижения поставленной цели. К сожалению, это не приближает нас к решению ключевой проблемы – интерпретации «эффективности» для НКО.
Анализ различных подходов к диагностике эффективности организаций особых результатов не дал, хотя позволил нам определиться с теоретическими рамками нашей работы.
Цель любой НКО состоит в решении социальной проблемы. Это предполагает, что организация, используя внутренний потенциал, воздействует на свою социальную среду для достижения (краткосрочных и долгосрочных) последствий, ведущих к исчезновению проблемы. При этом, возможность реализации данной цели будет зависеть как от внутренней устойчивости организации, так и от наличия сбалансированной системы ее отношений с внешней средой. При этом, сбалансированность проявляется в адекватной реакции менеджмента организации на постоянное изменение внешнего окружения.
Насколько оптимально организация управляет внутренними элементами, насколько гибко реагирует на внешнее окружение в решении социальных проблем, настолько она устойчива и эффективна.
Во многом описанная логика совпадает с концепцией устойчивого развития, под которым «понимается оптимизация возможных последствий (краткосрочных и долгосрочных) деятельности организации как для собственных сотрудников, так в широкой социальной среде».[1 - Как правило ориентируются на последствия в экономической, социальной и экологической сферах. Более подробно см. Руководство по составлению GRI на http://www.globalreporting.org]
Данный подход позволяет нам еще больше конкретизировать предметное поле исследования и (на самом общем уровне) трактовать эффективность НКО с позиций устойчивого развития. Эффективная некоммерческая организация – устойчиво развивающаяся (т.е. оптимально управляющая внутренними элементами и системой внешнего взаимодействия) и позитивно влияющая на социальную среду для решения общественно значимых проблем.
Однако, помимо собственно системных характеристик, обуславливающих устойчивость организации, необходимо сформулировать еще одну группу параметров. Поскольку любая организация (как мы уже сказали) создается для достижения конкретных целей, то нам для анализа потребуется введение понятия «результативность». Результативность обследуемых НКО определяется решением значимой социальной проблемы – противодействия распространению наркомании.
При этом, пытаясь достичь поставленной цели, НКО выполняют определенные функции. В частности, мы можем выделить следующие:
– производство общественных благ и услуг в сфере противодействия распространению наркомании;
– поддержка гражданских инициатив и коллективных действий по противодействию распространению наркомании.
Выделенные функции позволят нам не только более детально рассмотреть взаимосвязи между различными элементами организации, но и (что для нас в данном случае важнее) определить содержание и качественные изменения, которые должна вызывать организация в ходе достижения поставленных целей.
Таким образом, методологическими основаниями для определения как исследовательских задач, так и выделения параметров для эмпирической интерпретации, в нашем проекте будут являться:
– устойчивость (внешняя и внутренняя) развития НКО;
– результативность НКО.
В свою очередь, это позволяет сформулировать следующие исследовательские задачи.
ИССЛЕДОВАТЕЛЬСКИЕ ЗАДАЧИ
Выявить основные характеристики НКО, свидетельствующие об ее результативности и устойчивом функционировании.
Это предполагает:
описание факторов внутренней устойчивости организации и выявление степени их значимости для эффективного функционирования НКО
Определение степени воздействия и взаимодействия НКО с группами (проблемами), составляющими внешнюю среду организации.
Таким образом, цель данного исследования состоит в описании (по возможности) всех факторов, влияющих на эффективность работы НКО в данной сфере и обуславливающих необходимые краткосрочные и долгосрочные позитивные следствия их (НКО) деятельности. А также в выявлении влияния (значимости) каждого из этих факторов на устойчивое функционирование НКО.
СИСТЕМА ОБЪЕКТОВ И ФАКТОРОВ
Проведенная конкретизация основных понятий и исследовательских задач позволяет более четко определить точку зрения на объекты нашего проекта (см. Схему 1.). Для каждого объекта характерен свой набор факторов, содержание и значимость которых нам необходимо выявить. Ниже мы рассмотрим их более подробно, поскольку данные факторы являются эмпирической основой для разработки инструментария проекта.
Добавим к этому, что группы от «получателей услуг» до представителей СМИ, власти и бизнеса, составляют по отношению к НКО внешнюю среду. Логика выделения этих групп основывается на интенсивности их контактов и степени близости к деятельности НКО.
ТРЕБОВАНИЯ К МЕТОДИКЕ
Схема 1. Система объектов и факторов
В заключение этого раздела сформулируем основные требования к методике оценки НКО, которую мы должны получить.
1.) Методологические требования
Результатом исследований должна стать модель «идеальной» (устойчивой и результативной) некоммерческой организации, работающей в сфере реабилитации и профилактики наркомании. Эта модель должна представлять собой совокупный профиль НКО, сформированный на основе выделенной в ходе исследования значимости различных параметров ее деятельности и взаимодействий. При этом, профиль «идеала» должен а.) обладать интервальным характером («минимально допустимое значение параметра» – «максимально допустимое значение»[2 - Отметим, что позиция «максимально допустимое значение» в ряде случаев может выступать критерием истинности ответов.]) и б.) являться основой для интерпретации результатов, которые будут собираться при использовании методики оценки эффективности НКО.
2.) Требования к содержанию и контролируемости методики
1. Простота (понятность) позиций отчета о состоянии организации
2. Документальная подтверждаемость – не менее 90% позиций отчета
3. Возможность выработки рекомендаций по итогам анализа организации
ПРОГРАММЫ ИССЛЕДОВАНИЙ
ВНЕШНЯЯ СРЕДА
Основные понятия исследований
На наш взгляд, основным параметром, характеризующим связь НКО с различными представителями внешней среды, является понятие «взаимодействие». Поскольку главная цель некоммерческой организации состоит в решении значимых социальных проблем, мы можем говорить о невозможности ее достижения без взаимодействия с различными группами общественности. В свою очередь, это предполагает необходимость анализа как форм, так и содержания возможных видов взаимодействия, которые осуществляет и/или могла бы осуществлять НКО.
Существует достаточно много определений «взаимодействия». Исходя из целей нашего проекта, мы остановились на следующем: «процесс непосредственного или опосредованного воздействия объектов (субъектов) друг на друга, порождающий их взаимную обусловленность и связь»[3 - Социальная психология. Словарь (http://slovari.yandex.ru/dict/psychlex4). Режим доступа: http://slovari.yandex.ru/dict/psychlex4/article/PS4/ps4-0222.htm?text=%D0%B2%D0%B7%D0%B0%D0%B8%D0%BC%D0%BE%D0%B4%D0%B5%D0%B9%D1%81%D1%82%D0%B2%D0%B8%D0%B5]. Данное определение позволяет нам рассмотреть «взаимодействие» в нескольких плоскостях:
1. поскольку взаимодействие – это процесс, то мы можем говорить о следующих его характеристиках
1.1. длительность (продолжительность контактов между субъектами процесса);
1.2. интенсивность (частота контактов);
1.3. содержание процесса (с одной стороны, речь идет об информационном обмене между субъектами, а это предполагает выяснение тематики этого обмена, с другой – сюда мы можем отнести и причинность процесса, которая также определяет содержание взаимодействия);
1.4. формы осуществления процесса (напр., непосредственное – опосредованное взаимодействие);
1.5. масштаб процесса (территория, количественный охват участников процесса и пр.).
2. Результатом эффективного (результативного) взаимодействия является возникновение (создание) определенной связи, которая в конечном счете должна способствовать образованию структур (если брать наше предметное поле, то примером этого может являться появление различных комитетов и комиссий по профилактике наркомании, в которые бы входили представители СМИ, власти и НКО).
3. Говоря о социальном взаимодействии, необходимо отметить, что для него характерно наличие определенных критериев (ожиданий) субъектов перед началом взаимодействия. Эти ожидания во многом будут определять, как возможность данного процесса, так и его конечную эффективность.
К числу подобных критериев в нашем случае можно отнести, например, репутацию, уровень известности НКО среди представителей целевых групп и т.д.
В заключении добавим, что данные характеристики (которые, на наш взгляд, достаточно полно описывают «взаимодействие») будут скорректированы под специфику каждого объекта внешней среды.
Следующим понятием, которое нам необходимо рассмотреть для построения эмпирической модели исследований, является «наркомания».
В нашем проекте мы будем исходить из следующего определения.
Наркомания – хроническое прогредиентное заболевание, вызванное употреблением веществ-наркотиков, характеризующееся фазным течением и наличием в своей структуре нескольких поэтапно формирующихся синдромов: 1) синдром изменённой реактивности, 2) синдром психической зависимости, 3) синдром физической зависимости, эти три синдрома объединяются в общий наркотический синдром, 4) синдром последствий хронической наркотизации.
В быту и в юридической практике, однако, в понятие наркомании включают любое употребление запрещённых психоактивных веществ, в том числе и не вызывающих зависимости (например, конопля или ЛСД). В то же время употребление алкоголя и табака обычно не причисляют к наркомании, так как это не запрещено, хотя они и являются наркотиками[4 - Википедия – свободная энциклопедия. Режим доступа: http://ru.wikipedia.org/wiki/Наркомания].
И еще одна позиция, которая требует предварительного пояснения – это услуги НКО в сфере профилактики потребления ПАВ и реабилитации лиц, страдающих химической зависимостью. Выше, говоря о результативности НКО в данной сфере, мы уже немного коснулись этого вопроса. Теперь конкретизируем его более подробно.
Предварительное обсуждение содержания деятельности НКО с руководителями организаций, занятых в данной сфере, позволило нам выявить два основных направления их работы.
1.реабилитация (медицинская, психологическая, социальная) лиц, зависимых от потребления ПАВ и других химических веществ;
2.информирование (в т.ч. пропаганда здорового образа жизни, распространение информации о вреде потребления наркотиков и т.п.) о проблеме наркомании.
Исходя из данных трактовок, перейдем уже собственно к исследовательским программа нашего проекта.
