Позитивные изменения. Том 2, №4 (2022). Positive changes. Volume 2, Issue 4 (2022)

Четвертый победитель в этой номинации – Фонд «Наше будущее», за систематизацию методик и программ в сфере оценки социально-экономической эффективности деятельности социальных предприятий и импакт-инвесторов. В 2022 году фонд провел выборочное исследование социального воздействия проектов социальных предпринимателей ХМАО-Югры[10]. Для изучения были выбраны три проекта: компьютерный клуб X–Land (г. Нижневартовск), детский сад «Семь гномов» (г. Нефтеюганск) и «Ботаника-бар» (г. Нижневартовск). В 2016–2018 годах эти предприятия принимали участие в пилотном проекте по развитию рынка социальных инвестиций в регионе.

Метод, который использовали эксперты, – оценка социального возврата на инвестиции, или SROI (Social Return on Investment). Фонд «Наше будущее» занимается его адаптацией к российским условиям для оценки эффективности импакт-инвестиций. Данные проведенного исследования помогают инвесторам и руководителям проектов понять, насколько эффективно расходуются средства, направленные на создание социального результата.

Фонд применяет подход к оценке социального воздействия в течение 15 лет, принимая решения о финансировании социально-преобразующих проектов в виде беспроцентных займов[11].

Директор Фонда «Наше будущее» Наталия Зверева отмечает, что в 2022 году активизировалось обсуждение подходов к оценке социального эффекта. В первую очередь, это связано с обсуждением специфики социальных предприятий различных организационно-правовых форм. Важны компетенции в определении подхода к оценке социального воздействия на уровне профессиональных стандартов в сфере социального предпринимательства.

«Наш опыт показывает, что универсальной методики для оценки социального воздействия не существует, поскольку есть различия в подходах для предприятий разных организационно-правовых форм, разных видов деятельности. Например, сложно оценивать проекты в области спорта и социального обслуживания, используя одинаковый подход. В рамках акселерационной программы «Аксель. Соцзаказ» мы увидели подтверждение этого тезиса. Выделение отраслевой специфики является одним из важных трендов в развитии этой темы», – говорит Наталия Зверева.

Ещё один тренд – попытка упростить метод SROI, разделить подходы заинтересованных сторон к определению соцэффекта. «Оценка социального эффекта в целях получения государственной поддержки и в целях привлечения инвестиций может иметь разные критерии. Например, в первом случае может использоваться принцип «оценка социального эффекта в обмен на меру поддержки». Тема подходов к оценке социального воздействия также актуальна в связи с тем, что качество жизни людей остаётся приоритетом номер один в любых инициативах», – поясняет эксперт.

ГЛОБАЛЬНОЕ ДВИЖЕНИЕ ДОБРОВОЛЬЦЕВ В СФЕРЕ ОЦЕНКИ И ПОДДЕРЖКА СООБЩЕСТВА ПРАКТИКОВ

В номинации «Личный вклад в развитие оценки социальных проектов и программ» награду получил Алексей Кузьмин, генеральный директор компании «Процесс Консалтинг», за развитие рынка оценки проектов и программ, активное участие в программах разработки методик оценки и просветительскую деятельность в профессиональном блоге.

В качестве консультанта по организационному развитию и оценке программ Алексей Кузьмин работает с 1987 года. Член Американской ассоциации оценки (American Evaluation Association) с 1999 года, член российской Ассоциации специалистов по оценке программ и политик. Руководил оценкой более 100 программ и проектов в 20 странах.

Что важного произошло в сфере оценки в России и мире в 2022 году? По мнению победителя премии Алексея Кузьмина, одним из заметных событий стало открытие Международной академии оценки (International Evaluation Academy)[12].

«Это глобальное движение добровольцев, стремящихся к повышению влияния оценки на принятие значимых решений, профессионализации оценки и её преобразующему воздействию. Академия ориентирована на инновации в способах разработки и использования оценки для решения сложных задач экономической, социальной и экологической устойчивости. В правление и консультативный совет академии входят несколько десятков специалистов со всех континентов. Планируется поддержка исследователей (fellows), которые будут вести разработки по приоритетным для академии направлениям. Думаю, что академия имеет все шансы сыграть важную роль в развитии оценки в мире», – считает Алексей Кузьмин.

Если говорить о значимых событиях в нашей стране, эксперт отмечает клуб PROОЦЕНКУ, онлайновые заседания которого проходят ежемесячно под девизом «Интересная беседа в хорошей компании»[13].

«Задача клуба – поддерживать сообщество практиков, занимающихся внедрением оценки в деятельность социально-ориентированных организаций. Для участия в заседаниях не требуется ничего, кроме желания. Образование, уровень подготовки в сфере оценки, опыт практической деятельности не имеют значения. Организаторы клуба стремятся выбирать значимые с практической точки зрения темы, давать участникам новую информацию, использовать различные форматы работы, поддерживать неформальную позитивную атмосферу», – поясняет Алексей Кузьмин.

«РЕВОЛЮЦИЯ» В ЭМПИРИЧЕСКИХ ИССЛЕДОВАНИЯХ

В номинации «Развитие методологии оценки социальных проектов» наградой отмечена Елена Авраменко за развитие и разработку методик экономической оценки социального воздействия и серию публикаций в журнале «Позитивные изменения».

Елена Авраменко – один из авторов методических рекомендаций «Разработка модели оценки социально-экономического воздействия проектов НКО»[14]. В пособии приводится описание возможных стратегий проведения социально-экономического анализа влияния проектов НКО – на уровне описания шагов для «ручного» подсчета (по экономии государственных средств, характеристик качества жизни благополучателей и т. п.).

Елена Авраменко – постоянный автор журнала «Позитивные изменения», начиная с первого выпуска, вышедшего в декабре 2021 года[15].

Что определило вектор для развития методологии оценки импакта на весь 2022 год? Таким событием, по мнению победительницы премии, стало вручение Нобелевской премии трем ученым: Гвидо Имбенсу, Дэвиду Карду и Джошуа Энгристу, «за их методологический вклад в анализ причинно-следственных связей». Методология, предложенная учеными, позволяет найти в данных «естественного» эксперимента вариации, которые могут давать достоверные результаты оценки влияния факторов на социальные и экономические характеристики.

Также, по словам эксперта, в течение всего 2022 года большой прогресс в развитии инструментов и методологии оценки импакта наблюдается на базе Global Impact Investing Network (GIIN).

«По данным GIIN, рынок импакт-инвестирования в 2022 году составил 1,164 трлн долларов США. Осенью 2022 GIIN запустила Impact Lab, первую в своем роде отраслевую инициативу, которая будет проводить новаторские исследования и разработки от имени всего рынка, направленные на более глубокое понимание эффективности воздействия и взаимосвязи между воздействием, риском и финансовой отдачей. Impact Lab создана для сотрудничества между ведущими инвесторами и заинтересованными сторонами, чтобы вывести рынок на новый уровень сложности, одновременно создавая и накапливая информационную базу о воздействии для принятия обоснованных решений», – говорит Елена Авраменко.

Работая с полевыми испытаниями организаций-партнеров, лаборатория будет внедрять науку, методы и вычисления, необходимые для создания инструментов анализа эффективности воздействия, которые сформируют основу для более надежного анализа импакта. Партнерами-основателями Impact Lab стали: GIIN, инвестиционная компания Temasek, Visa Foundation, а также фонд EQT в качестве инвестора и инкубатора.

ЕСЛИ БЫ МЫ НЕ ПРОВЕЛИ ОЦЕНКУ, МЫ БЫ НЕ ДАЛИ НОВУЮ ЖИЗНЬ ПРОЕКТУ

Лучшим кейсом внедрения оценки в деятельность социального предприятия признана мануфактура «Московская игрушка». Механика проекта – обучение навыкам создания ватных игрушек. Целевая аудитория проекта – женщины старше 50 лет, оставшиеся без работы, мамы детей с инвалидностью, многодетные мамы. С описанием кейса можно ознакомиться на страницах журнала «Позитивные изменения»[16].

Светлана Моднова, основатель и руководитель мануфактуры «Московская игрушка», выделила главные моменты 2022 года и отметила, что организации удалось достичь благодаря проведенной оценке.

«В 2022 году мы произвели порядка 10 600 игрушек, выиграли два гранта Президентского фонда культурных инициатив на продвижение своих проектов в регионах, запустили в работу музей ватной игрушки – единственный специализированный музей в России, который расположен на территории нашей фабрики. Что касается оценки, то благодаря ей мы выявили вещи, на которые ранее не обращали внимания. Ремеслу ватной игрушки мы обучили порядка 3,5 тыс. женщин в России. Тех, кто живет рядом с Москвой, привлекали к работе у нас в мануфактуре для выполнения корпоративных заказов. Проведенная оценка показала, что женщины, которые живут в удаленных регионах, очень хотели бы включиться в нашу работу. Мы разработали технологию по типу артельных производств по изготовлению ватной игрушки, которая была развита в 30–40-е гг. 20-го века. На сегодняшний день с нами работают 30 регионов России», – говорит Светлана Моднова.

Также оценка выявила, что одна треть женщин, которые прошли обучение в проекте, хотели бы преподавать это ремесло и открыть свое дело. Кто-то в виде семейной мастерской, кто-то в виде кружка в доме культуры или в небольшом сообществе.

«Если бы мы не провели оценку, мы бы не увидели этой потребности. Оценка подтолкнула нас к тому, что мы дали новую жизнь проекту – разработали методическое пособие, с чего начинать, как преподавать, какие материалы закупить, сколько нужно средств, чтобы начать эту деятельность», – добавила Светлана Моднова.

ОЦЕНКА – ЭТО РАЗГОВОР НА ЦИФРАХ И ПРОВЕРЯЕМЫХ ФАКТАХ

В номинации «Лучшая программа оценки социального эффекта регионального уровня» награду получил Яков Самохвалов, генеральный директор Фонда «Центр гражданских и социальных инициатив Югры». Премия вручена за разработку системного решения по агрегированию информации о деятельности СО НКО, добровольческих объединений и гражданских активистов из разных открытых источников, формирования на ее основе открытой базы данных и создание механизма единого оператора грантов Губернатора Ханты-Мансийского автономного округа – Югры для социально ориентированных некоммерческих организаций и физических лиц, реализующих социально значимые проекты.

ХМАО-Югра – регион, известный своими наработками в сфере развития гражданского общества. В конце 2020 года Центр гражданских и социальных инициатив Югры запустил новое решение, которое агрегирует информацию от добровольческих объединений и СО НКО – единый личный кабинет активиста Югры (сокращённо ЕЛКА). Это электронный сервис, зарегистрировавшись на котором, НКО может рассказать о себе и участвовать в рэнкинге региональных организаций. Рейтинг рассчитывается автоматически на основании данных, собранных системой из открытых источников, и данных, предоставленных самими пользователями, но проверенных сотрудниками фонда. Активисты, таким образом, могут выгодно позиционировать себя в глазах коллег, органов власти и журналистов.

Директор Фонда «Центр гражданских и социальных инициатив Югры» прокомментировал, как работает ЕЛКА.

«Единый личный кабинет – это система, которая мотивирует людей рассказывать о том, что они делают, и рефлексировать на эту тему. Мы агрегируем всю доступную информацию из открытых источников, собираем и сегментируем по определенным направлениям и выводим некое рейтинговое значение. В конкурсах, которые мы проводим как оператор грантов губернатора, мы делаем так, чтобы какие-то проверяемые вещи экспертам конкурса нельзя было оценить ниже, чем на платформе, например, значение опыта организации, команды. И это мотивирует людей: мы заметили, что они дополняют о себе информацию, какие-то данные верифицируют. Все это представляет ценность для государственного сектора, журналистского сообщества, активных жителей региона. Система в значительной степени саморазвивающаяся. Мы задаем правила, и система наполняется данными», – говорит Яков Самохвалов.

Он также отмечает, что в 2022 году интерес к оценке растет за пределами непосредственно экспертного сообщества: такие подходы становятся востребованы в федеральных и региональных органах власти, и у бизнеса. «2022 год стал переломным – мы подходим к первой государственной акцептированной теме оценки. Мы должны понять, как конвертируются государственные инвестиции – субсидии, бюджетные средства, гранты для НКО – какую ценность для общества представляют, помимо историй в духе «мы помогли…». Это разговор на цифрах, проверяемых фактах, чего сектору не хватало. А вторая вещь – оценка нужна в первую очередь самим организациям. Многие организации стремятся к «длинному» сотрудничеству с донорскими организациями, крупным и средним бизнесом, с госструктурами. Но без справедливой внутренней оценки своей деятельности у организации не может быть ни стратегии, ни долгосрочных планов. Если нет долгосрочных планов, то сложно привлекать партнеров и развиваться», – говорит эксперт.

Теория изменений, открытые данные, доказательный подход, стандарт отчетности, разработка гайда по созданию и оценке импакт-проектов, обсуждение подходов к оценке социального эффекта, развитие сообществ практиков, большой прогресс в развитии инструментов и методологии оценки импакта, рост интереса к оценке как к профессиональной деятельности – такие тренды видят победители премии в 2022 году.

Премия научно-популярного журнала об импакт-инвестициях и оценке социального воздействия «Позитивные изменения» является ежегодной. В конце 2023 года мы узнаем имена новых лауреатов – людей и организаций, которые вносят позитивный вклад в развитие темы импакта.

Impact Investment 2022 Results: A Perspective from the Positive Changes Journal Award Winners

Yulia Vyatkina

DOI 10.55140/2782–5817–2022–2–4–16–27

On December 7, 2022, the first annual award of the Positive Changes, a popular science journal about impact investments and social impact assessment, was presented. The award recognizes experts, journal contributors, and organizations for their input into the development of social and economic impact assessment. Read our article about who received the award and what for, how the winners of the award remembered 2022 in terms of impact and development of evaluation methodology, and what key events and new approaches can be highlighted.

Yulia Vyatkina

Editor, Positive Changes Journal

ABOUT THE AWARD AND THE NOMINEES

The award was organized by the Positive Changes Factory, the founder of the Positive Changes Journal, with the support of partners: Association of Volunteer Centers, Wowhouse branding agency and Gladway Foundation of Development of Media Projects and Social Programs. The awards was presented as part of the #Myvmeste 2022 International Forum of Civic Participation. Winners were announced in six categories.

“The best time to plant a tree was 20 years ago. The second best time is today,” says Chinese wisdom. So it is never too late to make a dream come true or to make the world at least a little bit better. A planted tree is sure to produce a harvest.

As was noted by Natalia Gladkikh, editor-in-chief of the Positive Changes journal, the pioneers in the field of evaluation 20 years ago planted seedlings that are now bearing fruit: in 2021, Positive Changes Journal, a popular science Journal about impact investments and social impact assessment, appeared.

“We decided that each year we would celebrate those who most delighted us in terms of impact. It was difficult for the journal's editors to choose the 10 winners because there were so many people and organizations who inspired us, who developed innovative approaches to the evaluation, monitoring and planning of project activities. Our 10 laureates are people and organizations whose contribution to the development of the evaluation and impact industry is so great that without them things would be different,” said Natalia Gladkikh.

TO BE CLEARER AND CLOSER TO THE PEOPLE

The award in the Development of Social Projects Evaluation System category was won by the Center for Advanced Management Solutions (CAMS) for the introduction of assessment models into the system of public administration and the publication of methodological materials. In 2020, CAMS and the Accounts Chamber of the Russian Federation published an expert note “Application of the Theory of Change for Strategic Audit and Strategic Planning in Russia.”[17]

As the authors of the document note, there is a gap between the strategic goals of Russia's development, which are formulated by the President of the Russian Federation in his decrees and by the Government of the Russian Federation in its strategies, and the final results. The formal achievement of indicators does not always mean achievement of the originally planned social and economic effect. Moreover, different groups of beneficiaries often do not feel the effects of the goals set and achieved. One of the tools to bridge this gap is the theory of change, an approach in which each instrument of public policy must be focused on achieving a specific socio-economic change[18].

One of the authors of the expert memorandum, Maksim Tsygankov, head of the Program and Policy evaluation project area at the Center for Advanced Management Solutions, shared with the editors of the Positive Changes what important things happened in 2022 from the perspective of evaluation development in our country.

“It is too early to talk about the practice of evidence-based approaches in the public sector, despite the fact that in 2022 it was possible to finalize a number of evaluation projects, such as microdata projects of the Federal Service for Labour and Employment. Thus, detailed administrative microdata on the state of the labour market became available to researchers. Research is expected to be based on this open data, the results of which will help improve organizational and technological processes of employment for citizens and recruitment for employers[19]. In addition, I am glad to see a growing number of code and repositories around the world with the goal of evaluating and analyzing data. There are also cases from Russian companies, including MTS. MTS Big Data specialists have launched the first version of Ambrosia library for working with A/B-tests into Open Source[20]. We see that it is business that is mostly interested in the proof of practice,” said Maksim Tsygankov.

On the positive side, according to the expert, we can also add that the Accounts Chamber of the Russian Federation in 2022 mediated the evidence-based policy agenda in the public sector, continuing to hold a competition of best practices and initiatives of the evidence-based approach to management decision-making.

Also, the SOL' Social Innovation Support Center was awarded in the Development of Social Projects Evaluation System category for the introduction of social reporting standards and the theory of change in the activities of social enterprises.

The standard helps various social projects and charities to form a compelling account of their social activities and to formalize the logic of the project's transformative impact. It includes all the data required for reporting, from organizational structure to finances. The standard also provides an opportunity to show the real results of its activities to investors, government authorities and other stakeholders[21].

“We take a full-hearted approach to developing social innovation, and we believe if there is a problem, there is a solution. The social accountability standard tool allows social innovators to be clearer and closer to the people. I want to add that I spend a lot of time trying to understand the effects of social entrepreneurs, and how to help the state notice social entrepreneurs. The social impact assessment model, which is currently being developed by the Social Projects Support Fund, is still very difficult to use to compare one player with another, but it can be used for self-diagnosis – to see your own “growth zone.” The evaluation can be done by the project itself or by an independent player,” says Alexey Maslov, executive director of the SOL center and director of the Acceleration and Educational Programs Department of the Social Projects Support Fund of the Agency for Strategic Initiatives.

NO MATTER WHAT, WE CONTINUE TO EVOLVE IN THE FIELD OF EVALUATION

There are four winners in the Development of Practices for Implementation of Evaluation of Social Projects category. The first award went to the Timchenko Foundation for developing a standard of evidence-based practices for evaluating social impact in childhood and for shaping approaches to assessing the effectiveness of community development.

In 2018, with the strategic participation of the Timchenko Foundation, the Standard for Evidence-Based Social Practices appeared in Russia[22]. It was developed by specialists from expert organizations, including Center for Evidence-Based Social Design of the Moscow State University of Psychology and Education, Association of Program and Policy Evaluators, Process Consulting company, Institute for the Study of Childhood, Family, and Education of the Russian Academy of Education.

10 organizations from Moscow, Penza, Cherepovets, St. Petersburg, Novosibirsk, Ivanovo provided descriptions of their social practices (model, technology, methodology, service, etc.) in an evidence-based format and were professionally verified. The format of the practice description implies its brief content, information on the achievement of social results, the quality of the available evidence on the achievement of positive changes in the lives of the beneficiaries, the regulated nature, the validity and good elaboration of the practice concept.

The standard is now a document that is evolving both methodologically and practically. In particular, the provisions of the standard are taken into account by the relevant ministries when developing methodological recommendations for organizations in the field of childhood, and the academic community makes extensive use of the standard's developments.

Another area of the Timchenko Foundation's work is the development of approaches to evaluating the effectiveness of local community development. In 2022, the foundation launched the Solidarity Communities project competition, which aims to solve small area problems by local communities, organizations, and initiative groups[23].

Maria Morozova, General Director of the Timchenko Foundation, told the Positive Changes Journal how the foundation created, approved, and independently audited a system for monitoring and evaluating programs.

“We use the ‘theory of change,' assuming how change will occur in the short, medium and long term. As part of it, we developed our own system of indicators, which helps to see the results. Each program has a different one, but they are all governed by the same standards and principles. The monitoring and evaluation system includes all participants in the activities – the foundation, regional operators, and beneficiaries – and this helps all of us develop, make informed strategic and management decisions, and achieve significant social changes,” says Maria Morozova.

The system has a pyramid structure:

• the lower level is the direct results of the foundation's work (number of events, trained specialists, newly developed methodological materials, etc.);

• the middle is the results achieved by the supported projects (changes in the lives of the people for whom the foundation works – children saved in their families, jobs, co-financing for the development of the city, etc.);

• the third, uppermost level is the long-term social impact, the change at the societal level of the situation that underlies the program. This is usually determined through external independent research.

Another winner in this category was the Help Needed foundation for creating the Core IT service, which allows socially oriented non-profit organizations to create reports, plan goals, and measure social impact[24].