Позитивные изменения. Том 2, № 3 (2022). Positive changes. Volume 2, Issue 3 (2022)

Таким образом, в анализ SROI включены полные данные о результатах программы у социальных предпринимателей и только экономические результаты для местных сообществ и сотрудников социальных предприятий.

ПОСТРОЕНИЕ КАРТЫ РЕЗУЛЬТАТОВ

На основании данных, полученных из документов программы и интервью с ее сотрудниками в компании «ОМК», был подготовлен проект карты результатов программы для СП, который отражал основные направления деятельности и изменения, которые планировались в результате этих видов деятельности. Проект был проверен и уточнен со стейкхолдерами на следующем этапе работы.

На рисунке 1 представлена карта результатов программы «Начни свое дело», включенных в анализ по итогам качественного этапа исследования с учетом его ресурсных и временных ограничений.

Рисунок 1. Карта результатов программы «Начни свое дело», включенных в анализ

СБОР КАЧЕСТВЕННЫХ ДАННЫХ

Целью этого этапа является уточнение результатов, получение информации о том, как достигаются изменения у стейкхолдеров, какие положительные и отрицательные результаты связаны с деятельностью.

В рамках качественного этапа исследования были проведены интервью с представителями местных администраций и Центров инноваций социальной сферы регионов, в которых реализуется программа, а также с экспертами программы и фокус-группы с социальными предпринимателями. Сбор информации в фокус-группах на данном этапе исследования проходил в соответствии с принципом насыщения – когда большая часть информации на фокус-группах стала повторяться, а доля новых существенных фактов стала минимальной, этап был завершен.

По итогам фокус-групп, помимо очевидного результата, связанного с ростом личных доходов социальных предпринимателей, был установлен ряд других важных для них показателей.

За счет обучения и участия в индивидуальных акселерационных программах участники программы смогли приобрести уникальные знания и навыки в области социального предпринимательства. Этот результат можно считать промежуточным для других результатов проекта, однако в ходе фокус-групп выяснилось, что он сам по себе представляет ценность для СП, даже если их бизнес оказался не таким удачным, как предполагалось.

Несмотря на доступность различных материалов по СП онлайн и наличие формальных центров поддержки СП, например, в виде Центров инноваций социальной сферы, участники отметили, что нигде нет такой комплексной программы обучения, которая давала бы необходимые и достаточные знания для перехода от теории к практике.

Особую ценность для участников программы представляет индивидуальное общение с менторами и экспертами в акселерационной программе для победителей конкурса. Этот формат они признали уникальным и недоступным в других местах.

Среди существенных результатов, учитываемых в дальнейшем анализе, были такие:

• Рост профессиональных навыков и знаний;

• Личное благополучие;

• Баланс рабочего и свободного времени;

• Стресс, связанный с ответственностью;

• Связь с сообществом социальных предпринимателей;

• Уровень доходов.

СБОР КОЛИЧЕСТВЕННЫХ ДАННЫХ

В оценке учитывались следующие показатели:

• Число рабочих мест, в том числе для людей с инвалидностью;

• Объемы налоговых отчислений и страховых выплат в ФОТ;

• Динамика прибыли предприятий;

• Уровень доходов предпринимателей, его изменение в связи с программой;

• Привлеченное финансирование из других источников.

Помимо информации о социальных результатах – изменениях в жизни социальных предпринимателей, а также экономических результатов для их сотрудников и местных сообществ, анкеты содержали также фактологическую информацию о работе социальных предприятий, чтобы лучше представить продукты деятельности, реализованной в рамках программы, и информацию о дополнительных составляющих модели SROI (воздействие программы, монетизация результатов и т. д.).

Некоторые количественные данные, использованные как в описательной части отчета, так и в модели SROI, были собраны на основании информации, предоставленной местными администрациями городов и Центрами инноваций социальной сферы. В частности, это данные, связанные с объемом налоговых отчислений и страховых выплат на фонд оплаты труда от социальных предприятий, которые получили поддержку по программе «Начни свое дело».

УЧЕТ ВОЗДЕЙСТВИЯ ПРОГРАММЫ

Социальные проекты и программы всегда учитывают определенный региональный и местный контекст, поэтому при анализе их результатов очень важно рассматривать влияние других факторов. Например, на анализируемую программу могут оказывать действие другие проекты и организации, общая социально-экономическая обстановка и, несомненно, характеристики и особенности самих участников программы.

Такой подход позволяет смоделировать картину социального воздействия, более объективно отражающую реальность. Полученная в результате информация позволяет эффективнее управлять воздействием.

Как правило, при анализе SROI учитываются следующие аспекты воздействия:

• «Мертвый груз» (по данным, полученным в контрольной группе) – в каком объеме результаты могут быть достигнуты при отсутствии программы или проекта;

• Атрибуция – в каком объеме свой вклад в достижение результата вносят другие организации и проекты;

• Перенос результата – в каком объеме проект не решает проблему, а переносит ее в другую область – на другой географический район, другую группу людей и т. д.;

• Сокращение результата – если результат продолжает существовать после завершения проекта, в течение какого времени он будет по-прежнему связан с проектом, и как эта связь будет ослабевать с каждым годом. Это не обязательно означает, что результат у людей будет тоже убывать – просто он будет уже больше связан с другими факторами: их самостоятельной работой, новыми проектами, в которых они будут участвовать и т. д.[26]

В ходе обсуждения в фокус-группах не было отмечено каких-либо возможностей для переноса результата на другую группу стейкхолдеров, а для того, чтобы учесть «мертвый груз» и атрибуцию, в анкету был включен вопрос о воздействии, при ответе на который респондентам было предложено указать, насколько достижение ими тех или иных результатов связано с их участием в программе «Начни свое дело». Соответствующий показатель воздействия программы был включен в расчет SROI в качестве элемента модели, и далее модель была протестирована на чувствительность к нему (см. ниже).

Все результаты оценивались ретроспективно за 5 лет реализации программы – с 2016 по 2020 год включительно, и расчет на будущее не проводился. По итогам обсуждений с СП в фокус-группах, а также исходя из опыта оценки аналогичных программ и проектов, исследователи решили, что в среднем связь результатов с программой сокращается на 20–25 % в год для разных городов. Этот показатель был включен в модель по расчету SROI и модель была так же протестирована на чувствительность к нему (см. ниже).

ЦЕННОСТЬ РЕЗУЛЬТАТОВ И МОНЕТИЗАЦИЯ, ИСПОЛЬЗОВАННЫЙ МЕТОД РАСЧЕТА

Важным этапом анализа социального возврата на инвестиции является так называемая монетизация результатов – поиск и определение финансовых «прокси» (англ. proxy – представительная переменная, букв. «показатель, представляющий другой показатель»), которые будут обозначать ценность результатов, которые не имеют «рыночной стоимости» для стейкхолдеров. Следует отметить, что в данном случае речь идет не о стоимости или цене этих результатов, а об их потребительской ценности – насколько они соответствуют потребностям и запросам стейкхолдеров, для которых они достигаются.

В практике SROI допускается использование готовых прокси, которые уже применялись в других отчетах, если группа стейкхолдеров, для которых определялись прокси, схожа с анализируемой.

Важно отметить, что финансовые прокси, обозначая потребительскую ценность разных результатов одного проекта для одной группы людей, должны соотноситься с относительной важностью этих результатов. Для этого рекомендуется использовать якорный метод расчетов прокси, когда за основу берется прокси одного результата, который может быть получен любым из перечисленных выше методов, а другие прокси рассчитываются на основании значения «якорного» прокси при помощи «весов» – показателей относительной важности разных результатов для стейкхолдеров в процентах или любых других единицах.

Именно такой подход был использован при определении прокси социальных результатов для стейкхолдеров программы «Начни свое дело». За основу («якорь») расчета был взят показатель изменения ежемесячного дохода социальных предпринимателей.

В качестве «весов» для расчета ценности других результатов использовались средние показатели важности результатов и показатель воздействия программы – насколько результат по мнению СП связан с их участием в программе.

ПОСТРОЕНИЕ МОДЕЛИ И РАСЧЕТ SROI

На основании полученных данных количественного исследования была построена модель и рассчитан показатель социального возврата на инвестиции по каждому городу – Чусовой, Благовещенск, Выкса – и объединенная модель в целом по программе.

Модель была построена по данным за 5 лет реализации программы «Начни свое дело» по состоянию на текущий момент, без прогнозирования социальных и экономических результатов на будущее в соответствии с принципом «не переоценивать свой вклад».

Для расчета ценности социальных результатов по годам финансовые прокси, скорректированные на воздействие программы, умножались на количество социальных предприятий/ рабочих мест, получивших поддержку в соответствующий год.

Поскольку в ходе фокус-групп с социальными предпринимателями выяснилось, что даже те, чьи проекты получили поддержку в первый год, до сих пор связывают результаты своей работы с программой, в рамках 5 лет реализации программы результаты учитывались нарастающим итогом. Модель была протестирована на чувствительность к разным показателям – результаты тестирования включены в отчет.

Значение показателя социального возврата на инвестиции в программу «Начни свое дело» во всех случаях является положительным и превышает 1, что свидетельствует об инвестиционной эффективности данной социальной программы. Всего за 5 лет реализации совокупная ценность результатов программы составила свыше 144 000 000 рублей, что соответствует показателю SROI 4:1, что значит, что на каждый вложенный в программу рубль в ней создаются результаты, ценность которых составляет порядка четырех рублей в денежном выражении.

Следует отметить, что показатель тем больше, чем дольше идет программа в городе: растет число социальных предприятий, большинство из них продолжают функционировать по завершении финансовой и менторской поддержки от ОМК, но при этом результаты их работы сохраняют связь с программой.

Программа «Начни свое дело» эффективна с инвестиционной точки зрения: без учета социальных результатов показатель SROI является положительным и составляет не менее 1,6:1 в целом по программе; с учетом социальных результатов показатель SROI по программе составляет не менее 4:1.

Assessment of the Social Return on Investment (SROI), Case: Start Your Own Business Project

Juliya Khodorova

DOI 10.55140/2782-5817-2022-2-3-4-12

The Social Return on Investment (SROI) approach is actively used worldwide for social projects, including social entrepreneurship. Thanks to SROI, donors and investors gain an understanding not only of the economic sustainability of projects, but also of the direct benefit and importance to the people, which is the ultimate goal of the social enterprise business model. In this article, we would like to describe how and why the evaluation was conducted for OMK’s Start Your Own Business project.

Juliya Khodorova

Head of research, Giving Culture Foundation

WHAT IS SOCIAL RETURN ON INVESTMENT (SROI)

Social Return on Investment (SROI) is an approach to analysis of the investment effectiveness of social projects and programs, which measures and accounts for value in a broad sense. It is a refinement of the Cost-Benefit Analysis (CBA) model that allows us to compare the money invested in a project or program with the value of the social, economic and environmental outcomes that the project creates for people[27]. The SROI method is based on certain principles and standards.

Stakeholders (the people whose interests are affected by the project) are at the focus of the SROI analysis, allowing you to measure the changes that really matter to the people and organizations that achieve them and for whom they are achieved. SROI analysis uses monetary units to communicate the value of outcomes to stakeholders, which makes it possible to calculate the Return on Investment metric by comparing the value of all project outcomes to all investments in its implementation.

For example, a ratio of 3:1 means that if we invest 1 ruble in a project or activity, we will receive 3 rubles in the form of value created by that project or activity for the people.

Monetary unit in the Social Return on Investment is a unit of value, rather than cost, of outcomes, the use of which allows us to compare the performance of a project with the resources invested in it and to draw a conclusion about its investment efficiency.

A positive SROI greater than 1, such as 2:1, means that the positive outcomes of the social project are twice the value of the money invested in it. SROI less than one does not necessarily indicate that the project is not effective, perhaps the investment in it has not yet reached the point of return and requires further analysis. Finally, any negative SROI value indicates that the project is ineffective because its negative impact exceeds its positive impact.

There are two types of Social Return on Investment estimates:

• evaluative SROI, when the SROI coefficient is calculated retrospectively based on actual outcomes that have already been achieved;

• forecast SROI, when we try to predict how much social value will be created if our activities achieve the planned outcomes.

SROI is particularly useful in the planning phase. It gives an idea on how to maximize the impact of social investments and determine which metrics will need to be monitored and measured during the course of a project or activity.

The main task of SROI is to provide information enabling investors and social entrepreneurs to make management decisions and manage outcomes. For investors, the analysis provides an opportunity to see different scenarios for the development of the project, to adjust the impact or methods of operation of the project.

The Social Return on Investment approach can be used for large-scale projects as well as for small enterprises, it is versatile and can be adapted to specific tasks and resources. The most costly part of the analysis is the monetization and construction of the SROI model. This is usually the part that investors and donors are interested in. In many cases, it is enough to develop a theory of change, define the stakeholder circle and the outcomes received by the stakeholders. For startups and small businesses, the implementation of the first few steps of this analysis is sufficient. Such an analysis would require little effort and resources, and would be very useful in understanding the impact produced by the entrepreneurs’ activities.

The cost of SROI assessment work depends on the scale of the project, its coverage by stakeholders and by region, on the degree of immersion that the customer requires, and on the need to monetize the project and to calculate the SROI model. As with any research study, most of the resources are required to collect data, to conduct interviews, and to involve the participants themselves. The most time-consuming and costly projects are those related to evaluating infrastructure programs, grant competitions, and long-term comprehensive programs with a broad focus of impact.

Additional costs will be incurred if independent verification of assessment results is required.

The SROI application guide is published on the website of the founding organization of the Social Value International approach: https://www.socialvalueint.org/guide-to-sroi/.

SROI PRINCIPLES

SROI is an approach that allows for a variety of data collection and analysis methods as long as the same principles are followed.

Table 1. The SROI Principles and Their Implementation in the Evaluation of the Start Your Own Business Program

RESEARCH STAGES AND STAKEHOLDER ENGAGEMENT

Let’s look at the implementation of the SROI principles and approach with a specific example. The evaluation was conducted for OMK, a company supporting social entrepreneurs in the cities where it operates. The Start Your Own Business program has been in place since 2016, and was launched sequentially in three localities: Chusovoy (Perm Krai) in 2016, Blagoveshchensk (Republic of Bashkortostan) in 2017 and Vyksa (Nizhny Novgorod Region) in 2018. The Start Your Own Business program’s social return on investment was evaluated in May-June 2021 and included several steps.

SELECTION OF THE OBJECT OF EVALUATION AND IDENTIFICATION OF STAKEHOLDERS

Stakeholder involvement is a fundamental principle of SROI. Stakeholders are defined as everyone who is affected by the program and who affects it. A fairly wide range of stakeholders is taken into account, including those who are not directly involved in the activities under the projects. This approach allows us to gather more information and to see processes more broadly and deeply. In practice, however, experts encounter various constraints related to data collection. Finding the optimal balance of resources and stakeholder coverage, i.e., depth of evaluation, is an important task for the evaluator.

In our example, it was decided to include the social entrepreneurs themselves, the employees for whom they created jobs during the program (data collection was conducted through the social entrepreneurs), and local communities (data collection was conducted through the Social Innovation Centers in the regions and local administrations) among the program stakeholders.

The Start Your Own Business SROI analysis was conducted within a very tight timeframe, and there are serious limitations in identifying and including significant program stakeholders in the analysis.

The table presents the key stakeholders in the Start Your Own Business program, describes the possible impact on them, and provides information on whether and why they were included in the analysis (See Table 2).

Since social entrepreneurs are the main target audience of the Start Your Own Business program, it was decided to focus on them, while taking into account purely economic outcomes (in the form of tax deductions by SE and income of their employees) for other stakeholder groups in the SROI calculation. This decision is consistent with the first principle of SROI, to involve stakeholders, and the fifth, not to over-claim: since neither the SE staff nor the local communities were actually available to researchers, only those outcomes that could be established without their direct involvement were taken into account for them.

Table 2. Stakeholder Analysis of the Start Your Own Business Program

In addition, the outcomes for customers (users of goods and services provided by social entrepreneurs) were not included in the analysis and calculations in any form, because they were not available to researchers either.

With this restrictive approach to program outcomes, the researchers also decided to adjust contributions to the program and not include grants and investments in social enterprises from other sources in the main calculation. Thus, only all of OMK’s expenditures on the implementation of the program are accepted as a contribution to the program.

Thus, the SROI analysis includes complete data on program outcomes for social entrepreneurs and only economic outcomes for local communities and employees of social enterprises.

CREATING A SCORECARD

Based on the data from the program documents and interviews with the staff at OMK, a draft program scorecard was prepared for the SE, which reflected the main activities and changes planned as a result of these activities. The project was tested and refined with stakeholders in the next phase.

The figure 1 presents a scorecard of the Start Your Own Business program included in the analysis from the qualitative phase of the study, taking into account its resource and time constraints.

Figure 1. Scorecard for Start Your Own Business Program Included in the Analysis

COLLECTING QUALITATIVE DATA

The purpose of this phase is to clarify the outcomes, to obtain information about how changes are achieved with stakeholders, what positive and negative outcomes are associated with the activity.

As part of the qualitative phase of the study, interviews were conducted with representatives of local administrations and Social Innovation Centers in the regions where the program is being implemented, as well as with program experts, and focus groups with social entrepreneurs. The information was collected in focus groups at this phase of the study following the principle of saturation – when most information from the focus group got repeated, and the proportion of new material facts became minimal, the phase was completed.

According to the results of focus groups, in addition to the obvious outcome related to the growth of social entrepreneurs’ personal income, a number of other important metrics for them have been established.

Through training and participation in individual acceleration programs, program participants were able to acquire unique knowledge and skills in the field of social entrepreneurship. This outcome could be considered intermediate to the other outcomes of the project, but focus groups revealed that it was a value in itself to SEs, even if their business was not as successful as anticipated.

Despite the availability of various SE materials online and the existence of formal SE support centers, such as Social Innovation Centers, participants noted that there wasn’t a comprehensive training program available that would provide the necessary and sufficient knowledge to move from theory to practice.

The program participants found personal communication with mentors and acceleration program experts (for contest winners) to be the most valuable. They recognized this format as unique and unavailable elsewhere.

The material outcomes considered in further analysis included the following:

• Growth of professional skills and knowledge;

• Personal well-being;

• Work-life balance;

• Stress related to responsibility;

• Connecting with the social entrepreneur community;

• Income level.

QUANTITATIVE DATA COLLECTION

The following metrics were taken into account in the evaluation:

• Number of jobs, including for people with disabilities;

• Volume of tax deductions and payroll insurance payments;

• Corporate profit dynamics;

• The level of income of entrepreneurs and its change related to the program;

• Funding raised from other sources.

In addition to information about social outcomes, such as changes in the lives of social entrepreneurs, as well as economic outcomes for their employees and local communities, the questionnaires also contained factual information about the work of social enterprises to better represent the products of the activities implemented under the program and information about additional components of the SROI model (program impact, monetization of outcomes, etc.).