скачать книгу бесплатно
«Все это свидетельствует о том, что оценка развивается как профессия», – резюмирует Ирина Ефремова-Гарт.
Президент Сибирского центра поддержки общественных инициатив (СЦПОИ) Елена Малицкая отмечает, что в нашей стране появляется запрос со стороны государства на специалистов по оценке. «Правда, этот запрос специфический – на определенный тип оценки, который связан с экспертизой заявок, проектов и программ», – говорит Елена Малицкая.
С возросшим запросом на специалистов и обучение оценке согласна и Марина Михайлова, директор центра «Гарант».
«Пока что оценка – это экспертная область, а не профессия. Но если лет 15–20 назад это был разговор между специалистами, которые этим занимаются, то сейчас ситуация сильно изменилась. С одной стороны, про оценку стали гораздо больше говорить. С другой стороны, всем, кто подается на конкурсы Фонда президентских грантов и другие, необходимо оценивать результаты проектов. Кроме того, стало больше образовательных продуктов, которые учат самооцениванию», – говорит Марина Михайлова.
По ее словам, появились конкурсы, которые награждают людей и организации, которые уделяют внимание оценке. Сообщество экспертов стало обращать внимание на годовые отчеты, есть ли там информация про оценку результатов работы организации. Также пришло понимание того, что оценка – это не удел единичных суперспециалистов, а то, чем все так или иначе занимаются. Просто иногда сотрудники организаций не отдают себе в этом отчет.
Оценка прошла приличный путь профессионализации, но в то же время ей еще далеко идти вперед, считает Наталья Кошелева, президент Ассоциации специалистов по оценке программ и политик, консультант по мониторингу и оценке программ и проектов социальной направленности.
«Любая профессия постоянно куда-то развивается. Профессии становятся все более нишевыми, оценка – в том числе. Это маленькая профессия, но довольно быстрорастущая», – говорит она.
ОТКУДА БЕРУТСЯ СПЕЦИАЛИСТЫ ПО ОЦЕНКЕ?
Во всем мире людей, которые получили диплом по специальности «Оценка» не так много, как юристов или экономистов. У западных коллег есть программы магистратуры и PhD по оценке, но с учетом того, что оценка – профессия междисциплинарная, то количество профессионалов в этой области не определяется числом тех, кто получил диплом в вузе, считают эксперты.
Так откуда же появляются специалисты и как они строят профессиональную карьеру? Алексей Кузьмин говорит, что в американской, канадской, европейской ассоциации специалистов по оценке, насчитывающих несколько тысяч человек, состоят люди с очень разным бэкграундом.
«Давайте, я перечислю: по базовому образованию это психологи, социологи, педагоги, медики, инженеры, специалисты по компьютерным технологиям, экономисты, менеджеры, статистики. Конечно, если ты закончил университетскую программу, где было обучение методам социологических исследований, то это хорошее подспорье», – говорит он.
Сам эксперт пришел в оценку в конце 1990-х гг. из сферы консультирования в области организационного развития. В 1999 году стал членом Американской ассоциации оценки, посещал за рубежом конференции и семинары, читал литературу на английском языке, а в 2001 г. решил пойти на программу PhD в Штатах и закончил ее со специализацией в области организационного поведения и оценки программ.
«У многих людей за рубежом, которых я знаю, профессиональная карьера складывается как у специалистов по оценке внутри организаций. Это в больших структурах, конечно, происходит. Общий знаменатель для всех историй – в какой-то момент человек сталкивается с необходимостью проведения оценки, что-то внутри резонирует, ему это кажется интересным. И дальше начинается разворот в этом направлении, поиск информации, обучение, поиск специалистов, которые этим занимаются», – говорит Алексей Кузьмин.
Елена Малицкая также называет 1998–1999 год, когда ее работа стала тесно связана с оценкой. «Мы сами тогда, как Сибирский центр поддержки общественных инициатив, проводили грантовые конкурсы. И у нас возникла потребность в мониторинге, оценке и обучении. И мы просто начали внедрять оценку в свою работу и работу членов нашей сети ресурсных центров. А в 2000 году мы провели первую школу и международную конференцию в Новосибирске по оценке, которые позже стали регулярными», – говорит Елена Малицкая.
Руководитель ресурсно-методического центра Благотворительного фонда «Дорога к дому», член правления Ассоциации специалистов по оценке программ и политик Алена Богомолова – одна из тех, кто проходил обучение от СЦПОИ и «Гаранта» на Международной школе оценки. По своему основному образованию Алена Богомолова – социолог. По ее словам, в период обучения в университете у нее было много практических проектов, которые так или иначе были связаны с оценкой, только тогда это называлось по-другому. «В начале 2000-х, во всяком случае у нас в Череповце, это называлось «социологическое сопровождение». И включало в себя комплекс мероприятий, которые сейчас мы понимаем под оценкой или под дизайном оценки. Я училась, учусь и дальше буду учиться, потому что оценка – это очень живая профессия», – говорит она.
Ирина Ефремова-Гарт и Наталья Кошелева получили образование в магистратуре американских университетов. Ирина получила степень MPA (Master of Public Administration), закончив School of Public Administration в Университете Делавера.
«За два года обучения в моем расписании были классы по различным методам исследования, по оценке, по оценке в деятельности некоммерческих организаций. И это было настолько вкусно, интересно, зажигательно, что все мои планы заниматься госуправлением ушли в самый низ листа приоритетов. И, вернувшись в Москву, я понимала, что буду заниматься оценкой и некоммерческими организациями», – говорит эксперт.
По ее словам, она побывала в разных ролях: заказчиком оценки, внутренним оценщиком, внешним оценщиком. А работа в IBM позволила сделать интересные наблюдения: некоммерческие организации, умеющие работать с данными и пользующиеся цифровыми технологиями, значительно чаще достигают своей миссии, могут доказательно рассказать, какой вклад они вносят в решение социальной проблемы.
Наталья Кошелева узнала об оценке, еще обучаясь в магистратуре в School of Public and Environmental Affairs (Школе общественных и экологических вопросов) Университета Индианы.
«Это было в марте 1996 года. Мне попалось объявление, что нужен человек для оценки двух проектов экологической направленности, которые финансировал IREX (Совет международных научных исследований и обменов – прим. ред.). Я тогда первый раз увидела, что есть такая штука, как оценка. Прелесть американского университета в том, что там есть открытая библиотека. Я просто пошла, нашла книжки по этой теме, почитала, поняла общий принцип, и подала заявку. И меня взяли», – рассказала Наталья Кошелева.
Специалист по оценке эффективности проектов и программ Международной организации труда (МОТ) Ирина Синелина получила степень магистра в США по специальности Nonprofit Management, проходила стажировку в некоммерческой организации в Нью-Йорке. И потом вернулась в Москву, где работала сначала в некоммерческой организации, где нужен был анализ результатов воздействия тренингов, а потом пришла в Международную организацию труда, где появилась позиция evaluation officer.
«В МОТ, как и во всех организациях ООН, существует определенная система проведения оценки. Это делается с целью подотчетности донорам, увеличения опыта и совершенствования работы. Мы работаем, как и вся ООНовская система, по стандартным критериям Организации экономического сотрудничества и развития – ОЭСР (the Organisation for Economic Co-operation and Development, OECD). Их базовых пять: актуальность, эффективность, действенность, устойчивость и воздействие. А два года назад еще была добавлена согласованность», – рассказывает Ирина Синелина.
Марина Михайлова училась принципам и подходам к оценке у «Процесс Консалтинг» и у Сибирского центра поддержки общественных инициатив, на международных школах, в том числе по оценке организационного развития и оценке персонала.
«Из разных кусочков потихоньку складывался уже теоретический опыт. И на практике – это, во-первых, большой опыт оценки проектов, поданных на грантовые конкурсы. Потому что мы, как «Гарант», были организаторами таких конкурсов с 2001 года в Архангельской области. Потом было участие в экспертизе за явок в рамках других конкурсов, оценка результатов тех проектов, которые были нами же поддержаны. Также у меня был небольшой опыт в оценке, когда я была директором кадрового агентства, это оценка персонала и оценка системы управления в организации», – говорит Марина Михайлова.
ЗНАНИЯ И КОМПЕТЕНЦИИ
Тема знаний и компетенций в оценке тесно связана с темой обучения. Если мы знаем, какие должны быть компетенции, мы знаем, чему учить и как сформулировать должностные инструкции.
С конца 80-х гг 20 века разные профессиональные объединения специалистов по оценке стали публиковать перечни компетенций. Так, Группа оценки ООН считает, что специалист по оценке должен обладать: базовыми профессиональными компетенциями, техническими навыками, навыками управления, межличностными навыками, продвигать культуру оценки.
Канада – страна, в которой есть сертификация специалистов по оценке, – предложила следующие сферы компетенций для практического осуществления оценки[12 - Canadian Evaluation Society. (2023). Evaluator Competencies. Retrieved from: https://evaluationcanada.ca/career/evaluator-competencies.html. (accessed 01.03.2023).]:
1. Рефлексивная – компетенции, относящиеся к фундаментальным нормам и ценностям в сфере оценки, а также осознанию уровня собственной экспертизы и потребностей в профессиональном росте.
2. Техническая – компетенции, относящиеся к специфическим аспектам оценки: планирование, сбор данных, анализ данных, подготовка отчета.
3. Ситуативная – компетенции, относящиеся к оценочному мышлению, применяемому для анализа и учета специфических для каждой оценки интересов, проблем и обстоятельств.
4. Управленческая – компетенции, относящиеся к процессу управления проектом/оценкой (бюджетирование, ресурсное обеспечение, руководство).
5. Межличностная – компетенции, относящиеся к коммуникации, переговорам, разрешению конфликтов, сотрудничеству. Ассоциация специалистов по оценке программ и политик пока такой список компетенций не имеет. Президент АСОПП Наталья Кошелева из основных компетенций специалистов по оценке в России выделяет понимание того, как работают программы и проекты. Не менее важно умение собирать, анализировать и представлять данные. Для тех, кто занимается внешней оценкой, необходимы коммуникационные и межличностные компетенции. И сейчас все больше требуются навыки визуальной коммуникации.
Алена Богомолова говорит о том, что специалисту по оценке необходима возможность обмена мнениями, знаниями.
«Нужны группы людей или площадки, где ты можешь говорить о том, что у тебя получается/не получается и обсуждать еще на старте оценки, как лучше поступить, какие вопросы сформулировать, какой дизайн использовать. Нужна возможность разговаривать про это с другими людьми. Потому что в вакууме развиваться очень сложно. Что еще очень важно? На мой взгляд, иметь свою ценностную профессиональную позицию, исходя из которой ты будешь делать оценку», – говорит она.
С ней солидарна Марина Михайлова: «Чтобы быть хорошим специалистом, надо быть внутри профессионального сообщества, обмениваться опытом, учиться у других, общаться. И важно, чтобы люди, которые хотят быть оценщиками, соблюдали этические нормы. Все-таки оценка – это не аудит, не ревизия. И здесь важно, что оценка проводится не для того, чтобы поставить двойку или пятерку, а для того, чтобы ответить на какие-то вопросы и принять нужные решения. Специалист по оценке – это человек, который пришел помочь разобраться», – поясняет Марина Михайлова.
Сфера оценки невероятно интересная, отмечает Ирина Ефремова-Гарт, потому что, когда мы говорим про те навыки, которыми специалист по оценке должен обладать, они далеко не из одной сферы.
«Ты должен на высочайшем уровне владеть навыками проведения разных исследований, уметь работать с данными. У тебя должны быть очень хорошие управленческие навыки. Потому что оценка силами одного человека делается очень редко. Обычно это команда и ты должен уметь правильно выстроить процессы, распределить роли в команде и управлять результатами. У тебя должны быть навыки рефлексии, критического мышления», – говорит эксперт.
Ирина Синелина считает, что важно иметь хорошее базовое гуманитарное образование, которое формирует аналитические способности, и знание английского языка, потому что большое количество материалов про оценку написаны на английском. Дальнейшему можно научиться на практике.
ПРОФЕССИОНАЛЬНЫЙ СТАНДАРТ
Как уже говорилось ранее, один из этапов развития профессии – это профессиональный стандарт. Зачем вообще профстандарт нужен в любой деятельности? Как отмечается в Постановлении Правительства РФ от 22 января 2013 г. № 23, профессиональные стандарты применяются[13 - Гарант. ру. (2013) Постановление Правительства РФ от 22 января 2013 г. № 23 «О Правилах разработки, утверждения и применения профессиональных стандартов». Режим доступа: https://www.garant.ru/products/ipo/prime/doc/70204190/. (дата доступа: 01.03.2023).]: при формировании кадровой политики, разработке должностных инструкций, образовательных программ и стандартов.
Как рассказал Алексей Кузьмин, в 2015 году была предпринята попытка разработки профстандарта для специалиста по оценке программ и политик в социальной сфере. Инициатором стал независимый бизнес-эксперт Александр Овчинников. Заявка на эту разработку была зарегистрирована на сайте Минтруда России. Была сформирована рабочая группа, в которую входили представители компании «Процесс Консалтинг» и АСОПП, проведены первичные исследования и анализ вида профессиональной деятельности, разработана первая редакция профстандарта, проходило общественное обсуждение, однако на одном из этапов работа над документом остановилась, и профстандарт не был утвержден министерством.
«Я думаю, сегодня еще немного преждевременно создание такого профстандарта. Профессии пока нет, она еще не сформировалась. В должных масштабах, как это видит Минтруд, на эту профессию пока нет ни спроса, ни предложения», – объясняет Алексей Кузьмин.
Наталья Кошелева предполагает, что у министерства были задачи сделать профстандарты на базовые профессии, а специалист по оценке программ и политик таким пока не является.
«У Минтруда тогда были другие ожидания, и у него была задача покрыть все массовые профессии. Наша точно не массовая. Я думаю, что с этим все было связано. Но стандарт в какой-то момент действительно может появиться, на уже более поздних стадиях развития профессии. Когда мы станем настолько заметными, что государство решит нас урегулировать. Это как история с лицензированием всякой деятельности. Чтобы вас видели, вас должно быть достаточно много», – говорит Наталья Кошелева.
Проекты профессиональных стандартов в России также рассматривает Национальный совет при Президенте Российской Федерации по профессиональным квалификациям. На основании заключений Национального совета принимается решение об утверждении профессиональных стандартов. Как пояснил Артем Шадрин, генеральный директор АНО «Национальное агентство развития квалификаций», при разработке профстандарта важно не дублировать уже существующие, которые утверждены под схожим названием. Хорошо бы заручиться поддержкой авторитетных организаций, которые работают в этой сфере, а также профильного федерального министерства, которое бы подтвердило целесообразность разработки такого документа.
Когда профстандарт согласован Минтрудом России, дальше он направляется в Национальный совет при Президенте Российской Федерации по профессиональным квалификациям. И в случае одобрения Национальным советом, в котором представлены ведущие организации работодателей, такие как РСПП, Торговопромышленная палата, профсоюзы и федеральные министерства, этот профстандарт утверждается приказом Минтруда России, регистрируется в Минюсте России.
Почему не все до конца доводят историю с профстандартами? Какие могут быть причины?
«Во-первых, может не поддержать Минтруд, сказать, что такой профстандарт не нужен. Это такая классическая нерешенная задача. Например, нет профстандарта предпринимателя. Это, вроде, не трудовая функция, но, с другой стороны, можно считать, что это вид профессиональной деятельности. И Минтруд пока не согласовал создание такого профстандарта», – говорит Артем Шадрин.
По его словам, также бывает, что инициативной группе по разработке профстандарта не удается согласовать его с профильным министерством или получить поддержку профессиональных ассоциаций.
«Не имея консенсуса в профессиональном сообществе, не получится утвердить стандарт. В этом сложность, что разработка профстандарта – это поиск общего. Его разработка – это длинная история, но, тем не менее, нет ничего невозможного. Было бы желание и поддержка профильного министерства, это всегда важно», – говорит Артем Шадрин.
ЧТО ПРОФЕССИЯ СПЕЦИАЛИСТА ПО ОЦЕНКЕ СТРЕМИТСЯ ДАТЬ ОБЩЕСТВУ?
Американский философ Томас Швандт в 2017 году написал статью, в которой обозначил необходимость обсуждения этоса оценивания[14 - Schwandt, T. A. (2017). Professionalization, Ethics, and Fidelity to an Evaluation Ethos. American Journal of Evaluation, 38(4), 546 553. https://doi.org/10.1177/1098214017728578.]. Т. е. стиля жизни общественной группы, которая ассоциирует себя с оценкой. По его словам, сейчас в основном в профессиональном сообществе говорят лишь о компетенциях и об обучении. В частности, он пишет:
«…Наиболее вопиющим является отсутствие активных дискуссий о том, что означает профессионализм в оценке и что сама профессия стремится принести обществу»… «Критический вопрос для глобального сообщества оценщиков как это сообщество понимает свою роль по отношению к своим клиентам и обществу в целом».
Что на этот счет думают представители российского сообщества специалистов по оценке программ и политик и как они сами отвечают на вопрос, поставленный Томасом Швандтом?
«Для меня профессия оценщика – это объективность и грамотный подход к принятию управленческих решений. Потому что в оценке есть принцип триангуляции. Прежде чем принять какое-то решение, посмотри с разных сторон на свой вопрос. Бывает триангуляция по признаку, по методу, по источнику данных. На основе какого-то одного факта принимать решение не нужно», – говорит Алена Богомолова.
Ирина Ефремова-Гарт считает, что оценка дает обществу чувство уверенности в качестве управления и надлежащем уровне эффективности программ, которые реализует государство, компания, некоммерческая организация.
«Если говорить о некоммерческом секторе, то увидим, что часто внимание сфокусировано на том, сколько проектов поддержано, какое количество благополучателей и сколько грантов выдано. Это важные индикаторы, но они не дают нам никакой информации о том, какие изменения происходят благодаря работе НКО. В лучшем случае это характеристики продуктивности работы грант-менеджера. Но не характеристики того, как наша жизнь или жизнь отдельных групп меняется к лучшему», – говорит эксперт.
Когда у тебя есть доказательная база, и ты можешь показать, что сделано для решения той или иной социальной проблемы в обществе и с каким эффектом, то это очень ценно, потому что помогает укрепить доверие в обществе.
Ирина Синелина из Международной организации труда полагает, что общественное благо, которое дает оценка, – это подотчетность в использовании денег.
«МОТ, как международная организация, использует деньги налогоплательщиков разных стран. Оценка – это возможность понимать, насколько хорошо были потрачены средства, и как можно в дальнейшем их лучше потратить, как усовершенствовать проекты, что-то видоизменить. Собираем данные, узнаем, изучаем степень полезности нашей деятельности. Дальнейшие решения принимаем с учетом этих знаний», – говорит Ирина Синелина.
Наталья Кошелева согласна с тем, что оценка помогает более эффективно использовать ресурсы для улучшения жизни людей. Она напомнила, что оценка социальных проектов и программ появилась в США и впервые была использована в проектах, направленных на борьбу с бедностью и преодоление социального неравенства.
«Глобально, оценка – это же про улучшение жизни наиболее уязвимых групп людей. Я когда на оценке стала специализироваться, поняла, что это действительно анализ, который позволяет улучшить качество программы. Это инструмент повышения осознанности деятельности, извлечения уроков из опыта и усовершенствования на основе эмпирических данных. Так как это не просто оценка, а оценка социальных проектов, это более эффективное использование ресурсов и повышение эффективности социальных проектов», – говорит она.
БУДЕТ ЛИ ОЦЕНКА ВОСТРЕБОВАНА В БУДУЩЕМ
Профессия специалиста по оценке, безусловно, будет востребована в будущем во всем мире, отмечают эксперты. «Это уже сейчас золотой стандарт в государственном и частном секторе», – говорит Ирина Синелина.
«Оценка не просто может, а станет обязательно профессией. Но это происходит эволюционным способом, путем накапливания знаний, понимания, зачем это нужно, формированием запроса на этих специалистов, формированием сообщества, которое может растить профессионалов, появлением образовательных продуктов», – говорит Марина Михайлова.
Будущее часто отождествляют с искусственным интеллектом. «Кто такой специалист по оценке проектов и программ?», – спросили мы у ChatGPT. И вот, что он нам ответил: «Специалист по оценке проектов и программ – это профессиональный эксперт, занимающийся оценкой стоимости проектов и программ. Он может работать в различных секторах экономики, а также на правовом рынке. Для успешной работы специалисту необходимо иметь образование и опыт в области финансовой аналитики, уметь работать с различными формами активов, уметь разрабатывать модели оценки, анализировать информацию, разрабатывать рекомендации для улучшения стоимости имущества».
Как видим из этого определения, нейросеть пока не понимает разницу между оценщиком имущества и специалистом по оценке проектов и программ. А значит у российского сообщества специалистов еще много работы, чтобы заявить о себе. Ведь профессия только зарождается. А путь ее становления по формированию спроса, полной занятости специалистов, школ профессиональной подготовки, разработки и утверждения профессионального стандарта, этического кодекса, формирования имиджа еще достаточно длинный. Как говорится, время покажет, как будет развиваться профессионализация оценки и сможет ли искусственный интеллект с ней конкурировать.
При подготовке статьи были использованы презентации Алексея Кузьмина и видеозапись с конференции АСОПП «Оценка в меняющемся мире: партнерства и инфраструктура», сессия «Профессионализация оценки в России и мире».
No Standards, Just Calling. Is Project and Program Evaluation a Profession?
The topic of professionalizing project and program evaluation (in the social sphere, culture, science, environment, etc.) has been on the agenda of international organizations for more than a dozen years, or about ten years in the Russian practice. There are numerous publications and discussions between evaluation specialists talking about the status of evaluation as a profession at the regional and international level. In our country, this topic is addressed at the annual conferences of the Association of Specialists in Program and Policy Evaluation (ASPPE or ASOPP). So is project and program evaluation a profession, and if so, how can we find out and tell?
Yulia Vyatkina
Editor, Positive Changes Journal
THE STAGES OF TURNING AN OCCUPATION INTO A PROFESSION
Before we start talking about the professionalization of evaluation (referring specifically to evaluation of projects and programs), let us consider how an occupation becomes a profession.
Harold Wilensky, an American sociologist who studied the functioning of various organizational structures in the modern society, proposed in the 1960s a model describing the formation of a profession in several stages[15 - Wilensky, L. (1964). The professionalization of everyone? American Journal of Sociology, 70(2), 137–158. Ayoo, S., Wilcox, Y., LaVelle, J. M., Podems, D., & Barrington, G. V. (2020). Grounding the 2018 AEA Evaluator Competencies in the broader context of professionalization. In J. A King (Ed.), The American Evaluation Association’s Program Evaluator Competencies. New Directions for Evaluation, 2020, 13 30.].
The process starts with a certain occupation acquiring full-time status. That is, with enough people engaged in some kind of activity from morning till night and making a living off of it. Full-time employment is the mandatory starting point, otherwise the occupation cannot turn into a profession. In addition, it is possible when there is a demand for services.
The second stage is the emergence of a school of professional training for the people engaged in this type of activity. Schools like this are often associated with universities. The next step is a professional association – an association of people engaged in this activity on a permanent basis. The association takes actions forcing the state to adopt certain regulations establishing the procedure for licensing and certifying activities, thus establishing a kind of professional monopoly. Also, the professional association affects the professional training of specialists, promoting the development of a theory, methods, strategies of activity and competences of the specialists.
Next, a code of ethics is developed, which helps prevent abuse of authority and power. Self-regulated professional associations demonstrate to the public that they control the code of ethics.
The final step is the formation of a positive image in the society. When you have established an image, you can say that you have a new profession.
WHAT IS A PROFESSION?
There are two approaches to defining a profession. In the first case, it is defined as an activity, an occupation, a job. In the second, as a group of people.
A profession as an activity is a paid job, especially one that involves lengthy training and formal qualifications. Accordingly, a professional is a person who has undergone such training, received confirmation of his/her qualifications and is engaged in that job.
Caroline Heider, former Director General and Senior Vice President, Evaluation, World Bank Group, highlights the key features of established professions[16 - Heider, C. Professionalizing Evaluation. 28.04.2015. The World Bank Group. Retrieved from: https://ieg.worldbankgroup.org/blog/professionalizing evaluation. (accessed 01.03.2023).]:
• There is an established stream through the tertiary education system that each member of the profession has to complete, and some professions require regular training to update knowledge and skills;
• The profession requires that new graduates practice in close collaboration and under the supervision of more experienced practitioners;
• There are strong, recognized professional associations that enforce and reinforce standards;
• Legislation is in place that sets out requirements and provides the basis for legal recourse in the case of malpractice.
IS EVALUATION A PROFESSION?
We decided to do a little research of our own and turned to experts who have been working in evaluation for quite a long time. Our speakers responded that it is too early to call evaluation a mature profession yet. By the way, its degree of maturity varies from country to country.
“I think it is a profession in its nascent stages. There are many signs indicating this. If you look at the percentage of those who graduated from higher education institutions and majored in «Evaluation», that number is really small anywhere in the world. Russia does not have such specialization at all. People come to evaluation from different fields and have different backgrounds,” says Alexey Kuzmin, Owner, Process Consulting Company.
It’s always worth remembering that when we talk about a profession, we have to understand that it has to have a number of attributes. Some of these are present in Russia, some are not, says Irina Efremova-Garth, First Deputy Director of the Donors Forum.
One of the key signs of professionalization of an activity is the self-organization of the related community. For example, in Russia we have the Association of Specialists in Program and Policy Evaluation (ASPPE or ASOPP), established in 2014 with the mission to develop and promote evaluation as a profession. The Siberian Civic Initiatives Support Center and the Garant Center of Social Technologies hold summer schools on evaluation; the PROOCENKU Club has been working actively, with the colleagues actively sharing their experiences and lessons learned during its meetings. An equally important attribute of professionalization is the existence of principles and standards formulated by the specialist community. In Russia, as in other countries where professional associations operate, these principles have been developed and adopted by the ASPPE[17 - ASPPE. (2017). ASPPE Principles of Program and Policy Evaluation. Retrieved from: https://www.eval.ru/principles_of_evaluation. (accessed: 01.03.2023).]. Their distinctive feature is that each of the six principles contains recommendations not only for evaluators, but also for the clients and the participants of the evaluation process. Another sign of professionalization is the certification system, wherein a specialist in the field of evaluation would receive official confirmation of his/her experience and knowledge. There is no certification of evaluators in our country; at the same time, it does not exist in many countries of the world either, with the exception of Canada and Japan.
The list of signs can also include growing interest of universities in the professional training of evaluation specialists: for example, Moscow State Psychological and Pedagogical University has launched a Master’s degree program “Evidence-Based Design and Evaluation of Programs in the Field of Social Risk Management in Childhood”. One of the factors contributing to the development of evaluation in Russia was the strategic audit organized and conducted by the Accounts Chamber of the Russian Federation. It is carried out to assess the feasibility, risks and results of achieving strategic goals, as well as the impact of external and internal factors on the progress towards these strategic goals.
“All these facts serve as an evidence that evaluation is developing as a profession,” Irina Efremova-Garth summarizes.
Elena Malitskaya, president of the Siberian Civic Initiatives Support Center (SCISC) notes that there is a growing demand from the state for specialists in evaluation in the country. “However, this demand is quite narrow – for a specific type of evaluation only, related to a review of applications, projects and programs,” Elena Malitskaya says.
Marina Mikhailova, director of the Garant Center, agrees that the demand for specialists in evaluation and the respective training is growing.
“So far, evaluation remains an expertise, not a profession. But 15–20 years ago, it was merely a discussion between specialists; today the situation has changed greatly. On the one hand, there is a lot more talking about evaluation. On the other hand, every applicant in the presidential and other grant competitions needs to evaluate the results of their projects. In addition, there are more educational products that teach self-evaluation,” Marina Mikhailova says.
There are contests rewarding people and organizations that pay attention to evaluation, she continues. The expert community started looking at the annual reports to see whether they contain information about the evaluation of the organization’s performance. They also started realizing that evaluation is not the tool of a few super-specialist, but something everyone has to do, one way or another. Sometimes employees of organizations are just unaware of this.
Evaluation has come a long way towards professionalization, but it still has a long way to go, says Natalia Kosheleva, president of the Association of Specialists in Program and Policy Evaluation, a consultant on monitoring and evaluation of socially oriented programs and projects.
