Моніторинг і оцінка — це те, що далеко не завжди вміють робити громадські організації. Це дійсно складна тема, в якій, втім, варто розібратися. Тому ми попросили Олексія Коваленка попрацювати у цій темі з нашими організаціями «Лабораторії Стійкості». Олексій є керівником ГО «Форум розвитку громадянського суспільства», членом координаційної ради ініціативи партнерства «Відкритий уряд» та тренером в рамках програми «Лабораторія стійкості».
Текст створено на основі майстерні Олексія Коваленка в рамках Лабораторії.
Для чого потрібне багаторівневе врядування?
Для того, щоб розібратися, що таке моніторинг і оцінка, треба спочатку зрозуміти, що вони є наскрізним процесом циклу прийняття рішень в умовах багаторівневого планування. Загалом, врядування — це процес прийняття і реалізації рішень, що характеризується широким залученням заінтересованих сторін до процесу їх розробки та/або вироблення політики на всіх рівнях. Брати участь – це і є основним завданням роботи громадських організацій. Рішеннями або політиками є проєкти, які ви створюєте та реалізуєте. А моніторинг і оцінка в «Багаторівневому врядуванні» означає, що ви аналізуєте результати впливу свого проєкту/політики на багатьох рівнях, тобто які зміни відбулись на локальному — рівень громади, обласному — рівень регіону і національному — рівень держави.
Отже, кожен проєкт має вплив на місцевому, регіональному та національному рівнях. Навіть якщо проєкт впроваджується саме на місцевому рівні, він може пізніше викликати зміни на інших рівнях. Так, наприклад, лікування дерев у певному районі міста хоч і стосується зеленого відновлення окремо взятої території, але може слугувати доброю практикою, що пошириться і на інші райони міста. А далі — на інші міста і навіть може стати належною практикою, якою будуть користуватись переважна більшість українських громад. Тобто невеличкі зміни в одному районі можуть вплинути на зміни у всій країні. Однак, на національному рівні не зупиняємося. Україна рухається в ЄС, тому результати всіх ваших проєктів так чи інакше мають впливати і на досягнення глобальних цілей, що відображають, зокрема, європейський курс. Пишучи проєктну заявку, ви будете вказувати багаторівневий вплив в розділах «актуальність / обґрунтування» та «очікувані результати». Щоб відстежити наслідки впливу вашого проєкту на міжнародному рівні, вам варто узгоджувати мету та очікувані результати свого проєкту з однією або декількома цілями сталого розвитку ООН.
Отже, у проєктній заявці має бути прописаний вплив на всіх чотирьох рівнях.
Щоб зрозуміти сенс багаторівневого планування, подивимося на парадигму управління. Її можна зобразити у вигляді піраміди, де найнижчим рівнем будуть ресурси, а найвищим — політики. Тобто, для успішної реалізації проєкту в першу чергу необхідні якісні рішення і чітко визначені повноваження, в основі реалізації яких лежать, значні ресурси (гроші, матеріально-технічна база, час, люди тощо). В такій комбінації можна говорити про те, що можливі певні зміни в тій чи іншій політиці на різних рівнях, завдяки напрацьованому проєкту.
В кожному проєкті важливою є сталість результатів і можливість його масштабування не тільки на горизонтальному, а і на вищі рівні. Хто займається багаторівневим врядуванням? Безперечно – органи влади різного рівня. Тому в проєкті мають прописуватися відповідальні посадові особи органів місцевого самоврядування та/або центральних органів виконавчої влади. Адже зазвичай саме у ОМС чи Міністерств є повноваження формувати і реалізовувати ті чи інші місцеві, регіональні та державні політики де проєкти, які створюють в партнерстві із ними НУО є їх відображенням в реальних активностях і результати яких і можуть бути масштабовані за бюджетні кошти.
Одночасно з цим варто не забувати, що початковою ланкою ініціації проекту є не громада загалом, а окрема людина — житель(ка). Проєкт необхідно прописувати так, щоб його результати сприяли/впливали на цілі розвитку громади/регіону/країни (відповідного рівня) і були конкретними та вимірюваними для кожної окремої людини, що і є основою людиноцентричного підходу — сенсу багаторівневого врядування.
До чого тут моніторинг і оцінка?
В процесі багаторівневого врядування моніторинг і оцінка потрібні, щоб вчасно побачити, що під час реалізації проєкту щось пішло не так. Моніторинг — це постійний процес збору даних, що відбувається весь час реалізації вашого проєкту, а оцінка — проміжний етап їх аналізу. Моніторинг відображає успішність реалізації проєкту, за його результатами ви будете звітувати донору. Він враховує різні категорії, що необхідні для стратегічного успіху: час, рішення, результати.
Щоб зрозуміти процес моніторингу, подивимося на приклад лічильника у вашій квартирі. В даному випадку індикатором є обсяг спожитої електроенергії, адже саме для визначення цих даних і призначений лічильник. Цифри, що він відображає це дані цього обсягу спожитої електроенергії. Одиниці вимірювання тут — кіловат/години. Сам лічильник є джерелом даних. Коли ви кожного місяця підходите до лічильника і фіксуєте в платіжці дані, які Ви бачите на екрані — ви проводите моніторинг. Однак самі по собі цифри, які він показує, нам ні про що не говорять. Їх повинна оцінити людина, яку називають монітором. Тобто, коли ви порівнюєте дані спожитої електроенергії в цьому і попередньому місяці — ви здійснює оцінку, яка показує, скільки електроенергії спожито за місяць і відповідно — розраховуєте — скільки треба заплатити за світло.
Методи моніторингу та оцінки, назви індикаторів — необхідно продумати з самого початку і прописати у проєктній заявці. Мета проєкту та успішність її досягнення якраз і визначається за результатами моніторингу і оцінки. Іноді ви зустрічаєте термін «ціль». Не варто плутати ці два поняття: ціль та мета. Термін «ціль» вживається саме в стратегічному плануванні, з ними ви повинні узгоджувати зміст свого проєкту. А в проєктній заявці вживається термін мета.
Результати проєкту, стратегічне планування та політика
В стратегії будь якого рівня (регіональної, місцевої чи національної) визначаються цілі, які потрібно досягнути, завдання, що треба виконати та заходи, що треба провести. Для розвитку громади/регіону/країни необхідно досягти визначених цих цілей, і досягти їх можна через виконання завдань. А завдання можна виконати за допомогою проведення заходів. Цілі, своєю чергою, поділяються на головну, стратегічну та оперативну. Ваші проєкти, що містять заходи якраз і сприяють виконанню завдань стратегії, що відповідає рівню реалізації вашого проєкту. А по завершенні, результати Вашого проєкту мають впливати на досягнення хоча б однієї з цілі стратегії відповідного рівня. Без цього проєкт існує окремо – тобто не впливає на розвиток країни, регіону та громади.
Для правильного напрацювання проєкту варто використовувати логічну матрицю проєкту.
В проєкті ви зазначаєте очікувані результати, вони бувають щонайменше двох видів: результат (outcome) та вплив (impact). Для визначення впливу необхідно зрозуміти, якої з політик (сфери життєдіяльності) на державному/регіональному та/або місцевому рівнях стосується ваш проєкт. Для цього треба знайти нормативний чи планувальний документ, що визначає цілі цієї політики. При цьому, вплив не обов’язково буде стосуватися тієї самої сфери (політики), якої стосується сам проєкт. Так, наприклад, проєкт може стосуватися розвитку туризму в громаді, однак впливу ви очікуєте на сферу економіки. І саме до цілей цієї сфери (політики) ви будете прописувати індикатори впливу.
Як визначити індикатори?
Тепер поговоримо про індикатори. Фактично індикатор – це просто назва. Як у випадку із лічильником, назвою індикатора буде «обсяг спожитої електроенергії». У індикатора є показники — дані, які ви збираєте в певний проміжок часу: базовий — це те, що було, фактичний — те що зараз та прогнозований — те що маємо досягнути. Порівнюючи ці три показники між собою, ми і здійснюємо оцінку. Індикатори (назву, одиниці виміру, показники) ви маєте прописувати одразу в проєктній заявці, спираючись на очікуваний вплив та результат. В проєктному менеджменті оцінка здійснюється на основі питань, відповіді на які ви маєте дати за результатами, або впродовж реалізації свого проєкту. Ці питання і допомагають провести оцінку і зачату допомагають придумати назви індикаторів.
Індикатори розробляються окремо до кожного з елементів вашого проєкту: до завдань, заходів та очікуваних результатів проєкту в цілому. Разом вони складають систему індикативних показників, що доповнюють один одного.
Є багато різних типів індикаторів, що дозволяє провести оцінку в різних ситуаціях. Основні серед них — кількісні та якісні Кількісні індикатори вказують на дані, які є обʼєктивними. До прикладу, кількісним індикатором є кількість людей, що відвідали захід. Індикатори, які записуються у відсотках називаються складними, бо для їх визначення необхідно знати декілька показників і провести математичну операцію для їх розрахунку. До прикладу, частка жінок на публічному заході — це складний індикатор, який ми можемо визначити, якщо знаємо скільки загалом людей було на заході, та скільки учасників є жінками.
Натомість якісні індикатори відображають субʼєктивне ставлення людей до того чи іншого явища, предмета, ситуації До прикладу, думки чи оцінки людей, які збираються під час опитувань чи досліджень щодо якості навчання, рівня задоволеності послугами тощо. Зверніть увагу на те, що рівень задоволеності подією, який вираховується через опитування учасників, є якісним індикатором, а кількість таких субʼєктивних оцінок — кількісним.
Індикатори, що прописуються в проєктній заявці можна доповнювати чи змінювати в процесі реалізації проєкту. Це відбувається, якщо змінилися обставини, і вам потрібно здійснити моніторинг інших активностей, ніж очікувалося. Система моніторингу є живим документом, який повинен підлаштовуватися під реалії, в яких реалізовується проєкт. Через це і існує поділ на основні (ключові, незмінні) індикатори, та динамічні, які і можуть змінюватися.
Як вже зазначалось, є три показники індикатора: базовий, фактичний та прогнозований. До прикладу, базовим показником кількості навчальних сесій, які ви проведете під час проєкту, станом на початок проєкту, буде 0. Прогнозованим показником у цьому випадку буде кількість заходів, які ви плануєте провести, а фактичним — скільки вже провели на певну дату.
Окрім логічної матриці проєкту, визначати назви індикаторів допомагає дерево цілей та очікувані результати кожного завдання та заходу. Для моніторингу та оцінки завжди необхідно декілька індикаторів, одного — недостатньо. Однак не потрібно створювати занадто багато індикаторів та ускладнювати проєкт, головне — щоб по індикаторах ви могли виміряти результат.
Якою б складною не здавалася тема моніторингу і оцінки, її розуміння допоможе, в першу чергу, вам самим. Здійснюючи моніторинг, ви будете бачити, наскільки успішно реалізується Ваш проєкт і зможете швидко зрозуміти, коли щось іде не так.
