4.5. Збір даних та звітність
В ефективних організаціях звіти не є самоціллю та не пишуться для галочки. Звіти як інформація про хід та результати діяльності потрібні для двох ключових цілей:
по-перше, для об’єктивного розуміння власної діяльності − розуміння її успішності та можливості вчасно вносити корективи для її вдосконалення, а також обміну досвідом та поширення кращих практик;
по-друге, для підтримання прозорості та підзвітності діяльності, щоб усі зацікавлені сторони також мали об’єктивне уявлення про діяльність організації (а це, у свою чергу, сприяє розвитку довірливих стосунків та створює основу для потенційного партнерства).
Невипадково прозорість і підзвітність, а також довіра та партнерство є цінностями системи надання безоплатної правової допомоги.
Тож питання звітності є актуальним для кожної установи, адже дозволяє з’ясувати нинішній стан справ та визначити перспективи розвитку.
Насамперед, збір, обробка та аналіз інформації щодо діяльності центру слугує для виконання різних завдань у контексті його подальшої діяльності, а саме:
дає змогу виокремити успіхи центру;
дозволяє узагальнювати результати, досягнуті працівниками різних напрямів роботи центру (відділів);
дозволяє виявити загальні тенденції та прогнози у певних аспектах роботи центру;
показує слабкі місця діяльності центру (уможливлює визначення та врахування чинників, що негативно впливають, та вказує на напрями діяльності, які вимагають зміни);
сприяє ефективному перегляду планів роботи;
допомагає визначити стратегію подальшого розвитку;
підвищує обґрунтованість прийняття управлінських рішень (внесення змін до штатного розпису) тощо.
Періодичність збору інформації зумовлена необхідністю регулярно мати інформацію для відслідковування діяльності на шляху до досягнення цілей, інформацію про процес реалізації стратегії.
Аналіз зібраної інформації – безперервний процес, який супроводжує діяльність центру протягом усього часу його існування. Цей інструмент використовується для того, щоб розуміти, наскільки заплановані дії відповідають попереднім очікуванням, розрахункам та обраним підходам, а також наскільки така діяльність сприяє досягненню очікуваних (стратегічних) цілей, впровадженню бажаних змін.
Моніторинг та оцінювання (інколи скорочують M&E від англ. − monitoring and evaluation[1]) є важливими управлінськими функціями, які пов’язані з критичним осмисленням процесу та результатів діяльності. Це підхід, який дозволяє виносити уроки з діяльності, святкувати маленькі перемоги та вчасно корегувати діяльність для покращення її результатів.
Моніторинг та оцінювання дозволяють змінити підходи від традиційного бюрократичного контролю (де основний фокус – на покаранні за помилки) до свідомого й відповідального ставлення до роботи, де увага до процесів та результатів дозволяє досягати кращих результатів для клієнтів, враховувати виклики та підтримувати постійне прагнення досконалості. У такому підході ключова роль належить самим виконавцям, оскільки саме вони зацікавлені в об'єктивних результатах і в першу чергу враховують в роботі результати M&E.
Моніторинг (monitoring) | Оцінювання (evaluation) |
▪ постійне відслідковування ходу діяльності в рамках проекту, програми або організації та установи ▪ збір та аналіз поточних даних про стан справ, дії та безпосередні результати ▪ здійснюється в процесі певної діяльності ▪ сканування ситуації: «Що» – «Як» | ▪ аналіз досягнутих результатів, у тому числі наслідків дій та змін ▪ відрізняється більшою глибиною аналізу й передбачає вивчення сутності явищ, процесів, дій ▪ здійснюється як на стадії планування діяльності (для вивчення поточного стану справ), так і за її проміжними та фінальними результатами ▪ може бути як внутрішнім (проводиться силами організації), так і зовнішнім (із залученням експертів, зацікавлених сторін) ▪ винесені уроки: «Чому», «Що з того» |
Див. приклади внутрішнього аналізу, зовнішнього моніторингу та оцінювання системи на сайті http://legalaid.gov.ua/ua/ у рубриці «Прозорість системи управління». Там розміщені звіти за результатами аудиту по областях, звіти Координаційного центру про діяльність системи, звіти за результатами аналізу, огляду та оцінювання системи громадськими організаціями, іноземними та міжнародними організаціями.
Узагальнені статистичні дані представлені в розділі http://www.legalaid.gov.ua/ua/statistics-ukr, а також їх можна побачити в рубриці інфографіка - http://legalaid.gov.ua/ua/pres-tsentr/mediafiles/1203-infohrafika
Основою моніторингу є визначення статистичних даних та показників (індикаторів), на підставі яких можна робити висновки про стан тих чи інших напрямів діяльності центру. Вони фактично слугують певними критеріями для аналізу діяльності.
Слід враховувати, що статистичних даних є більше, ніж показників результативності (KPIs[2]), вони допомагають визначити та пояснити ці показники результативності. У свою чергу, щодо показників результативності (KPIs) необхідно пам’ятати таке:
це інструмент не (бюрократичного) контролю, а моніторингу та оцінювання для постійного вдосконалення діяльності (важливий для всіх центрів);
важливим є їх однакове розуміння (що і для чого збирається / вимірюється);
вони «прив’язані» до цілей (змін); вони мають показувати, які відбуваються зміни (чи є поступ до досягнення цілей);
вони повинні вимірювати те, що є важливим для зацікавлених сторін (пояснювати);
вони повинні бути збалансованими (комплекс показників розглядається разом, у взаємозв’язку);
не означають, що щось є «гарним» чи «поганим», це просто дані для аналізу;
мають бути обґрунтовані цільові значення показників по кожному центру (деталізуються на місцевому рівні, можуть бути різними для різних центрів залежно від ситуації).
Досягненню ефективності моніторингу сприяє відповідність системи даних та індикаторів низці принципів:
комплексність – будь-яка організація є цілісною системою, тому індикатори мають охоплювати всі сфери її діяльності;
системність – індикатори мають бути не тільки такими, що уможливлюватимуть порівняння (бути зіставними[3] один з одним), а й не перекривати один одного в наданій інформації;
інформативність – індикатори мають давати підстави не тільки для кількісної оцінки, а й якісної характеристики явища чи процесу;
достовірність – спосіб збирання та оброблення вихідної інформації має передбачати можливість перевірки точності отриманих даних;
сфокусованість та практичність – обмеженість кількості індикаторів лише тими, які потрібні для аналізу діяльності; розгляд лише тих індикаторів, які будуть використані у подальшій діяльності для прийняття рішень;
чутливість – індикатор має чітко реагувати на зміни, що відбуватимуться;
доступність – інформація для індикатора має бути доступною для збирання;
надійність – дані, необхідні для індикаторів, мають бути надійними впродовж встановленого часу.
Дуже важливо розуміти, для чого збираються ті чи інші дані, що вони нам показують, а також про що вони говорять іншим зацікавленим сторонам.
Індикатори поділяються на кількісні та якісні, деякі дані можуть одночасно містити кількісні та якісні ознаки.
ПРИКЛАДИ ПОКАЗНИКІВ | |
▪ Загальна кількість звернень (загальна та у порівнянні до густоти населення) ▪ Динаміка кількості звернень у співвідношенні до аналогічних періодів попередніх років | Показник навантаження на працівників та доступності послуги |
▪ Розподіл клієнтів за обраними ознаками: стать, вік, категорії права на БВПД, тематика звернень тощо | Дає можливість сформувати «портрет клієнта», побачити, хто має доступ до БПД та які потреби мають клієнти |
▪ Кількість звернень та їх динаміка в часі ▪ Джерела інформації про систему БПД у клієнтів[4] | Дає можливість оцінити доступ, подивитися на поширення інформації про діяльність центру та залучення нових клієнтів |
▪ Кількість клієнтів, які зверталися понад один раз у різних справах | Показник довіри до центрів / системи, може свідчити про якість роботи системи |
▪ Кількість клієнтів, які зверталися кілька разів в одній і тій самій справі | Дає можливість аналізувати роботу фронт-офісу щодо якості надання правової допомоги, а також може бути джерелом інформації про інші суміжні проблеми клієнта або потреби |
▪ Кількість клієнтів, які отримали БПД у дистанційних точках доступу (поза офісом), з розподілом за місцями і способами отримання | Визначення потреби у БПД |
▪ Кількість подяк ▪ Кількість (обґрунтованих) скарг | Інформація про рівень задоволення клієнтів. Може стосуватися якості роботи працівників системи та/або потреб клієнтів |
▪ Час на очікування послуги (на надання БППД) − відповіді по телефону, зустрічі, листа; наявність / відсутність черг; середній час очікування в черзі; ▪ Дані щодо надання послуг по телефону: − % або кількість дзвінків, відповідь на які була надана протягом 3 хвилин; − % або кількість відмов; кількість дзвінків із результатом «Зайнято»); − % клієнтів, які говорять, що змогли зв’язатися з консультантом по телефону без особливих труднощів ▪ Час на очікування рішення про призначення БВПД / відмову в прийнятті рішення (кількість днів у середньому) ▪ Час до першої зустрічі клієнта та адвоката / працівника МЦ | Показник доступності та оперативності послуги, може свідчити про якість роботи працівників, навантаження на них та потребу в (додаткових) кадрах |
▪ Наявність (кількість) та якість інформаційних роздаткових матеріалів у фронт-офісі | Інформація про інструменти інформування клієнтів, а також додаткові можливості «керування чергою» |
▪ Кількість виступів[5] у ЗМІ та заходів, проведених за участю співробітників центру | Оцінка активності центру в правопросвітницькій діяльності та рівня зовнішньої комунікації |
▪ Кількість опублікованих успішних практик надання БПД | Свідчить про зусилля щодо поширення позитивної інформації про центр, формування іміджу успішної установи та підвищення довіри громадян і партнерів |
▪ Кількість згадувань про систему БПД в академічній літературі, звітах уряду, публікаціях партнерів та інших зацікавлених сторін, ЗМІ | Поширеність інформації про БПД |
▪ Зручність для клієнта та фізична доступність: транспортні сполучення і розташування центру, адекватна інформація на сайті та в роздаткових матеріалах, наочна інформація про розташування (легко знайти), доступ для осіб з особливими потребами (сходи / проходи), стільці, освітлення і т. ін. | Якісний показник доступності, що виявляється різними методами (спостереження, опитування клієнтів) |
Як один з якісних показників у роботі фронтлайнера можна було б розглядати також «своєчасність та правильність складення правових документів»; такі дані міг би дати вибірковий моніторинг справ керівником, в результаті чого можна було б виявити потреби в навчанні / підвищенні кваліфікації такого працівника.
Важливим ключовим показником результативності (kpi) може бути рівень задоволеності клієнтів, наприклад, відсоток клієнтів, які задоволені доступністю послуг БПД, відсоток клієнтів, які задоволені допомогою в рамках БПД. Такі дані отримуються завдяки опитуванню клієнтів, які можуть здійснюватися як на постійній основі, так і системно, наприклад, раз на три роки. Рівень задоволення якістю комунікації з працівниками центрів оцінюється після отримання послуги, в тому числі після першого прийому (за допомогою відповідних міні-анкет).
Дані / інформація узагальнюється на рівні:
кожного центру
регіону
та системи загалом.
Дані узагальнюються та подаються з різною періодичністю: щоденно (постійно завдяки КІАС[6]), на квартальній основі (квартальні звіти місцевих центрів регіональним центрам для узагальнення практики на рівні регіону). Центри готують щоквартальні звіти з виконання планів та інформаційні довідки, а також щорічні звіти з виконання річних планів, що розміщуються на веб-сайті.
Внутрішній моніторинг діяльності потребує регулярного (щоденного / постійного) збору даних для оцінки та коригування діяльності організації, причому вказані показники мають формуватися на основі плану роботи за напрямами діяльності.
Збір даних має відбуватися в автоматичному режимі завдяки використанню баз даних КІАС, але інколи це може робитися в ручному режимі шляхом заповнення спеціальних форм статистичної звітності[7]. Основною вимогою в будь-якому випадку є повнота внесення первинних даних реєстраційних карток клієнта та звернення клієнта.
N.B. Несвоєчасне або неповне внесення даних зменшує їх достовірність, збільшує похибку при розрахунках статистичних показників, аналізі індикаторів та створює ризики для неправильної інтерпретації даних.
Наприклад:
Уявімо ситуацію, що з метою залучення нових клієнтів інтегратором центру було досягнуто домовленості щодо виступу директора на одному з телеканалів. Очікувалося, що після такого виступу відбудеться збільшення кількості клієнтів.
Одним зі способів, який дозволить зрозуміти, що ефір саме на цьому телеканалі був ефективним, є аналіз джерел інформації клієнтів про центр, тому про це треба запитувати кожну особу, яка вперше завітала до центру, та, відповідно, переносити ці дані до РКК. Серед джерел, звідки клієнт або клієнтка дізнався про роботу центру, в РКК зазначено, зокрема: телебачення, радіо, друковані видання[8]. Але працівнику фронт-офісу слід не лише запитати про джерело, але й конкретизувати його. Якщо газета – то яка саме, якщо телебачення – який телеканал чи передача. Аналіз цих даних у подальшому може допомогти в покращенні поширення інформації.
Невнесення або несвоєчасне внесення інформації про звернення клієнтів має також і інші негативні наслідки.
Наприклад: Уявімо ситуацію, що до центру «А» звернулася гр. Ромова Валентина Петрівна з письмовим зверненням про надання БВПД, що передбачає здійснення представництва її інтересів під час розгляду відповідним районним судом міста Х справи № Y про визнання Петрова Олега Івановича таким, що втратив право користування житловим приміщенням, та виселення. За результатами звернення центром було винесено рішення про надання гр. Ромовій В. П. БВПД та призначено адвоката. Але працівники центру «А» не внесли дані цього звернення щодо надання БВПД до КІАС.
Проходить час, і гр. Ромова В. П. через певні обставини (наприклад, невдоволення отриманою послугою, скажімо, адвокат протягом певного часу не відповідав на телефонні дзвінки клієнта тощо) замість того, щоб проінформувати про такі обставини центр, яким їй було надано БВПД, звернулась вже до іншого центру (центр «Б») з аналогічним зверненням (про надання БВПД).
Під час прийняття такого звернення працівником центру «Б» було здійснено пошук звернень гр. Ромової В. П. у КІАС для перевірки наявності підстави для відмови у наданні БВПД, передбаченої п. 4 ч. 1 ст. 20 Закону України «Про безоплатну правову допомогу». Враховуючи те, що до КІАС центром «А» не було внесено інформацію щодо звернення гр. Ромової В. П. та видачі доручення на представництво її інтересів адвокату, в центру «Б» не було підстав для відмови громадянці в наданні БВПД, хоча фактично така підстава була, адже особі раніше надавалася безоплатна вторинна правова допомога з одного і того ж питання.
Як вже зазначалося, статистичні дані та показники результативної діяльності важливі не лише для аналізу діяльності. Вони є важливими для підтримки поінформованості усіх зацікавлених сторін і є ключовими для підтримки прозорості та підзвітності. Саме тому значна увага в системі приділяється використанню різних показників під час публічного звітування.
Причому звітність відбувається на трьох рівнях – на рівні центрів, регіону та національному рівні. Що вищий рівень, то меншою може бути деталізація. Натомість це можливо і доречно на рівні місцевих центрів.
Звіти можуть бути підготовлені з використанням фото та історій клієнтів, відгуків ЗМІ для демонстрації успішної діяльності центру тощо. При цьому публічний звіт має базуватись на реальних фактах.
Важливо підходити до звітів креативно, думаючи при цьому, що важливо та цікаво почути нашим сьогоднішнім та потенційним партнерам та клієнтам.
Публічні звіти можуть мати різні формати та способи поширення, наприклад:
окреме друковане видання (брошура / буклет);
публікація у ЗМІ;
розміщення звіту на сайті РЦ, у соціальних мережах;
представлення звіту на публічних заходах (прес-конференції, круглі столи, зустрічі з представниками органів державної влади та місцевого самоврядування тощо);
адресна розсилка тексту звіту.
Ефективність такого звіту зростає в разі поєднання різних форматів його поширення, що забезпечить його доступність до різних цільових аудиторій.
Звіти можуть слугувати не лише інструментом інформування усіх зацікавлених сторін, але й механізмом, що забезпечує належну інституційну пам’ять. Вони є корисними для всіх працівників системи, адже показують той шлях, яким йде система, ті зусилля, які докладаються кожним, і ті зміни, які відбуваються завдяки їхній роботі.
Рекомендуємо, зокрема, ознайомитися з 5-річним звітом про діяльність системи безоплатної правової допомоги в Україні «Становлення та розвиток системи: 2011 – 2015 роки» (його примірники мають бути в центрах, а також він доступний на сайті українською та англійською мовами)[9].
Слід зауважити, що, крім звітів центрів та КЦ, є звіти за результатами моніторингу та/або оцінювання, огляди, які готуються незалежними сторонами, партнерами з числа міжнародних організацій чи проектів, громадськими організаціями. Вони також ґрунтуються на певних показниках, які є важливими для врахування, і є цінним ресурсом, що фіксує історію розвитку системи; показують її сильні сторони та потреби розвитку. З такими звітами також можна ознайомитися на сайті КЦ[10].
[1] Детальніше див., наприклад: Подход к программированию, управлению и мониторингу с ориентацией на конечные результаты и его применение в ЮНЕСКО. Руководящие принципы
http://unesdoc.unesco.org/images/0017/001775/177568R.pdf
[2] KPIs (англ. – key performanace indicators) – ключові показники (або індикатори) результативної діяльності.
[3] Принцип зіставності – забезпечення порівнюваності індикаторів у визначені періоди.
[4] Ці показники можуть свідчити про результати роботи як інтеграторів, що поширюють інформацію про систему, так і фронт-офісу, адже часто нові клієнти звертаються до центру за рекомендацією особи, яка вже отримала таку послугу.
[5] До поняття «виступи у ЗМІ» можна віднести статті, публікації, виступи на радіо / телебаченні тощо. Цей індикатор важливо порівнювати за аналогічні періоди в минулому.
[6] Раніше також збирали дані у гугл-формах, а також щомісячні дані.
[7] Через появу нових, не передбачених програмою КІАС показників, вони можуть збиратися за допомогою інших інструментів, зокрема гугл-форм, до внесення змін у програмне забезпечення КІАС.
На сьогодні команда КЦ та профільні фахівці працюють над покращенням автоматизації всіх процесів реєстрації даних та аналізу в системі. Будуть також розроблені відповідні Рекомендації з користування КІАС.
[8] Інформація також може бути отримана з банерів, оголошень, під час участі у публічних заходах (круглих столах, конференціях тощо). В кожному випадку можуть бути важливими деталі, які пам’ятає клієнт.
[9] Звіт видано восени 2016 року за підтримки проекту «Доступна та якісна правова допомога в Україні»
[10] На сайті КЦ у розділі «Прозорість системи управління» розміщено низку таких матеріалів, як-от: «Система безоплатної правової допомоги в Україні. Аналіз першого року функціонування системи», що був підготовлений у 2014 р. за підтримки МФО Відродження, «Результати оцінювання системи безоплатної вторинної правової допомоги в Україні у світлі стандартів та передового досвіду Ради Європи», підготовлений у 2016 р. у межах проекту Ради Європи «Подальша підтримка реформи кримінальної юстиції в Україні», що фінансується урядом Данії; Огляди системи надання безоплатної правової допомоги в Україні (станом на жовтень 2014 та березень 2017), підготовлені проектом «Доступна та якісна правова допомога в Україні», що фінансується Урядом Канади, та іншими матеріалами.
Last updated
