ნათია უბილავა: არის თუ არა პროგრამის შეფასება აკადემიური კვლევა?

უკვე დიდი ხანია მინდა დავწერო ბლოგი WeResearch -ისთვის. ხან რა იდეა მომივიდა, ხან რა. ზოგ თემაზე დავიწყე კიდეც ფიქრი და წერა, თუმცა ვერ დავასრულე, რადგან მომეჩვენა, რომ ნაკლებად აკადემიური იყო და მხოლოდ ჩემს მოსაზრებებს გადმოსცემდა. ამიტომ გადავწყვიტე ცოტა მეტი დრო დამეთმო ამ საკითხისთვის. თუმცა ბლოგში მოცემული ინფორმაცია, ასევე ეყრდნობა ჩემს გამოცდილებასა და დაკვირვებებს.

ამ პოსტის თემა ჩემს ამჟამინდელ საქმიანობას ეხება. უკვე 6 წელია რაც მონიტორინგისა და შეფასების კუთხით ვმუშაობ როგორც განვითარებად ქვეყნებში, ასევე ჰუმანიტარულ კონტექსტში (development and humanitarian context). ვინაიდან აკადემიური ცოდნა ამ მიმართულებით არ მქონდა, ნაკლებად ვიცნობდი შეფასების თეორიებს (evaluation theories) და ჩემს მიერ დაგროვებული ცოდნა მხოლოდ პრაქტიკას ეყრდნობოდა. ბოლო რამდენიმე წელია რაც დავიწყე შეფასების მიმართულებით თეორიული ცოდნის ათვისება. ამ პროცესში მუდმივად ვაწყდებოდი დილემას, არის თუ არა პროგრამის შეფასება აკადემიური კვლევა? როდესაც ამ საკითხზე ლიტერატურის მოძიება დავიწყე, გადავაწყდი რამდენიმე საინტერესო მასალას. ამ საკითხის მკვლევარების ნაწილს მიაჩნია, რომ შეფასება არის აკადემიური კვლევის შემადგენელი ნაწილი ან ქვე-კომპონენტი, ხოლო ნაწილი თვლის, რომ შეფასებისა და კვლევის პროცესები მხოლოდ გარკვეულ ნაწილში იკვეთება ერთმანეთთან (მაგ: მეთოდოლოგია). ორივე მხარე თანხმდება, რომ მსგავსება-განსხვავების დასადგენად აუცილებელია განმარტებების განხილვა. ამ ბლოგში ვეცდები, განვიხილო შეფასებასა და აკადემიურ კვლევას შორის განსხვავება-მსგავსება და მივყვე არგუმენტს, თუ რატომ მიმაჩნია შეფასება გამოყენებითი, და არა აკადემიური კვლევის ნაწილად.

ორი წლის წინ ბერნის უნივერსიტეტის მიერ ორგანიზებულ კურსზე ვიყავი, სადაც გავეცანი შეფასების თეორიებს, მიდგომებს და ანალიზის პროცესებს. სხვადასხვა სემინარის მოსმენის, მსოფლიოს სხვადასხვა ქვეყნის წარმომადგენელ ევალუატორებთან დისკუსიის და დამატებითი მასალების მოძიების პროცესში, აღმოვაჩინე, რომ შეფასებასა და აკადემიურ კვლევას აქვთ სხვადასხვა მიზანი: ერთი ემსახურება ახალი ცოდნის შექმნასა და ამ ცოდნის მეცნიერების განვითარებისთვის გამოყენებას, ხოლო მეორე აფასებს ცვლილებას, შედეგს რომელიც მოჰყვა ამა თუ იმ ინტერვენციას, რომელიც შესაძლოა გამოყენებული იქნას მომავალში მსგავსი პროექტების თუ მიდგომების დაგეგმვის დროს. შესაბამისად, შეფასებისა და აკადემიური კვლევის გაიგივება და ურთიერთგადამფარავ პროცესად წარმოჩენა არ არის მიზანშეწონილი. მეორეს მხრივ, მკვლევარი და ევალუატორი/შემფასებელი საჭიროებენ კონკრეტულ პრაქტიკულ უნარებსა და თეორიულ ცოდნას იმისათვის, რომ ჩაატარონ ხარისხიანი შეფასება, თუ აკადემიური კვლევა. რა თქმა უნდა, გარკვეული უნარები თუ ცოდნა იკვეთება, და სრულიად აუცილებელია, ისევე როგორც კვლევის ეთიკა და „არ ავნო“ პრინციპი არის განუყოფელი ნაწილი ორივე პროცესისათვის. ასევე, ამ საკითხის მკვლევარების ნაწილი თვლის, რომ მკვლევარის სუბიექტურობა ეჭვქვეშ აყენებს აკადემიური კვლევის სანდოობას, ხოლო შემფასებელს სჭირდება ბალანსის დაცვა, ერთი მხრივ, იყოს ობიექტური და მეორე მხრივ, შეიმუშავოს რეკომენდაციები დაინტერესებული მხარეებისთვის, რაც გარკვეულწილად მოითხოვს ინტერპრეტაციასა და სუბიექტურ მსჯელობას.

მეთოდოლოგიის თვალსაზრისითაც არის განსხვავება ისევე როგორც მსგავსება. მაგალითად, ორივე იყენებს მონაცემების შეგროვებისთვის მსგავს მეთოდებს. რა თქმა უნდა, ორივე პროცესი გულისხმობს გარკვეულ სიზუსტეს (research rigor), თუმცა აკადემიურ კვლევას აქვს მკაცრად განსაზღვრული წესები, რომელსაც უნდა მიყვეს მკვლევარი, ან თუ არ მიყვება, დაასაბუთოს მიზეზები. შეფასების მეთოდოლოგიის შემუშავების პროცესში, რა თქმა უნდა, ემპირიული მიდგომები არის ამოსავალი და ზოგიერთი მიდგომა ძალიან რთული და კომპლექსურია (მაგალითად impact evaluation), თუმცა შეფასების ზოგიერთი მიდგომა არ მოითხოვს მსგავს მეთოდოლოგიურ სიზუსტეს (the most significant change). ფინანსური თუ სხვა რესურსების ნაკლებობის გამო, შემფასებელმა შესაძლოა აირჩიოს ნაკლებად ემპირიული მიდგომა, რადგან მეთოდოლოგიის განსაზღვრის პროცესში, საჭირო და აუცილებელი ინფორმაციის მიღება არის ამოსავალი წერტილი; თუმცა ეს არ აკნინებს მიღებული ინფორმაციის სანდოობასა და საჭიროებას.

და ბოლოს მინდა შევეხო რეპლიკაციის საკითხს. იმდენად, რამდენადაც აკადემიური კვლევის ვალიდობა რეპლიკაციაზეა დამოკიდებული, შეფასებაში ნაკლებად დგას რეპლიკაციის საკითხი. შეფასებაში რეპლიკაციის პრობლემა დამოკიდებულია იმაზე, თუ რა არის შეფასების მიზანი, რამდენად არის აქცენტი მასშტაბზე (scale-up), რათა რეპლიკაციის მიგნებების მიხედვით მოხდეს გადაწყვეტილების მიღება. მცირე მასშტაბიან შეფასებაში, რომელიც გარკვეული პროექტის, თუ პროგრამის შეფასებას ისახავს მიზანს, რეპლიკაციის ნაცვლად, აქცენტი კეთდება უფრო მეტად განგრძობადობაზე - კვლევა იმაზე, თუ რამდენად ხდება მიღწეული შედეგის შენარჩუნება. თუმცა რეპლიკაციას შეფასებაშიც (განსაკუთრებით impact evaluaton) დიდი ყურადღება ეთმობა სხვადასხვა ორგანიზაციების მხრიდან.

იმდენად, რამდენადაც შეფასებას აქვს ძალიან მნიშვნელოვანი როლი ისეთი საკითხების მოგვარების პროცესში, როგორიც არის გლობალური შიმშილი, ჯანდაცვის ხელმისაწვდომობა, და სხვა სოციალური პრობლემები, შეფასების თეორიები არის საკმაოდ მრავალფეროვანი და იყენებს მეცნიერულ მიდგომებს პრაქტიკული გამოყენებიდან გამომდინარე, რაც თავის მხრივ შეფასებას აქცევს გამოყენებითი კვლევის ნაწილად.

გამოყენებული მასალები:

What is evaluation? And how does it differ from research? by Dana Wanzer

Ways of framing the difference between research and evaluation by Patricia Rogers

Evaluation is Not Applied Research by Dana Wanzer

Four Differences between Research and Program Evaluation by Priya Small

Module 10: Distinguishing Evaluation from Research

პოსტის ავტორი: ნათია უბილავა, სოციალური მკვლევარი, მონიტორინგისა და შეფასების მენეჯერი