Introduction to Evaluation

12
Introduction to Evaluation Evaluation is a methodological area that is closely related to, but distinguishable from more traditional social research. Evaluation utilizes many of the same methodologies used in traditional social research, but because evaluation takes place within a political and organizational context, it requires group skills, management ability, political dexterity, sensitivity to multiple stakeholders and other skills that social research in general does not rely on as much. Here we introduce the idea of evaluation and some of the major terms and issues in the field. Definitions of Evaluation Probably the most frequently given definition is: Evaluation is the systematic assessment of the worth or merit of some object This definition is hardly perfect. There are many types of evaluations that do not necessarily result in an assessment of worth or merit -- descriptive studies, implementation analyses, and formative evaluations, to name a few. Better perhaps is a definition that emphasizes the information-processing and feedback functions of evaluation. For instance, one might say: Evaluation is the systematic acquisition and assessment of information to provide useful feedback about some object

description

evaluation

Transcript of Introduction to Evaluation

Introduction to EvaluationEvaluation is a methodological area that is closely related to, but distinguishable from more traditional social research. Evaluation utilizes many of the same methodologies used in traditional social research, but because evaluation takes place within a political and organizational context, it requires group skills, management ability, political dexterity, sensitivity to multiple stakeholders and other skills that social research in general does not rely on as much. Here we introduce the idea of evaluation and some of the major terms and issues in the field.Definitions of EvaluationProbably the most frequently given definition is:Evaluation is the systematic assessment of the worth or merit of some objectThis definition is hardly perfect. There are many types of evaluations that do notnecessarilyresult in an assessment of worth or merit -- descriptive studies, implementation analyses, and formative evaluations, to name a few. Better perhaps is a definition that emphasizes the information-processing and feedback functions of evaluation. For instance, one might say:Evaluation is the systematic acquisition and assessment of information to provide useful feedback about some objectBoth definitions agree that evaluation is asystematicendeavor and both use the deliberately ambiguous term 'object' which could refer to a program, policy, technology, person, need, activity, and so on. The latter definition emphasizesacquiring and assessing informationrather thanassessing worth or meritbecause all evaluation work involves collecting and sifting through data, making judgements about the validity of the information and of inferences we derive from it, whether or not an assessment of worth or merit results.The Goals of EvaluationThe generic goal of most evaluations is to provide "useful feedback" to a variety of audiences including sponsors, donors, client-groups, administrators, staff, and other relevant constituencies. Most often, feedback is perceived as "useful" if it aids in decision-making. But the relationship between an evaluation and its impact is not a simple one -- studies that seem critical sometimes fail to influence short-term decisions, and studies that initially seem to have no influence can have a delayed impact when more congenial conditions arise. Despite this, there is broad consensus that the major goal of evaluation should be to influence decision-making or policy formulation through the provision of empirically-driven feedback.Evaluation Strategies'Evaluation strategies' means broad, overarching perspectives on evaluation. They encompass the most general groups or "camps" of evaluators; although, at its best, evaluation work borrows eclectically from the perspectives of all these camps. Four major groups of evaluation strategies are discussed here.Scientific-experimental modelsare probably the most historically dominant evaluation strategies. Taking their values and methods from the sciences -- especially the social sciences -- they prioritize on the desirability of impartiality, accuracy, objectivity and the validity of the information generated. Included under scientific-experimental models would be: the tradition of experimental and quasi-experimental designs; objectives-based research that comes from education; econometrically-oriented perspectives including cost-effectiveness and cost-benefit analysis; and the recent articulation of theory-driven evaluation.The second class of strategies aremanagement-oriented systems models. Two of the most common of these arePERT, theProgramEvaluation andReviewTechnique, andCPM, theCriticalPathMethod. Both have been widely used in business and government in this country. It would also be legitimate to include the Logical Framework or "Logframe" model developed at U.S. Agency for International Development and general systems theory and operations research approaches in this category. Two management-oriented systems models were originated by evaluators: theUTOSmodel whereUstands for Units,Tfor Treatments,Ofor Observing Observations andSfor Settings; and theCIPPmodel where theCstands for Context, theIfor Input, the firstPfor Process and the secondPfor Product. These management-oriented systems models emphasize comprehensiveness in evaluation, placing evaluation within a larger framework of organizational activities.The third class of strategies are thequalitative/anthropological models. They emphasize the importance of observation, the need to retain the phenomenological quality of the evaluation context, and the value of subjective human interpretation in the evaluation process. Included in this category are the approaches known in evaluation as naturalistic or 'Fourth Generation' evaluation; the various qualitative schools; critical theory and art criticism approaches; and, the 'grounded theory' approach of Glaser and Strauss among others.Finally, a fourth class of strategies is termedparticipant-oriented models. As the term suggests, they emphasize the central importance of the evaluation participants, especially clients and users of the program or technology. Client-centered and stakeholder approaches are examples of participant-oriented models, as are consumer-oriented evaluation systems.With all of these strategies to choose from, how to decide? Debates that rage within the evaluation profession -- and they do rage -- are generally battles between these different strategists, with each claiming the superiority of their position. In reality, most good evaluators are familiar with all four categories and borrow from each as the need arises. There is no inherent incompatibility between these broad strategies -- each of them brings something valuable to the evaluation table. In fact, in recent years attention has increasingly turned to how one might integrate results from evaluations that use different strategies, carried out from different perspectives, and using different methods. Clearly, there are no simple answers here. The problems are complex and the methodologies needed will and should be varied.

ExplanationWhat do we understand as the meaning of 'Evaluating'? The proper definition is "to ascertain the amount or value of something", or "to find numerical expression for something".In your studies, the ability to evaluate something is given as an example of a higher-order skill. At 'A' Level and beyond, you are rewarded with higher marks for displaying evaluative skills. This is most likely because it is considered to be a strong life-skill to be able to weigh up the value of a thought, action or argument. We exercise our individual intelligence when we make choices on the basis of information that we evaluate."A cynic is a man who knows the price of everything and the value of nothing."Oscar WildeAssessing the value of data will often mean investigating what lies beneath the numbers. Evaluation, therefore, can be thought of as looking at the background to data, understanding its context and throwing light on what it tells us. In theillustrationsection we look at a topical issue and try to see the 'big picture' behind it.

Pengenalan kepada PenilaianPenilaian adalah kawasan metodologi yang berkait rapat, tetapi dibezakan dari penyelidikan sosial yang lebih tradisional. Penilaian menggunakan banyak kaedah yang sama yang digunakan dalam penyelidikan sosial tradisional, tetapi kerana penilaian berlaku dalam konteks politik dan organisasi, ia memerlukan kemahiran kumpulan, keupayaan pengurusan, ketangkasan politik, sensitiviti kepada pelbagai pihak berkepentingan dan kemahiran lain bahawa penyelidikan sosial secara amnya tidak bergantung kepada seberapa banyak. Di sini kita memperkenalkan idea penilaian dan beberapa terma dan isu-isu utama dalam bidang.Definisi PenilaianMungkin definisi yang paling kerap diberikan ialah:Penilaian adalah penilaian yang sistematik bernilai atau merit beberapa objekDefinisi ini adalah tidak sempurna. Terdapat banyak jenis penilaian yang tidak semestinya menyebabkan taksiran bernilai atau merit - kajian deskriptif, analisis pelaksanaan, dan penilaian formatif, untuk menamakan beberapa. Lebih baik mungkin adalah definisi yang menekankan pemprosesan maklumat dan fungsi maklum balas penilaian. Sebagai contoh, seseorang mungkin berkata:Penilaian adalah pemerolehan sistematik dan penilaian maklumat untuk memberi maklum balas yang berguna tentang beberapa objekKedua-dua definisi bersetuju bahawa penilaian adalah usaha yang sistematik dan menggunakan kedua-dua istilah yang sengaja samar-samar 'objek' yang boleh merujuk kepada program, dasar, teknologi, orang, keperluan, aktiviti, dan sebagainya. Takrif kedua menekankan memperoleh dan menilai maklumat dan bukannya menilai bernilai atau merit kerana semua kerja-kerja penilaian melibatkan mengumpul dan menyaring melalui data, membuat pertimbangan tentang kesahihan maklumat dan kesimpulan kita berasal dari ia, sama ada atau tidak suatu taksiran bernilai atau merit keputusan.Matlamat PenilaianMatlamat generik penilaian yang paling adalah untuk menyediakan "maklum balas yang berguna" kepada pelbagai penonton termasuk penaja, penderma, pelanggan-kumpulan, pentadbir, kakitangan, dan lain-lain kawasan pilihan raya yang berkaitan. Selalunya, maklum balas yang dilihat sebagai "berguna" jika ia membantu dalam membuat keputusan. Tetapi hubungan antara penilaian dan kesannya tidak mudah satu - kajian yang kelihatan kritikal kadang-kadang gagal untuk mempengaruhi keputusan jangka pendek, dan kajian yang pada mulanya seolah-olah tidak mempunyai pengaruh yang boleh memberi impak yang lambat apabila keadaan yang lebih sehaluan timbul. Walaupun begitu, terdapat konsensus yang luas bahawa matlamat utama penilaian perlu untuk mempengaruhi membuat keputusan atau penggubalan dasar melalui penyediaan maklum balas empirikal yang dipacu.Penilaian Strategi'Penilaian strategi' bermakna luas, perspektif menyeluruh pada penilaian. Mereka meliputi kumpulan-kumpulan yang paling umum atau "kem" penilai; walaupun, yang terbaik, kerja-kerja penilaian meminjam eclectically dari perspektif semua kem-kem. Empat kumpulan utama strategi penilaian yang dibincangkan di sini.Model saintifik eksperimen mungkin strategi penilaian yang paling dominan dalam sejarah. Mengambil nilai-nilai mereka dan kaedah dari sains - terutama sains sosial - mereka mengutamakan pada kebaikan kesaksamaan, objektiviti, ketepatan dan kesahihan maklumat yang dijana. Termasuk di bawah model saintifik eksperimen akan: tradisi reka bentuk eksperimen dan separa-eksperimen; penyelidikan berasaskan objektif yang datang dari pendidikan; econometrically berorientasikan perspektif termasuk keberkesanan kos dan analisis kos faedah; dan artikulasi terkini teori didorong penilaian.Kelas kedua strategi model sistem pengurusan berorientasikan. Dua yang paling biasa ini adalah PERT, Penilaian Program dan Teknik Kajian, dan PKM, Kaedah Laluan Kritikal. Kedua-duanya telah digunakan secara meluas dalam perniagaan dan kerajaan di negara ini. Ia juga akan menjadi sah untuk termasuk Kerangka logik atau "Logframe" model yang dibangunkan di US Agensi Pembangunan Antarabangsa dan umum sistem teori dan pendekatan operasi penyelidikan dalam kategori ini. Dua model berorientasikan sistem pengurusan berasal oleh penilai: model utos mana U bermaksud Unit, T bagi Rawatan, O untuk Pemerhatian Pemerhatian dan S bagi Tetapan; dan model CIPP mana C bermaksud Konteks, I Input, P pertama untuk Proses dan P kedua untuk Produk. Ini sistem pengurusan berorientasikan model menekankan komprehensif dalam penilaian, meletakkan penilaian dalam rangka yang lebih besar aktiviti organisasi.Kelas ketiga strategi model kualitatif / antropologi. Mereka menekankan kepentingan pemerhatian, keperluan untuk mengekalkan kualiti yang fenomenologi konteks penilaian, dan nilai tafsiran subjektif manusia dalam proses penilaian. Termasuk dalam kategori ini adalah pendekatan yang dikenali dalam penilaian seperti penilaian naturalistik atau 'Generasi Keempat; pelbagai sekolah kualitatif; teori kritikal dan pendekatan kritikan seni; dan pendekatan teori berasaskan' Glaser dan Strauss antara lain.Akhirnya, kelas keempat strategi dipanggil model berorientasikan peserta. Sebagai jangka mencadangkan, mereka menekankan kepentingan pusat peserta penilaian, terutama pelanggan dan pengguna program atau teknologi. Pelanggan berpusatkan dan pendekatan pihak berkepentingan adalah contoh model berorientasikan peserta, sebagai sistem penilaian yang berorientasikan pengguna.Dengan semua strategi ini untuk dipilih, bagaimana untuk membuat keputusan? Perbahasan bahawa kemarahan dalam profesion penilaian - dan yang mereka lakukan kemarahan - adalah umumnya pertempuran antara kedua-strategi yang berbeza, dengan masing-masing mendakwa keunggulan kedudukan mereka. Pada hakikatnya, penilai yang paling baik adalah biasa dengan semua empat kategori dan meminjam dari setiap sebagai keperluan timbul. Terdapat tiada ketidakserasian yang wujud antara kedua-strategi umum - setiap daripada mereka membawa sesuatu yang berharga untuk jadual penilaian. Malah, pada tahun-tahun perhatian baru-baru ini semakin beralih kepada bagaimana seseorang mungkin mengintegrasikan hasil daripada penilaian yang menggunakan strategi yang berbeza, dijalankan dari perspektif yang berbeza, dan menggunakan kaedah yang berbeza. Jelas sekali, tidak ada jawapan yang mudah di sini. Masalah-masalah yang kompleks dan kaedah yang diperlukan akan dan perlu diubah.

PenjelasanApa yang kita faham sebagai pengertian 'Menilai'? Definisi yang betul adalah "untuk memastikan amaun atau nilai sesuatu", atau "untuk mencari ungkapan berangka bagi sesuatu".Dalam kajian anda, keupayaan untuk menilai sesuatu diberikan sebagai contoh kemahiran tinggi. Pada Peringkat 'A' dan seterusnya, anda akan diberi ganjaran dengan markah yang lebih tinggi untuk memaparkan kemahiran penilaian. Ini adalah yang paling mungkin kerana ia dianggap sebagai kemahiran hidup yang kukuh dapat untuk menimbang sehingga nilai pemikiran, tindakan atau hujah. Kami menjalankan kepintaran individu kita apabila kita membuat pilihan berdasarkan maklumat yang kita menilai."Satu sinis adalah seorang lelaki yang tahu harga segala-galanya dan nilai apa-apa." Oscar WildeMenilai nilai data selalunya akan bermakna menyiasat apa yang terletak di bawah nombor. Penilaian, Oleh itu, boleh dianggap sebagai melihat latar belakang kepada data, memahami konteksnya dan membuang cahaya pada apa yang ia memberitahu kita. Dalam theillustration seksyen kita melihat isu topikal dan cuba untuk melihat 'gambar besar' di belakangnya.