Instrumen Penelitian, Validitas dan Reliabilitashpm.fk.ugm.ac.id/wp/wp-content/uploads/… · PPT...
Transcript of Instrumen Penelitian, Validitas dan Reliabilitashpm.fk.ugm.ac.id/wp/wp-content/uploads/… · PPT...
Instrumen Penelitian, Validitas dan Reliabilitas
Trisasi Lestari - 2015
Merancang INSTRUMEN PENELITIAN
instrument construction
An instrument is a mechanism for measuring phenomena, which is used
to gather and record information for
assessment, decision making, and ultimately
understanding.
Komponen Instrumen
Memilih instrumen
Faktor-faktor yg dipertimbangkan:
Karakteristik populasi Literacy, physical/mental abilities, motivasi
Informasi ttg populasi yg akan diteliti No telp, alamat
Akses ke responden Lokasi, waktu, infrastructure yang ada (telephone, internet)
Tujuan survey Kompleksitas pertanyaan, sensitifitas topik,
Bentuk kuesioner yang akan diberikan Open-ended, close-ended
Perkiraan response rate
Metode pengumpulan data Self-administered
Individual, Surat Group Pooling Email/internet
Observation Penilaian siswa untuk dosen Checklist
Kombinasi format dan pendekatan Perilaku + Emosi Checklist+ fill the blank+rating scales
Questionnaire A self-contained and a self-administered instrument
for asking questions.
Lack the personal touch
Extremely efficient
Most popular
Good questionnaire ‘stands on its own’
Risks
Question Rules and bad examples
Menulis pertanyaan Full script, ditulis lengkap
Bermakna sama untuk semua responden
Respondent bisa memahami jawabannya
Disusun dengan baik
Menghindari kata-kata sulit
Menghindari kalimat negative
Menanyakan dua atau lebih pertanyaan pada saat yang sama
Menghindari kalimat panjang dan kompleks
Menghindari kalimat yang mengandung asumsi
Menghindari pertanyaan hipothetical
Hindari pertanyaan yang responden tidak tahu jawabannya
Hindari pertanyaan tentang causality (sebab-akibat)
Jika menyebutkan harus jelas dan eksplisit
Jika diperlukan bisa menjelaskan istilah yang digunakan, tetapi tidak di pertanyaan
Dll (handout mp)
Contoh standar questionnaires Generic instruments
COOP/WONCA charts: measure six core aspects of functional status: physical fitness, feelings, daily activities, social activities, change in health and overall health.
Sickness Impact Profile (SIP)/Functional Limitations Profile (FLP)
RAND SF 36
Duke Health Profile (DUKE)
EuroQol
MOS 20
Nottingham Health Profile
RAND General Health Perception Questionnaire (GHPQ)
Dimension specific instruments Barthel Index Index of Independence in Activities of Daily Living Frenchay Activities Index General Health Questionnaire (GHQ) RAND Mental Health Inventory (MHI) McGill Pain Questionnaire (MPQ)
Disease/condition specific instruments State-Trait Anxiety Inventory (STAI) Center for Epidemiologic Studies Depression Scale (CES-D) Arthritis Impact Measurement Scale (AIMS) Living with Asthma (AQ) Chronic Respiratory Disease Questionnaire (CRDQ) Asthma Quality of Life Questionnaire (AQLQ) Diabetes Health Profile IDDM (DHP 1) and NIDDM (DHP2) Diabetes Quality-of-Life measure (DQOL) EORTC Quality of Life Questionnaire
Membuat isi kuesioner Melakukan literature review
Gunakan sarana/kuesioner yang sudah ada
Brainstorming Nominal Group Technique
Grup 5-6 orang Fasilitator menjelaskan ide/masalah/tujuan Setiap peserta memberikan ide tertulis dan dishare Anggota grup lainnya tidak mengkritik, tapi bisa minta klarifikasi Mengulang proses brainstorming sampai seluruh ide
terkumpulkan Setiap peserta mereview alternatif yang muncul Membuat rangking prioritas
Membuat isi kuesioner Snowballing / Pyramiding
2 2+2 4+4 dst
Delphi technique Mengumpulkan input content dan methodologi dari
expert melalui email/surat. Draft dibuat oleh peneliti dan dikirimkan kepada
ahli. Ahli memberikan komentar secara independen
Membuat isi kuesioner Questions Pool and Q-sort
60-90 pertanyaan Print pertanyaan di kartu Acak kartu Buat kriteria rangking:
most definitely include this item, include this item, possibly include this item, and definitely do not include this item.
Membuat isi kuesioner Concept Mapping
Preparation. Generation.
brainstorming, nominal group technique, to generate statements describing activities related to the project.
Structuring. sort the statements: Q-sort or other ranking process.
Representation. create visual maps that reflect the relationship
between the sorted items. Interpretation. Utilization.
Operationalizing Constructs
Pengukuran
Pengukuran adalah suatu proses yang sistematik dan berulang untuk menghitung atau mengklasifikasikan objek atau kejadian dengan menggunakan dimensi tertentu.
Biasanya dicapai dengan penggunaan angka (numerik values)
Tingkat pengukuran
Likert Scale
Rensis Likert1903 – 1981
Analisis Skala Likert Likert Scale: is the sum of responses on several Likert
items
Ordinal or Interval
Deskriptif Median, Mode, Percentiles/quartiles, Display
Distribution (bar chart)
Non-parametric test Chi-squared, Mann Whitney test, Wilcoxon signed-rank
test, Kruskal-Wallis test
Modified binomial Likert Scale Chi-squared, Cochran-Q, McNemar test
Observation Checklist
Pretesting Initial Pretesting
Individual Interviews and Focus Groups Review by Content Area Experts Continue to Obtain Feedback and Revise the Project If
Necessary
Pretesting during development Read and Reread the Items and Read the Items Aloud Review by Content Area Experts Review by Instrument Construction Experts Review by Individuals with Expertise in Writing Review by Potential Users
Pilot testing Questions for experts
Was each set of directions clear (that is, the general directions at the beginning of the questionnaire and any subsequent directions provided in the body of the instrument)?
Were there any spelling or grammatical problems? Were any items difficult to read due to sentence length, choice of words, or special terminology?
How did the reviewer interpret each item? What did each question mean to them?
Did the reviewer experience problems with the item format(s), or does the reviewer have suggestions for alternative formats?
Were the response alternatives appropriate to each item?
Pilot testing What problems did the reviewer encounter as a result of the organization of
the instrument, such as how items fl owed? On average, how long did it take to complete? What was the longest time
and what was the shortest time it took to complete the instrument? For Web-based instruments, did the respondent encounter any problems
accessing the instrument from a computer or navigating the instrument once it was accessed?
Did any of the reviewers express concern about the length of the instrument, or did they report problems with fatigue due to the time it took to complete?
What was the reviewer’s overall reaction to the questionnaire? Did they have any concerns about confi dentiality or how the questionnaire
would be used? Did they have any other concerns? What suggestions do they have for making the questionnaire or individual
items easier to understand and complete?
Pilot testing Obtain evidence of reliability.
Establish evidence of face validity
Obtain evidence of content validity
Obtain evidence of criterion validity
Obtain evidence of construct validity
Validity and reliability
Contoh penelitian: mengukur tinggi badan rata-rata anak SD di DIY
Yang diukur harus tinggi badan, BUKAN berat badan Valid
Alat ukurnya akan memberikan hasil yang sama meskipun seseorang diukur tinggi badannya berulang-ulang Reliable
Hasil dari pengukuran tinggi anak SD di DIY ini diharapkan bisa menggambarkan tinggi rata-rata anak SD di Jawa Generalisir
Validity Apakah kita mengukur apa yang ingin kita ukur?
Konsep seringkali sulit diukur Misalnya:
Konsep : Pengetahuan. Latent & Manifest Variable
Tipe Validity
Face Validity Face validity is the degree to which an instrument appears to
be an appropriate measure for obtaining the desired information, particularly from the perspective of a potential respondent.
Responden diminta untuk menilai apakah instrumen penelitian (misal kuesioner) valid menurut mereka
Apakah responden bisa menangkap maksud pertanyaan sesuai yang dimaksud peneliti Orang biasa Expert
Contoh: kuesioner tentang gaya hidup sehat, pertanyaan: seberapa sering Anda olahraga? Face validity: Valid
Construct Validity Memastikan peneliti dgn responden memahami konstruk yang
sama Safety, intelligence, leadership, cleanness
Internal structure
Related to the theoretical of knowledge
Operationalization
Terdiri dari : Convergent validity : + contoh: depresi dan perasaan tidak berguna Discriminant validity: - contoh: depresi dan perasaan bahagia Harus dilaporkan keduanya
Convergent Validity
to show that measures that should be related are in reality related
Discriminant Validity
to show that measures that should not be related are in reality not related
Content/internal validity the degree to which an instrument is representative of the
topic and process being investigated.
Misalnya: Konsep: mengukur sikap murid terhadap guru
Alat ukur sikap dg skala Likert Saya mendengarkan semua kata orang tua Guru saya selalu berusaha membantu saya Saya selalu mengucapkan salam setiap bertemu guru
Literatur review : meningkatkan kemampuan peneliti untuk mencapai content validity
Apakah konten valid atau tidak dipengaruhi oleh: pengetahuan peneliti terhadap definisi konsep, teori tentang konsep yang ada, dan bagaimana konsep itu bekerja. Sample selection bias Information bias Statistical confounding
Criterion Validity making a comparison between a measure and an external
standard.
Stroke recovery vs level of assistance required Score test individual Observasi aktifitas harian: mengikat tali sepatu, memakai baju,
menggosok gigi, merapikan tempat tidur, dll.
Harus ditunjukkan pada instrumen untuk mengukur performa atau kinerja
Dibutuhkan: Pemahaman yang baik mengenai teori konsep yang diteliti
sehingga bisa ditentukan variable-variable lain berhubungan atau diprediksi akan berhubungan dengan faktor
Predictive validity
Apakah alat ukur yang dibuat bisa memprediksi outcomes.
Misal: apakah nilai tes TPA bisa memprediksi keberhasilan
siswa dalam mengikuti proses perkuliahan Apakah nilai TPA bisa memprediksi IPK akhir
mahasiswa Apakah tes psikologis untuk pegawai baru bisa
memprediksi seberapa loyal pegawai terhadap perusahaan
Multicultural validity an instrument measures what it purports to
measure as understood by an audience of a particular culture
Caranya: Menggunakan bahasa yang dimengerti Memperhatikan nilai/norma/kebiasaan masyarakat
lokal
Mengukur validitas dengan pendekatan qualitative
Evaluative
Literature review topik penelitian: memberikan bukti bahwa instrumen akan mengukur konstruk dan bukan lainnya.
Expert reviews
Table spesifikasi: identifikasi variabel topik/faktor Induktif/deduktif
Mengukur validitas dengan pendekatan quantitative
Mengukur kekuatan hubungan antara salah satu pertanyaan dengan pertanyaan lain dalam konstruk yang sama
Item analysis
Factor analysis
Pengukuran Validitas Item analysis
To demonstrate a relationship between individual items
Internal consistency reliability 1-2, 1-3, 1-4, 1-5, dst 2-3, 2-4, 2-5, 2-6, dst Dst
Further reading: The basics of item response theory (Baker, 2001)
Difficulty & Discrimination index
Tetapkan 10 subjek dg nilai terbaik dan 10 subject dg nilai terburuk Jika subject ke-10 ada beberapa….pilih secara
random
Hitung berapa banyak subject di kelompok nilai terbaik dan nilai terburuk yang menjawab pertanyaan 1 dg benar, pertanyaan 2 dg benar, dst
Difficulty index: (RU+RL)/20
Discrimination index: (RU-RL)/10
Name Item 1
1 1 Difficulty Index: (8+4)/20 = 0.6
2 1 Discrimination index (8-4)/10= 0.4
3 1 Compare to the maximum discriminating index
4 0 Near maximum: very discriminating
5 1 Half the maximum: moderately discriminating
6 1 A quarter the maximum: weak item
7 0 Near zero : non-discriminating
8 1 Negative: bad item
9 1
10 1 RU=8
…….
31 0
32 0
33 1
34 1
35 1
36 0
37 0
38 1
39 0
40 0 RL=4
Reliability
True Score: yang ingin diukurSystematic error: kesalahan yang selalu terjadi, misal alat ukur tidak dikalibrasi, sehingga bukannya mengukur mulai dari 0 tapi mulai dari 2 Random error: unpredictable error yang bisa terjadi karena kebetulan atau memang benar-benar ada perubahan, misalnya mood subject saat mengikuti ujian.
Sumber random error Subject reliability: respondent lelah, mood
Observer reliability: kemampuan observer/interviewer, background
Situasional: kondisi saat pengukuran dilakukan (interview dilakukan dirumah dan dikantor saat sedang sibuk akan memberikan hasil yang berbeda)
Instrument: wording yang kurang baik
Data processing: salah koding, salah entry
Cara pengukuran Reliability Eyeballing : informal method,
administer the instrument twice to the same group of people in a relatively short period of time to see if their responses remain the same
Repeated measurement1. Test-retest method When?
Carry-over effects Too early: over-reliability Too late: under-reliability
How? Mengukur seberapa kuat hubungan score yang diukur pada 2
waktu yang berbeda dengan correlation coefficient Reliable if coefficient correlation >0.7
2. Proportion agreement
Inter-rater and Intra-rater Reliability
Inter –rater: >1 rater
Intra-rater :1 rater
Calculate with Cohen’s Kappa
-1 <K<1
Kappa Statistic (Cohen, Kappa Statistic (Cohen, 1960)1960)
OA: Kesepakatan yang terjadiEA: Kesepakatan yg tidak disengaja
Observer 1Ramai Normal Total
Observer 2Ramai 140 52 192Normal 69 725 794Total 209 777 986
Kesepakatan antara observer 1 dan 2 untuk menilai apakah pasar-pasar di jogja ramai atau tidak
chance agreement between ramai-ramai=
chance agreement between normal-normal=
total expected change agreement=
Kappa=Observed agreement=
Test-Retest reliability pretest the questionnaire with
the same group on two separate occasions, expecting only minor variations in responses.
Coefficient of variation
Mirip Eyeballing methods
Internal Consistency Reliability To compare results across and among items within a single
instrument and to do so with only one administration.
Untuk instrumen yang punya lebih dari 1 item
Seberapa homogen item-item pertanyaan dalam 1 tes
Seberapa baik item-item pertanyaan itu mengukur satu construct
Cara menghitung: Average inter-item and average item-total correlation split half reliability coefficient alpha Kuder Richardson
Average inter-item and average item total correlation
Internal Consistency Reliability Split-half reliability
1. pertanyaan dibagi dua secara random2. Konstruk di kedua bagian harus sama3. Hitung skor respondent untuk setiap bagian 4. Hitung coefficient correlations antara skor bagian 1 dan bagian 25. Reliable jika coefficient correlation >0.8
Kuder-Richardson (KR) Membandingkan korelasi semua kemungkinan splif half Hanya cocok utk mengukur instrumen untuk satu konstruk Hanya dapat digunakan untuk instrumen yang jawabannya dikotomi,
ya-tidak, betul-salah
Coefficient alpha/ Cronbach’s alpha Seperti KR, datanya scaled/ranked
randomly split the items into two sets compute the correlation between these sets Put all the items back randomly split them into two sets again repeat for all possible split half correlations calculate the average of all the correlations. Internally consistent jika coefficient alpha >0.7
Cronbach’s alpha Paling sering dipakai untuk mengukur internal consistency
Diadaptasi oleh Cronbach (1951) dari Kuder&Richardson (1937)
VtestVi
nn 11
n = jumlah pertanyaanVi = variance score pada setiap pertanyaanVtest = total variance dari skor total (not %’s) on the entire test
– Large Vtest Small Ratio ΣVi/Vtest high alpha
How alpha works– Vi = pi * (1-pi)
» pi = percentage of class who answers correctly» This formula can be derived from the standard
definition of variance.
– Vi varies from 0 to 0.25pi 1-pi Vi
0 1 00.25 0.75 0.18750.5 0.5 0.25
Bagaimana jika instrumen tidak reliable?
Perhatikan jika ada salah satu item instrumen yang ‘salah’
Perhatikan seberapa kuat hubungan antara masing-masing item pertanyaan dengan skor
Item yang berkorelasi rendah dengan total skor akan menurunkan reliabilitas dan sebaiknya dihilangkan
Pada metode test-retest, perhatikan pertanyaan yang skor awal dan akhirnya berbeda jauh.
Bagaimana meningkatkan reliabilitas?
Pertanyaan tidak ambigu/jelas
Pertanyaan spesifik
Buat beberapa item pertanyaan untuk mengukur satu variable
Tetapi jangan terlalu banyak
Generalisability
From sample to population
Sample: true exist or just a coincidence
Hypothesis Hasil penelitian Kenyataan di populasi
Interpretasi
Null hypothesis (H0): Tidak ada hubungan antara perilaku hidup bersih sehat dengan kegiatan UKS
Ada hubungan antara perilaku
hidup bersih sehat dengan kegiatan
UKS
Ada hubungan antara perilaku hidup bersih sehat dengan kegiatan UKS
Null hypothesis ditolak
Alternative hypothesis (H1)Ada hubungan antara perilaku hidup bersih sehat dengan kegiatan UKS
Tidak ada hubungan antara perilaku hidup bersih sehat dengan kegiatan UKS
Type 1 error
Implikasi: Kegiatan UKS diperbanyak
Hypothesis Hasil penelitian Kenyataan di populasi
Interpretasi
Null hypothesis (H0): Tidak ada hubungan antara perilaku hidup bersih sehat dengan kegiatan UKS
Tidak ada hubungan antara
perilaku hidup bersih sehat
dengan kegiatan UKS
Tidak ada hubungan antara perilaku hidup bersih sehat dengan kegiatan UKS
Null hypothesis diterima
Alternative hypothesis (H1)Ada hubungan antara perilaku hidup bersih sehat dengan kegiatan UKS
Ada hubungan antara perilaku hidup bersih sehat dengan kegiatan UKS
Type 2 error
Implikasi: menghapuskan kegiatan uks
?
Berapa besar kemungkinan type 1 error?
Diukur dengan level of significance / p-values /coefficient alpha
Semakin kecil coefficient alpha, semakin kecil kemungkinannya terjadi type 1 error
Cut-off point yg sering dipakai p<0.05 significant
Dipengaruhi oleh: sample size Besarnya perbedaan dalam sample
Interpretasi Bagaimana jika p=0.052 atau p=0.049?
Pertanyaan Kalau satu hubungan antar variable menunjukkan
p<0.05 apakah berarti hasil itu penting?
Jika effect size hubungan antar variable besar, apakah berarti hubungan itu penting?
Apakah internal consistency reliability dan construct validity itu hal yang sama?
Jika pengukuran statistics menunjukkan hasil yang signifikan apakah itu berarti fenomenanya bisa ditemukan di populasi umum?
Instrument Qualitative: Interview Guide
Instruksi Beginning : information, informed consent Concluding
Questions Open-ended Key themes Factual questions before opinion questions Use probes or request to elaborate
Validitas dan Reliabilitas dalam penelitian kualitatif
Trustworthiness
Meningkatkan trustworthiness Thick description
mengumpulkan data secara rinci dan komprehensif, yang menggambarkan secara keseluruhan apa yang sedang terjadi
Negative/defiant case analysis
Triangulation (data, subject,methods)
Member checking