PENGUKURAN

1
PENGUKURAN

• Reza Aminy
• reza_at_systemicgroup.com
• s129002kl_at_yahoo.com

2
PENGUKURAN (1)

• Pengukuran adalah proses pemberian angka2 atau
  label kepada unit analisis untuk
  merepresentasikan atribut2 konsep. Proses ini
  seharusnya cukup dimengerti orang walau misalnya
  definisinya tidak dimengerti. Hal ini karena
  antara lain kita sering kali melakukan
  pengukuran.
• Contoh
• Angka IP rotring/korelasi
• Label restoran enak, restoran enak banget

3
PENGUKURAN (2)

• Pengukuran sehari-hari vs. pengukuran dalam
  penelitian sosial ? intuisi vs. aturan2 rinci
• Metode dan prosedur dalam penelitian harus
  dirinci dengan gamblang agar
• orang-orang bisa menilai benar-ngawurnya
  penelitian kita
• penelitian bisa diulang orang lain.

4
PENGUKURAN (3)

• Dua langkah awal dalam proses pengukuran
• Konseptualisasi
• Operasionalisasi

5
Proses Pengukuran Konseptualisasi (1)

• Konseptualisasi adalah proses formulasi
  penjelasan dari konsep.
• Sebuah konsep dapat mengacu pada kategori tunggal
  (misalnya pria) atau pada beberapa kategori
  (misalnya gender pria, wanita, dll.). Nilai
  untuk tiap kategori harus beda.
• Banyak konsep yang tidak bisa langsung diamati.
  Misalnya mau ngukur kebohongan.

6
Proses Pengukuran Konseptualisasi (2)

• Cek detak jantungnya, tekanan darah, breathing
  rate, dsb.
• Ini kemudian mengarah pada salah satu aspek
  konseptualisasi ? analisa konsep yang kompleks
  menjadi komponen2/dimensi2
• membantu membentuk pertanyaan penelitian dan
  hipotesis yang lebih refined
• sering menunjukkan perwujudan konkrit dari konsep

7
Proses Pengukuran Konseptualisasi (3)

• Menentukan manifestasi2/perwujudan2 dari konsep
  ini merupakan langkah selanjutnya setelah
  konseptualisasi.
• From a language of concepts to a language of
  variables, dari yang abstrak ke yang lebih
  observable, dari conceptual definitions ke
  operational definitions.

8
Proses Pengukuran Operasionalisasi (1)

• Contoh
• Pokoknya aplikasinya musti bagus. Konsep
  bagus itu apa? Misalnya komponen2nya adalah
  informasi (complete, accurate, relevant, timely,
  appropriately displayed/CARTA), response time,
  processing time, availability, security features,
  navigability, dsb.
• efektif-efisien input, output, waktu, dsb.

9
Proses Pengukuran Operasionalisasi (2)

• Terlihat bahwa definisi operasional ini
  tergantung pada penerjemahan konsep dan
  penerjemahan ini diusahakan setepat mungkin ?
  (cuma) indikator.
• Karena kadang2 ada error2 dikit atau tidak tepat
  100-nya penerjemahan konsep, seringkali
  digunakan multiple indicators. 
• Membantu penerjemahan relevant theory, good
  judgement, creative insights.

10
Proses Pengukuran Operasionalisasi (3)

• Tips bikin operational definition
• Remember the conceptual definition
• Keep an open mind (be creative).
• Borrow from others. Good ideas for measures can
  be found in other studies or modified from other
  measures. Credit must be given.
• Anticipate difficulties.
• Remember the units of analysis.

11
Definisi operasional dalam penelitian sosial (1)

• Manipulasi terhadap variabel dan/atau pengukuran
  terhadap variabel
• Pengukuran (pengumpulan data)
• Verbal/self reports
• Observation
• Archival records

12
Definisi operasional dalam penelitian sosial (2)

• Verbal/self reports
• Respon terhadap stimulus. Stimulus bisa
  pertanyaan, bisa gambar, bisa barang, dsb. Respon
  bisa panjang atau pendek/isian jika tidak diberi
  pilihan jawaban, atau diberi pilihan jawaban dari
  dua sampai banyak.

13
Definisi operasional dalam penelitian sosial (3)

• Composite measures jawaban sekian pertanyaan
  dijadikan indeks/skala.
• Karena kalo pertanyaannya berbeda jawaban beda,
  wording dalam pertanyaan sangat penting.

14
Definisi operasional dalam penelitian sosial (4)

• Contoh indeks 1 Hulk film score by Danny Elfman
• Scorereviews.com
• Cinemusic.net
• Filmtracks
• Unweighted score (4 4 2)/3 3.3 (lebih ke
  biasa) 
• Bobot 1 10, bobot 2 10, bobot 3 1. Weighted
  score (40 40 2)/(10 10 1) 3.9 (lebih
  ke bagus)

15
Definisi operasional dalam penelitian sosial (5)

• Contoh indeks 2 IP
• Contoh skala Bagi saya makanan di fasilkom
• Sangat enak (5)
• Enak (4)
• Biasa (3)
• Tidak enak (2)
• Sangat tidak enak (1)
• Misalnya hasilnya sekian 1.) di atas atau di
  bawah mean teoretis, 2.) ada di kelas mana.

16
Definisi operasional dalam penelitian sosial (6)

• Observation
• Firsthand observation atau menggunakan kamera,
  recorder, log, dsb.
• Archival records
• Statistical records
• Public and private documents
• Mass communications, dsb.

17
Level of Measurement (1)

• Nominal measurement, Misalnya pria-wanita.
  Kategori2 harus exhaustive (ngga ada sisa) dan
  mutually exclusive (ngga ada irisan). Makin
  banyak kategori makin refined.
• Ordinal measurement, urutan misalnya makanan ngga
  enak, biasa, enakkk banget
• Interval measurement, misalnya suhu
• Ratio measurement, misalnya uang

18
Level of Measurement (2)
19
Reliabilitas dan Validitas (1)

• Bagaimana mengukur kualitas dari definisi
  operasional yang dipilih? ? reliability
  (reliabilitas, keterandalan) validity
  (validitas, kesahihan).

20
Reliabilitas dan Validitas (2)

• Reliabilitas ? stabilitas, konsistensi.
• Process content Apakah definisi operasional
  mengukur sesuatu secara konsisten, apapun yang
  diukur itu? Apakah jika pengukuran dilakukan
  dalam kondisi yang mirip, hasilnya akan sama?
• Apakah komponen respon/item konsisten satu dengan
  yang lain?

21
Reliabilitas dan Validitas (3)

• Validitas ? kesesuaian antara definisi
  operasional dengan konsep yang mau diukur.
• Apakah definisi operasional benar2 merefleksikan
  konsep? Apakah pengukuran yang dilakukan benar2
  mengukur apa yang mau diukur?
• Contoh power test vs. speed test.
• Alat ukur yang tidak reliabel pasti tidak valid.
• Alat ukur yang reliabel belum tentu valid.

22
Reliabilitas dan Validitas (4)

• Internal validity there are no errors internal
  to the design of the research project. It is used
  primarily in experimental research to talk about
  possible errors or alternative explanations of
  results that arise despite attempts to institute
  controls.
• External validity a concern with the question of
  whether the results of a study can be generalized
  beyond the specific research context in which it
  was conducted the ability to generalize findings
  from a specific setting and small group to a
  broad range of settings and people.

23
Reliabilitas dan Validitas (5)

• Ecological validity a concern with the question
  of whether social scientific findings are
  applicable to peoples everyday natural social
  settings.
• Statistical validity the correct statistical
  procedure is chosen and its assumptions are fully
  met. Contoh MK A 1 (3 orang), MK B 2 (3
  orang), MK C 3 (1 orang). Rata2nya 3 6 3
  / 6 2. Level of measurement ordinal ngga bisa
  pake rata2.

24
Reliabilitas dan Validitas Sumber2 Error (1)

• Observed value true value systematic error
  random error
• True value adalah variasi yang sebenarnya yang
  mau diukur. Variasi yang tidak disebabkan karena
  perbedaan true value dari objek2/subjek2 yang
  diteliti ? di-label sebagai error.
• Contoh hasil tes untuk melihat penguasaan
  materi.

25
Reliabilitas dan Validitas Sumber2 Error (2)

• Systematic error. Muncul dari faktor2 yang secara
  sistematis mempengeruhi proses pengukuran
  dan/atau konsep yang mau diukur.
• Contoh
• Tes2 IQ berbahasa Inggris untuk orang Amerika
  kalo dikerjakan oleh orang non-Amerika.
• Hasil tes untuk melihat penguasaan materi pokok
  bahasan dan tes ngga matched ? skor rendah.

26
Reliabilitas dan Validitas Sumber2 Error (3)

• Penting diperhatikan (!) dalam pengambilan data
• Social facilitation ? reactive measurement
  effect. Contoh motret tanpa film.
• Social desirability effect, faking good-bad.
  Contoh desa terbelakang yang mendapat bantuan
  pemerintah. Apa pendapat Anda mengenai
  Indonesia?
• Acquiescence response set ? tidak mendapat
  jawaban yang sebenarnya. Efek social conformity?
  Jenis-jenis pengaruh? Contoh capek di rapat atau
  capek menjawab pertanyaan. Aktivitas terganggu
  oleh telepon.

27
Reliabilitas dan Validitas Sumber2 Error (4)

• Systematic errors differ from the true value of a
  variable by a constant amount, they bias
  measurements in a particular direction,
  underestimating or overestimating the true value,
  which affects their accuracy or validity. Because
  of their constancy, however, systematic errors do
  not adversely affect reliability.

28
Reliabilitas dan Validitas Sumber2 Error (5)

• Random measurement error. It is the result of
  temporary, chance factors, such as transitory
  upswings and downswings in the health and mood of
  subjects and respondents, temporary variations in
  the administration or coding of a research
  measure, or momentary investor fatigue.
• Because they are unsystematic, random errors tend
  to cancel each other out with repeated
  measurements. Thus, they do not bias the measure
  in a particular direction.

29
Reliabilitas dan Validitas Pengukuran
Reliabilitas (1)

• Test-retest reliability. Mengukur subjek2/objek2
  yang sama pada dua kesempatan yang berbeda.
  Scores dari pengukuran yang pertama dikorelasikan
  dengan scores pengukuran kedua ? korelasi yang
  range-nya 0 (mengindikasikan pengukuran yang sama
  sekali tidak reliabel dan total random error)
  sampai 1 (mengindikasikan perfect reliability
  dengan random error 0). Untuk test-retest
  reliability, 0.8 boleh lah sebagai rule of thumb,
  korelasi di bawah 0.8 terlalu rendah.
• Permasalahan dengan test-retest reliability.

30
Reliabilitas dan Validitas Pengukuran
Reliabilitas (2)

• Split-half and internal consistency
  reliability/internal reliability. Karena mengukur
  konsep yang sama, items seharusnya
  konsisten/selaras/kompak yang berarti
  reliabilitasnya tinggi ? item2 yang homogen,
  unidimensional.
• Items dari skala dibagi dua dan diperlakukan
  seperti dua pengukuran yang berbeda dst.
• Untuk konsep yang multidimensional, setiap
  dimensi misalnya diukur dengan a set of items
  yang homogen

31
Reliabilitas dan Validitas Pengukuran
Reliabilitas (3)

• Intercoder/Interrater reliability. Dengan asumsi
  penilai2 sudah cukup dilatih menggunakan alat,
  mustinya hasil penilaian sama. Contoh nilai
  pesenam atau peloncat indah, jangan jauh2 beda
  nilainya. Aspek yang dinilai tidak sama?
• Hukum bilangan besar ? objektif.

32
Reliabilitas dan Validitas Pengukuran
Reliabilitas (4)

• Cara-cara meningkatkan reliabilitas
• Exploratory studies, preliminary interviews,
  ujicoba, terhadap subjek2/objek2 dengan
  karakteristik sama dengan target aktual.
• Menambah jumlah item. With repeated measurements,
  random errors will cancel out each other. Smakin
  besar jumlah sampel (sampai jumlah tertentu) yang
  representatif dengan populasi yang mau diukur,
  makin reliabel.
• Analisa item satu2. Item dengan nilai
  diskriminasi jelek dibuang skor random atau ngga
  bisa membedakan subjek dilihat dari hal yang
  diukur. Corrected item-total correlation.
• Cek masalah pengadministrasian pengukuran,
  instruksi, dsb.

33
Reliabilitas dan Validitas Pengukuran Validitas
(1)

• Mengukur reliabilitas lebih gampang karena
  pengukuran ini independen terhadap content.
  Apakah definisi operasional mengukur sesuatu
  secara konsisten, apapun yang diukur itu?
• Validity cannot be assessed directly. If we knew
  a cases true value on a variable independent of
  a given measure then there would be no need for
  the measure.
• Mengukur validitas
• Secara subjektif mengevaluasi apakah definisi
  operasional benar2 mengukur apa yang mau diukur
• Membandingkan hasil pengukuran dengan hasil
  pengukuran lain, baik yang berhubungan atau
  tidak.

34
Reliabilitas dan Validitas Pengukuran Validitas
(2)

• Subjective validation. Dua pengukuran validitas
  berdasarkan evaluasi subjektif terhadap definisi
  operasional
• Face validity
• Content validity.
• Dua2nya kurang diterima, tapi dapat membantu
  mengarahkan.
• Face validity pertimbangan subjektif mengenai
  validitas (mengukur apa yang hendak diukur)
  berdasarkan yang tampak.

35
Reliabilitas dan Validitas Pengukuran Validitas
(3)

• Content validity mengukur apakah semua aspek
  dari konsep sudah terukur. Contoh pokok bahasan
  validitas dan reliabilitas tapi yang banyak
  ditanya adalah cara menghitung reliabilitas,
  misalnya ada konsep2 validitas yang tidak
  diujikan ? content validity agak kurang.
• To demonstrate content validity, one must be able
  to identify clearly the components of the total
  domain and then show that the test items
  adequately represent these components.

36
Reliabilitas dan Validitas Pengukuran Validitas
(4)

• Criterion-related validation. Mengukur kemampuan
  suatu pengukuran sebagai indikator dari suatu
  tingkah laku atau sifat yang spesifik. Hal yang
  penting adalah keakuratan indikator. Contoh
  intensi nyontek.
• Pengukuran dapat mengindikasikan posisinya saat
  ini atau di masa yang akan datang. Contoh nilai
  NEM dengan kemungkinan masuk PTN.

37
Reliabilitas dan Validitas Pengukuran Validitas
(5)

• Concurrent validity. Contoh pengukuran baru
  ketertarikan pada kuliah. Alat baru dites dengan
  data variabel absen/bolos. Liat perbedaan antara
  mahasiswa2 yang menurut pengukuran sangat
  tertarik pada kuliah dengan mahasiswa2 yang
  menurut pengukuran tidak tertarik pada kuliah,
  dalam hal bolos. Kalau tidak ada beda, jangan2
  pengukuran baru tersebut gak valid.
• Predictive validity. Kalo variabel yang digunakan
  belum terjadi. Contoh blum ada data bolos.

38
Reliabilitas dan Validitas Pengukuran Validitas
(6)

• Construct validation. Construct a concept
  developed for scientific purposes.
• Construct validity, apakah alat sudah mengukur
  konsep/konstruk yang mau diukur?
• Construct validity is based upon an accumulation
  of research evidence.

39
Reliabilitas dan Validitas Pengukuran Validitas
(7)

• Empat jenis evidence yang biasa digunakan untuk
  menentukan construct validity
• Correlations with related variables (variabel
  lain).
• Consistency across indicators and different
  methods of measurement (pengukuran lain). Satu
  konsep bisa saja diukur dengan berbagai alat
  (self-reports, observation, archival records).
  Kalo setiap alat konsisten pengukurannya (sama2
  tinggi, sama2 sedang, sama2 rendah skornya), maka
  valid ? convergent validity, karena converge on
  the same underlying concept.

40
Reliabilitas dan Validitas Pengukuran Validitas
(8)

• Correlations with unrelated variables. Korelasi
  dengan variabel lain musti jangan terlalu tinggi,
  kalo alat ngga jelas mengukur A atau B,
  validitasnya rendah alat harus memperlihatkan
  bahwa ia mampu membedakan seseorang dalam konsep
  yang diukur ? discriminant validity. Contoh Zick
  Rubins love scale dan liking scale.
• Differences among known groups (pengukuran sama,
  subjek beda). Contoh Dogmatism scale ? score
  pengukuran dari kelompok orang yang dinilai
  close-minded harusnya beda dengan score
  pengukuran dari orang yang dinilai tidak
  close-minded.

41
Sumber Bahan

• Bryman, Alan. (2001). Social Research Methods.
  New York Oxford University Press.
• Neuman, W. Lawrence. (2003). Social Research
  Methods Qualitative and Quantitative Approaches.
  Fifth Edition. Singapore Allyn and Bacon.
• Singleton Jr., Royce A. Bruce C. Straits.
  (1999). Approaches to Social Research. Third
  edition. New York Oxford University Press.