1.      Peralatan / perlengkapan kuantitif, metode tes – hipotesis vs diskriptive, metode kualitatif.

2.      Perlengkapan survey vs studi experimental.

3.      Level analisa yang sesuai untuk data quantitative.

Metode Qualitative vs Quantitative

Kebanyankan penelitian quantitative tentang perilaku kepemimpinan menggunakan quesioner daripada bertanya kepada bawahan atau pengikut untuk mengukur seberapa sering atau seberapa banyak seorang pemimpin memunculkan perilaku-perilakunya selama periode beberapa bulan atau beberapa tahun. Bukti  bias pengukur dan koresponden yang rendah diantara orang-orang yang mengukur pemimpin yang sama memunculkan keraguan yang serius mengenai apa yang quesioner ukur sebenarnya. Kritik atas tipe penelitian ini berpendapat bahwa hal tersebut mempunyai bias yang tidak berhubungan terhadap sesuatu yang berlebihan mengenai pentingnya pemimpin. Bias ini konsisten dengan tekanan atas kepemimpinan kepahlawanan. Survey questioner sangat tidak cocok untuk study kepemimpinan sebagai sebuah proses yang dinamis dan berbagi yang ada dalam system social yang kompleks.

Beberapa metode qualitative muncul lebih sesuai untuk studi kepemimpinan dari sebuah system perspektif. Tetapi metode penelitian ini juga mempunyai beberapa keterbatasan (house, 1988a: Martinko & Gardner, 1985). Standar untuk aplikasi dan evaluasi metode kualitatif tidak tersirat seperti halnya metode qualitative tradisional, dan interpretasi berdasarkan metode qualitative kadang sangat subyektif.

Saat deskripsi tentang proses kepemimpinan diperoleh dari interview, perhitungannya mungkin bias karena ingatan yang selektif atas aspek perilaku yang tetap terhadap anggapan responden dan teori implisif mengenai kepemimpinan yang efektif. Observasi langsung juga dapat dicurigai untuk perhatian yang selektif dan bias interpretasi atas suatu peristiwa oleh para pengamat karena prasangka dan teori implisif.

Survey vs studi experimental

Masalah lain dalam mendesain penelitian kepemimpinan adalah manfaat relatif atas survey study dan pengalaman. Survey studi biasanya lebih mudah untuk dilaksanakan, tapi seperti ditulis diawal mereka mempunyai banyak keterbatasan saat digunakan untuk penelitian dalam proses kepemimpinan. Eksperimen di laboratorium dan seting lapangan adalah sesuai untuk banyak tipe penelitian kepemiminan. (Brown & Lord, 1999: Dipboye, 1990: Eefford, 1999). Sayangnya, metode penelitian ini jarang digunakan untuk mempelajari kepemimpinan eksperimen labaratorium & lapangan mendasari proporti kecil (kurang dari 5%) atas ribuan studi yang telah dilakukan tentang kepemimpinan selama 5 abad yang lalu.

Manfaat terpenting eksperimen adalah kesempatan untuk menentukan kausalitas. Peneliti dapat memanipulasi perilaku pemimpin atau variable situasional dan menilai kemandirian mereka dan efek gabungan. Lebih lagi, dengan eksperimen labaratorium, lebih mudah untuk mengukur proses mediasi, mengontrol variable tambahan, dan memeriksa efek kondisi yang jarang ditemukan dalam organisasi yang sesungguhnya. Eksperimen laboratorium tentang kepemimpinan sepertinya menjadi lebih bermanfaat jika berdasarkan model yang dispesifikasi dengan baik, dilakukan dalam interval waktu yang masuk akal, sample yang sesuai. Terdapat simulasi realistis tentang kondisi pekerjaan, dan manipulasi experimental diujikan untuk menyakinkan bahwa mereka efektif.

Eksperimen lapangan lebih sulit untuk dilaksanakan daripada eksperimen laboratorium, tetapi mereka memberikan manfaat lebih. Kebanyakan eksperimen lapangan meliputi kondisi nyata dan sample berpengalaman, dan mereka membiarkan penilaian yang lebih baik atas intervensi untuk mewujudkan kepemimpinan (contoh: training). Eksperimen lapangan tentang kepemimpinan sepertinya menjadi lebih bermanfaat jika didasarkan pada model yang dispesifikasi dengan baik, dilakukan dalam periode waktu yang sesuai, dan meliputi bermacam pengukuran atas variable yang relevan.

Level analisis

Tipe analisis yang sesuai tergantung pada dasar teori proses kepemimpinan dan level pengukuran dan level konsep teori. (Klein. et. al. 1994). Jika level analisis yang tidak sesuai digunakan, hasil dari study mungkin akan disalahtafsirkan.

Kebanyakan penelitian survey tentang perilaku kepemimpinan telah menggunakan sebuah individu, dyadic atau kelompok individual biasanya meliputi hubungan antara pengukuran yang ada oleh individu yang sama. Analisis dyadic biasanya meliputi data yang diperoleh dari kedua anggota pemimpin dan bawahan, contoh hubungan penilaian bawahan atas perilaku pimpinan dengan penilaian pimpinan atas penampilan bawahan. Analisis level kelompok biasanya meliputi data individu yang terakumulasi terhadap level group. Variable level group jarang diukur hanya pada level grup, jika tidak tujuan pengukuran yang  tersedia (e.q. ukuran group, penampilan, tingkat sebaliknya).

Terdapat manfaat dan kekurangan untuk setiap level analisis. Akumulasi  penilaian pemimpin dari beberapa bawahan dapat menurunkan efek persepsi random yang bias dan membuat penilaian gabungan lebih akurat. Bagaimanapun, jika perilaku pemimpin kepada bawahan tidaklah sama. Kemudian penilaian gabungan mungkin mengaburkan variasi-variasi dan memberi gambar distorsi atas pola perilaku pimpinan. Hanya jika penilaian gabungan dianalisis, lebih sulit untuk mendeteksi hubungan dyadic antara pimpinan kepada bawahan dan kepuasan atau motivasi bawahan itu. Jika efek delegasi dikonsep pada level dyadic (yang kelihatannya sesuai pada contoh ini), mempelajari bahwa hanya menggunakan analisis level group tidak akan memberi test teori yang cukup.