Uji Validitas dan reliabilitas Wajib dilakukan apabila kita membuat kuisioner baru dan bukan mengambil dari kuisioner atau alat uji yang sudah paten (mis. Alat tes untuk psikologi, dll). Menggunakan alat pengumpul data berupa kuisioner sangat riskan terhadap terjadinya data yang tidak valid dan atau tidak reliable (BIAS). Hal tersebut dapat terjadi apabila:
1. Sampel yang diambil tidak sesuai dengan kriteria sampel yang diamati. (Mis. Kuisioner untuk akunting tapi diujicobakan dengan sampel para petani, dengan kata lain salah orang untuk uji coba kuisioner)
2. Pada saat pengambilan sampel tidak memperhatikan waktu yang tepat, sehingga responden cenderung mengisi secara asal-asalan.
3. Item pertanyaan yang dibuat terlalu panjang sehingga responden agak malas untuk membaca hingga selesai, akibatnya jawaban yang diberikan menjadi tidak sesuai yang diharapkan.
4. Item pertanyaan memuat kalimat-kalimat yang AMBIGU atau membingungkan bagi responden.
5. Item pertanyaan yang menggunakan istilah-istilah yang tidak umum (mis. Istilah medis, kalimat ilmiah, dll) tanpa keterangan yang jelas sehingga responden tidak mudah memahami maksud dari pertanyaan yang diberikan.
6. Kondisi responden juga sangat berpengaruh (lagi emosi, sibuk dengan pekerjaannya, lagi sakit, dll) atau responden dalam tekanan (Mis. Responden ditungguin sambil diajak ngobrol, atau responden dikumpulkan dalam sebuah ruangan, dan diminta mengisi kuisioner seperti tes CPNS dengan waktu yang telah ditentukan, dll).
7. Ketidak jujuran responden dalam mengisi jawaban dari pertanyaan (mis. Takut ketahuan atasannya, takut diketahui tentang jati dirinya, dll)
Faktor-faktor tersebut merupakan kendala-kendala yang harus dihindari apabila menggunakan kuisioner sebagai alat pengumpul data.
