Papi 2015 ở góc độ phương pháp điều tra

Papi 2015 ở góc độ phương pháp điều tra

Lê Minh Tiến

(TBKTSG) – Báo cáo “Chỉ số hiệu quả quản trị và hành chính công cấp tỉnh ở Việt Nam” (gọi tắt là PAPI) được công bố hàng năm là một trong những công cụ quan trọng để giới chức các địa phương nhìn vào nhằm cải thiện năng lực quản trị của địa phương mình. Cuộc khảo sát này đã được thực hiện trong sự tuân thủ các nguyên tắc của phương pháp khoa học, từ việc xác định cỡ mẫu, phương pháp lấy mẫu cũng như xác định các chỉ số thành phần cho từng chỉ số tổng hợp.

Tuy nhiên, dù đã được thực hiện cách bài bản nhưng bản báo cáo PAPI cũng gây ra một số ngờ vực như những phản ứng mới đây của một số lãnh đạo sở, ban ngành tại TPHCM. Chẳng hạn, liên quan đến việc người dân đánh giá chất lượng giáo dục chung của thành phố còn thấp, chi phí ngoài quy định mà phụ huynh phải bồi dưỡng cho giáo viên/ban giám hiệu trường công lập là quá cao, với gần 853.000 đồng/học kỳ (Tuổi Trẻ, 11-8-2016).

Sự nghi ngờ là bình thường vì bất cứ một cuộc khảo sát mang tính định lượng nào cũng có thể bao hàm trong đó những sai số xuất phát từ nhiều nguyên nhân khác nhau.

Sai số từ “thiếu dữ liệu” (missing value)

Thông thường trong khảo sát định lượng, tính đáng tin cậy của kết quả phụ thuộc nhiều vào dung lượng (cỡ) mẫu, phương pháp chọn mẫu cũng như cơ cấu của mẫu. Ở đây, chúng tôi không bàn đến toàn bộ mẫu khảo sát của báo cáo PAPI 2015 mà chỉ chú ý đến phần liên quan đến TPHCM mà thôi. Theo thông tin từ báo cáo PAPI, cỡ mẫu của TPHCM gấp 3 lần cỡ mẫu của các tỉnh thành có dân số dưới hai triệu người và dung lượng mẫu ở TPHCM là 720 người trong độ tuổi từ 18-70, tỷ lệ trả lời cuộc khảo sát là 82% (tức số mẫu thực là 590 người), những người được phỏng vấn được chọn hoàn toàn ngẫu nhiên trên các địa bàn quận 1, quận 7, quận 11, Phú Nhuận, Tân Phú và Hóc Môn. Như vậy, về dung lượng mẫu, phương pháp chọn mẫu và cơ cấu địa bàn đã có thể đảm bảo được độ tin cậy 95% theo đúng nguyên tắc của khảo sát định lượng.

Tuy nhiên, sai số trong khảo sát vẫn là rất lớn khiến cho độ tin cậy của dữ liệu bị giảm đáng kể nếu trong từng nội dung khảo sát (câu hỏi) có quá nhiều người không trả lời hoặc không có liên quan để trả lời (được gọi là missing value – thiếu dữ liệu).

Chẳng hạn, trong khảo sát về các nội dung liên quan đến lĩnh vực giáo dục của PAPI 2015 tại TPHCM, theo kết quả thông tin của cuộc khảo sát, chỉ có 42% số người được hỏi ở TPHCM có con đang học tại các trường tiểu học công lập trên địa bàn thành phố (Tuổi Trẻ, 23-8-16), như vậy cỡ mẫu cho các câu hỏi liên quan đến giáo dục chỉ còn lại 248 người (42% của 590 người).

Điều đó có nghĩa các kết quả khảo sát liên quan đến nội dung giáo dục tiểu học có tính đại diện thấp và sai số là cao hơn (vì dung lượng mẫu đã giảm). Chưa kể là trong 248 người có con học tiểu học đó, sự phân bố như thế nào, liệu có phân bố đều trên sáu quận huyện được khảo sát như mẫu chung hay chỉ tập trung vào một số quận huyện nào đó mà thôi? Nếu đa số trong 248 người tập trung ở các quận nội thành thì kết quả khảo sát sẽ khác và ngược lại.

Sai số từ cách đặt câu hỏi

Một nguồn sai số của khảo sát nữa đó là cách đặt câu hỏi. Liệu cách đặt câu hỏi có cụ thể hay quá tổng quát? Liệu mọi người được hỏi đều hiểu câu hỏi theo một nghĩa chung? Chẳng hạn, liên quan đến câu hỏi về tiền ngoài quy định được “bồi dưỡng” cho giáo viên/ban giám hiệu. Những người được hỏi có biết đâu là những khoản thu theo quy định của ngành giáo dục và đâu là những khoản thu ngoài quy định?

Bên cạnh đó, có một số ý trong bản hỏi khảo sát PAPI khiến người được hỏi rất khó trả lời hoặc trả lời mang tính đại khái. Chẳng hạn, ở câu hỏi về “điều kiện của trường tiểu học công lập nơi con, cháu đang theo học” (câu D606cd) có một ý mà người được hỏi phải trả lời “Giáo viên có trình độ sư phạm tốt” (ý g của câu hỏi, Tuổi Trẻ, 23-8-16). Làm thế nào mà phụ huynh có thể đánh giá được trình độ sư phạm của giáo viên là tốt hay không tốt vì chẳng có phụ huynh nào được dự giờ dạy của giáo viên và nếu có dự giờ thì cũng thật khó để họ đưa ra đánh giá.

Một số câu hỏi khác cũng rất tổng quát, chẳng hạn câu hỏi yêu cầu người trả lời đưa ra đánh giá về “chất lượng dạy học” của trường tiểu học công lập nơi con, cháu đang học (câu D606ce). Chất lượng dạy học là gì? Về mặt đạo đức, về mặt kỹ năng hay về điểm số của học sinh trong các kỳ thi? Một người nào đó trả lời là “kém” thì họ đang nghĩ tới cái kém nào trong các mặt của chất lượng dạy học như vừa nêu hay là kém tất cả các mặt? Hơn nữa, đánh giá là chất lượng dạy học là tốt hoặc kém thì cái đánh giá đó được họ so sánh với chuẩn nào, so với khoản đầu tư cho con cái hay so với tỉnh thành khác, nước khác? Và câu hỏi kiểu này cũng không giúp được gì nhiều cho những người làm chính sách về giáo dục vì họ không thể biết chất lượng giáo dục kém cụ thể ở mặt nào để cải thiện.

Chúng tôi nghĩ rằng nhóm nghiên cứu PAPI sẽ sẵn lòng đón nhận những nhận định của công luận để những nghiên cứu sau ngày càng hoàn thiện hơn.