信度(reliability)即可靠性,指的是采取同樣的方法對同一對象重復進行測量時,其所得結果相一致的程度。信度是調查研究的基礎,沒有信度,研究資料就“不靠譜”,也不適合做進一步的分析。社會科學中,量化研究對調查資料的信度問題非常重視,衍生出多種信度測量方法。常用信度分析方法包括重測信度、復本信度、內部一致性信度等,并且通過問卷設計和調研方法的改進不斷提升數據可靠性。可以說,對調查信度的重視以及調研方法的改進,是量化研究質量不斷提升的基礎。相比而言,質性調研對于信度問題缺乏專門的探討,甚至沒有形成關注信度的問題意識,調查的規范性較低。特別是基層治理領域,因為研究對象的復雜性,經驗信度不足的問題尤為突出,是一個急需探討的學術議題。
經驗信度對基層治理研究的基礎意義
基層治理是近年來中國社會科學界的重要研究領域,政治學、社會學、公共管理等學科對基層治理開展了大量調查研究工作。基層治理現實性強,涉及議題眾多,縣(區)、鄉(鎮、街道)、村(社區)都是基層調研的場域,吸引了大批學者。作為熱門學術領域,基層治理已形成大量學術成果,為認識中國的基層政府、地方社會提供了重要的經驗基礎。但與此同時,基層治理的調查研究質量參差不齊,低水平的研究工作充斥其間,很多學術問題亟須重視。其中,基層治理調研的信度偏低是關鍵問題之一,調查資料“不靠譜”,所形成的學術觀點也必然不具有可信度。
基層治理領域經驗資料的信度低,有很多表現。比如,筆者曾經到某街道調研網格化治理的機制及其成效。第一次去的時候,街道辦主任接待調研小組,熱情詳細地講述了他們網格化治理的成效,網格管理集成精細化服務,信息化平臺聯動微網格志愿隊伍,這些都是很突出的創新,給調研小組留下了深刻的印象。但是,當我們一個月后再去回訪,因為該領導有事,該街道的民政干事負責接待和交流,他對網格化治理的評價完全不同,認為與原有的基層治理體系實質成效相差不大,而且因為要完成網格的考核任務,徒增了行政成本。這就是典型的低信度問題,同一個議題,不同的時段、不同的被訪者所呈現的信息和評價完全不同。這種基層調研的尷尬大多數研究者都會遇到,拿到資料時如獲至寶,但再調研卻發現之前的信息完全不可靠。這樣的材料用還是不用?
基層治理研究信度偏低的三點原因
以筆者個人的經驗來判斷,基層治理的經驗信度比其他研究領域偏低。舉例來說,在勞工研究、家庭研究中,做多次調查,不同的資料結果差異度不至于特別大。那為什么基層治理的經驗信度相較更低?這大概有三方面的緣由:時間差異、主體差異以及宣傳導向。
首先是時間差異。與其他黨政工作不同,基層治理沒有太大的剛性,治理理念、治理方式、治理成效都比較靈活。這就造成基層治理的時間差異較大,本地條件、上級要求、領導理念、財政資源等各種原因都會導致基層治理在不同時段出現變化。而且,各地對基層治理都有很強的創新要求,導致基層的治理工作不斷推陳出新,追求新亮點。因此,時間差異很可能讓基層治理的經驗信度偏低,去年的做法在今年不得不改變,去年的成效也不一定能延續到今年。
其次是主體差異。基層治理是一個抽象的研究對象,調研的開展需要對基層相關的主體進行觀察和訪談。而基層治理涉及的主體極為多樣,這很容易導致從不同主體獲取的信息與評價大相徑庭。比如,社會組織承接基層公共服務是近年來各地開展治理創新的重要舉措,部分常規的公共服務由社會組織接手,既培育了社會組織,又減輕了街道和居委會的壓力。按理說這項治理創新應該受到各方好評,但實際情況并非如此,往往是上級政府很贊同,社會組織很高興,但基層社區不滿意。一些社區兩委認為,公共服務外包給社會組織,社會組織會截留管理成本,沒有把錢都用在社區服務上。而且,社會組織只做外包的事務,不參與社區其他服務,改變了社區團隊氛圍,增加了很多矛盾。這種主體評價差異在基層治理中極為常見,會導致很多調查發現不穩定,換一個訪談對象,基層治理就呈現出截然不同的面貌。
再次是宣傳導向替代實踐表達。基層治理是當前各地基層政府的重要工作,伴隨著績效考核壓力。所以,為了展示工作成效,基層治理的話語表達常常有很強的宣傳導向。在宣傳導向作用下,治理的理想狀態有可能替代現狀描述,優點被放大,缺點被掩蓋。在調研中這種現象很常見,訪談所得到的話語表述多是宣傳性的,政策和話語創新很多,但實踐創新很難。宣傳表述在基層工作中很常見,但對學術研究就是很大的難點,如果不加辨析就采用宣傳話語作為經驗材料,那么學術資料的信度會降低。
時間差異、主體差異、宣傳導向是影響基層調研經驗信度的主要原因,而且三方面因素還會相互疊加,共同影響。因此,雖然基層治理看似調查門檻不高,但因為整體信度偏低,所以實際資料獲取難度很大。
運用多維方法提升調研中的經驗信度
面對基層治理的上述問題,有三方面調研方法可以用來提升經驗信度:參與式觀察、追蹤式調查、多維度資料。
第一是參與式觀察,這是提升基層調查資料信度的基本方式。參與式觀察,就是走進基層治理的真實場域,在實踐的細節中觀察基層治理的過程和成效。如前所述,基層治理的內容龐雜,各地做法多樣,而且實踐經驗混合著宣傳話語,其真實過程并不是簡單地通過訪談、座談就能了解。參與式觀察,能夠對基層治理的細節有立體理解,從而獲取更真實的資料。例如,吳毅在《小鎮喧囂》中展示的就是一個經典的基層治理案例,其中的各種治理技術隱微而復雜,只有深度參與才能細致地觀察到。如果只有一般性的座談交流、資料查閱,不可能寫出這樣生動的作品。
第二是追蹤式調查,這是從時間的跨度來增加基層調查的資料信度。基層治理研究不是新聞報道,無須過于注重及時性,相反應該保持一定的時間距離。關于基層的學術研究不應該在短期調研后就倉促成文,急于發表觀點,而應該在追蹤調查中多次觀察,以提升資料的可信度和結論的穩健性。例如榮敬本、楊雪冬對“壓力型體制”的研究,是基層治理領域的名作,其調查有較長的時間跨度,經驗資料具有較高的信度。
第三是多維度資料,以多類型、多主體資料相互印證,提升經驗材料的信度。基層治理的工作包羅萬象,涉及的主體眾多,呈現出的資料類型也多種多樣。這既是調查難點,也是調查資源。例如,如果調查基層的公共服務,涉及的主體包括區縣部門、鎮街政府、社區兩委、社區居民、社會組織等,每一個主體都有各自的信息側面,也有不同的觀點評價,都要調查到才能有全面的認識。同時,資料的類型也是多樣的,訪談材料、政府文件、工作報告、統計數據、觀察記錄、視頻材料、物理空間等,都是與基層治理相關的資料,只有搜集多類型的資料,相互印證,才能有較好的經驗信度。
因此,基層治理的調查看似容易,實則困難,大多數研究連資料的信度要求都達不到,遑論研究價值。要提升基層治理的學術研究水平,首先需要重視資料的信度問題,再形成一套學術規范,提升該領域調研整體信度水平。參與式觀察、追蹤式調查、多維度資料是本文嘗試提出的三種信度提升方法,主要來自筆者的實踐經驗。當然,囿于調查的時間和精力,大多數研究很難同時做到上述三方面,但作為一種方法規范,這三方面應該成為研究工作努力的方向。
(作者系作者系南京大學社會學院教授;中國鄉村發現網轉自:《中國社會科學報》2023年9月5日 第A05版)
(掃一掃,更多精彩內容!)