武汉大学质量发展战略研究院
学术动态
 
2013年第2期（总第142期）
武汉大学质量发展战略研究院编          2013年9月23日 

    2013年9月22日上午，我院在会议室召开2013年第2期（总142期）“珞珈质量双周学术论坛”，报告的题目是《宏观质量观测的统计方法》。主讲人罗连发老师对我院于今年暑期进行的全国范围内的宏观质量观测调研，从抽样设计、统计方案、数据获取情况、以及学生社团参与情况做了介绍。我院程虹教授以及博士研究生共同就宏观质量观测的统计方法进行了交流和讨论。现将本次讨论会主要内容整理如下：
    首先，罗连发老师以2013年宏观质量观测为实际案例，深入介绍和分析了宏观质量观测的统计分析方法。罗老师的报告总共分为五个部分，一是今年的抽样方法与去年抽样方法的区别；二是今年的调查数据分析方向；三是数据统计方法及与去年的可比性分析；四是学生社团所做的统计分析；五是关于建立宏观质量观测样本库的初步思考。主要观点和内容如下：
    一、关于调查的抽样方法。今年在地区抽样上对个体的抽样与去年大致相同，即按照不同年龄、职业等大类进行抽样。但是区别在于，对于大城市、省会城市、直辖市都规定要有100份以上的样本，有一部分的抽样样本达到200份，从而可以将每个地区的统计误差进一步降低。今年抽样的另外一个区别是，我们在地区分布上进行了重新布局，布局的方法分为三个步骤：第一，为了进行城市排名，我们有必选的城市，包括直辖市、省会城市、副省级城市一共35个。第二，在以上城市之外，要在该省内确定其它抽样地级市。确定的原则是按照省内地级市的人均GDP进行排序，同时按照人口数量的差异进行选择。若该省人口低于5000万，则选取排名中位值城市，如有10个城市，则选取第5，或第6名的城市；若该省人口高于5000万，则除省会城市以外选取2个城市，按名次取第70%分位和40%分位的城市，如有21个城市则取第14名和第7名城市。依此而新确定了33个城市，考虑到学生的实际分布状况，有9个城市进行了替换，在替换的城市中有四个城市人均GDP排名较大，其他均相差在1-2位。第三，补充部分城市之后，最终抽取的城市数为91个，区（县）数为107个。
    二、数据进行分析后可以做哪些研究。第一，今年的数据样本量进过初步统计有5800份，随着问卷的逐步回收，后续会有一定增加。同时样本量较去年增长了120%左右。今年的报告可以给出综合加权得分，以及各板块的单项得分，可以对总得分进行可量化的结构分析，如质量安全与质量满意的得分，可以与公民质量素质的得分进行比较分析。第二，省际排名。本次抽样覆盖了大陆30个省份（除西藏以外），较去年在省份上增加了4个，在地区上增加了59个，不同省内均按人均GDP原则进行抽取，即经济最发达地区和经济中等地区各有代表，从而可进行各省区之间的排名。第三，城市排名。本次抽样抽取了全国所有35个省会城市和副省级城市，在城市内部的抽样上采取了一致的原则，可满足大城市质量水平排名的需要。第四，武汉市和湖北省的专题分析报告。湖北省已覆盖10个城市，共有780份问卷，武汉市共覆盖市区的郊区共4个区240份问卷。这样武汉市和湖北省就可以做一个专题调研报告。第五，经济发展质量报告以及省级排名。本次调查包含了24个关于经济发展质量的主观性问题，加之已有的客观指标体系，可以构建地区和全国经济发展质量指数。
    三、数据统计方法及与去年的可比性分析。第一，统计方案相比去年更为简洁。今年在数据设计的时候，已经考虑到不同版块间的权重分配。质量安全与质量满意、质量公共服务、公民质量素质，最后得分增多为0-100的标准化指数，地区之间可比。三个版块各有60，20，20个问题，以此累计计分的方法可以体现三个部分的权重。这样跟去年相比，今年就可以对不同版块进行结构性分析。第二，今年的调查与2012年调查在以下方面具有可比性。首先，质量安全与质量满意的总体得分。2012年的为5分制，2013年为10分制，都可以量化，可以进行总体比较，但考虑到两年的问卷在项目选择上存在较大差异，在具体单项的分值上可比性较弱。其次，政府质量公共服务的比较。在某些可量化的指标上可进行比较，如对政府质量工作有效性的评价，对政府质量安全预警有效性的评价，对质量法律法规有效性的评价。最后，包括城乡二元质量、转型质量、大国质量等，通过今年的数据可以进行纵向分析。以及去年覆盖的19个地区的纵向对比可连续进行。同时，与我院进行战略合作的佛山、新乡、乌鲁木齐等地也可以进行纵向对比。而今年与去年相比，可以进行纵向比较的数据主要集中在质量满意度感受方面，而质量安全感受、质量公共服务、消费者质量素质三个方面只有少量项目可以进行纵向比较。第三，简要介绍今年的问卷发放与回收情况。今年截至目前统计结果，调查问卷的有效回收率是87.1%，相比去年高了10%左右。同时，在数据的回答率和缺失率上，相比去年有很大提高。通过统计每个变量的回答率，所有136个指标的回答缺失率，得出结果是回答率达到98.2%。这在国内外的问卷调查中，回答率都是相当高。而去年的问卷回答缺失率，保守估计大概在20-30%之间。
    四、质量观测学生社团。第一，让人感到非常欣慰的是，学生社团不仅做了行政工作，而且社团实践部已经根据调查结果，已完成约9万字的2013年质量观测调研总结。内容涵盖调查的背景、流程、组织、初步的数据整理、各地典型案例呈现以及调查过程中的图片等。第二，各调查地区的调查报告。目前根据已回收的调查问卷，以调查队伍为主体，共有27个地区撰写了地区调查报告。内容以调查方法的总结、调查过程的体会以及调查结果的初步分析为主，内容丰富、图文并茂，但格式不统一，主题散乱。目前我已编写并下发《调查报告写作指南》让学生学习，并拟组织一次集中培训，使每个地区形成6000到10000字的典型调研报告，形成约30个地区的共计20万字的调查报告。
    五、关于质量观测样本库建立的思考。通过一段时间的思考和资料收集，我对未来质量观测样本库的建立有如下思考。2013年调查与2012年调查相比，在地区抽样、调查过程的组织、调查的质量控制、数据录入等方面有了较大改进，但仍以随机抽样来获取样本，地区的跟踪率仅为39%，个体完全没有跟踪，未达到连续观测的目标，同时也对调查的经费造成了很大的压力，要管理多达几百人的学生调查队伍，需要大量的经费投入。根据国内外大型调查的具体做法，作为年度的分析数据库，应建立起较为固定的调查样本库。通过查找国外机构做过的跟中国有关的调查报告，主要选取CHNS（中国营养与健康调查）；CHARLS（中国健康与养老追踪调查）；CGSS（中国社会一般调查）三种调查报告。从以上统计可以看到，国内外的大型追踪调查，样本量一般在10000个左右。样本的追踪率在70%-80%左右，每年也会发生一定的样本变更，在10%-20%左右，并且会有调查问卷的变更（如CHNS）。因此，初步确定质量观测追踪调查的样本库为10000个，涵盖省区为30个，覆盖地区约150个。例如中国健康与养老追踪调查，目前有8次调查，它们的问卷变更只有2-3次。它们样本变更，从20年前的10000个到目前仍有7000个样本在跟踪调查。结合我们今年的观测和实际情况，一个整体想法是，国内外一般的经验而言，我们以建立10000个样本库为宜，涵盖省区可以设计覆盖30个，覆盖地区可以是150个，当然可以根据情况做出调整。因此，我认为样本库的建立主要可以采取一下几个方案：方案一，根据今年和去年调查团队确定样本库。在2012年与2013年调查中已经积累了共137个区县的样本，去年的样本中约有2000个有联系方式记录，今年的调查约有3000个（初步估计）有联系方式记录，可对这些样本进行评估，了解其结构和可追溯性，确定一部分可追踪调查的样本。再以其他方法确定1000-2000左右样本，这样可在第一年确定5000-6000个固定样本，至第三年建立起10000个观测样本。方案二，由各合作单位帮助联系样本。由战略合作单位，以及各研修班学员所在单位支持，支持建立当地样本库，由我院提出样本要求以及追踪调查方案，对方联系相关人员。方案三，由第三方机构帮助建立，如CHARLS就是请咨询公司建立固定样本库，优势是样本随机性较好，可跟踪性较强，劣势是花费较高。最后，追踪调查的方法我认为有一下几个方法。第一，通过网上填答。这种方式成本较低，在每年固定时间，通过发送电子邮件的方法，让被访者登录我们的问卷系统进行网上填答，但这一部分调查者应为中青年，有一定文化程度，以及城市样本为主。第二，现场调查。以我院力量和学生社团为主，每年仍需要派出调查队伍对一个地区的农村人口、年龄较大的被访者进行现场调查，由调查队伍进行数据整理。第三，委托调查。在较偏远地区或调查队伍不便到达地区，委托我院研究生或合作单位现场调查，并进行数据整理。以上就是我对未来追踪调查设想的初步方案。
    罗连发老师的报告结束之后，李丹丹老师从技术和方法的角度对今年宏观质量观测所取得的成果进行了补充。她认为，第一从技术上来讲，本次调查是科学和规范的。从调查问卷的数量上来看，省会城市的问卷量都在100份，在省内二线城市的问卷量都在50份。之所以使用这个问卷量，是按照统计学的一般规律，样本量的大小只是关系到精度的高低。而按照统计学的原理，当问卷量达到100份时，它的误差率是在8%到10%之间。如果希望降低误差率，则继续追加问卷的数量。另外，对于地级城市我们选择50份也是有依据的。因为从统计学意义上来讲，高于30份就算大样本，可以用于定量分析。再大的总体样本量只要抽50份也能够反映整体样本量。但是如果受到经费的进一步限制，30份是最低样本量。因此，从样本量来说，此次观测的样本设置是科学规范的。第二，对于过程控制，观测团队派出进行调查的学生入户、记录、签名、照片、录音等，都算做我们调查的证明。第三，对于样本库的建设。刚才罗老师已经提到我们可以通过网上调查和现场发放问卷，我也正在策划这些方案。因为这些方案的实施就涉及到需要大量的经费去养这些样本。很多机构在进行调查建立样本库时都是如此，例如每次调查都会派发20元的电话卡作为激励。那么以此类推做一次调查，一年对10000个样本的调查仅类似小礼物的发放就需要20万。所以这些样本库如何建立就涉及到如何来激励，这些我们正在考虑。
    在自由讨论环节，许伟博士通过与以往经验的对比认为，今年调查问卷质量能够得以保证的一个重要因素是发挥了我们学生社团的作用。他说，其实很多调查公司，包括知名的调查公司，为了降低成本，他们的一线调查人员都是兼职学生。所以说，从调查人员的素质来说，武大大学的学生进行调查在素质上是有保障的。经过两年的积累和精心的组织，我们的组织能力不亚于专业的调查公司，而且从物质激励上来讲，这些公司由于对这些学生调查员是临时聘用的关系，所以从精神内在激励上讲，这些调查公司是存在缺陷的。而内在激励方面，包括对这些调查学生未来的发展，我们的学生社团是有这方面优势的，这也能保障我们问卷的调查质量。
    陈昕洲博士认为激发公民意识比物质激励更利于获取真实数据。从调查数据的真实性来说，有时候在调查过程当中，除了对调查者的激励以外，对于被调查者不一定非要采取物质激励机制。比如对于J.D.Power汽车质量调查，它对于消费者的调查大部分时候，会出现4S店基于自身利益的考虑，通过对潜在被调查者的物质激励，而直接介入调查过程，从而改变调查的结果。这就是对调查采用物资激励的产生负效应的例子。事实上对于很多被调查者，他们愿意参与调查，并不是希望去得到某种物资回报。很多时候是希望尽自己的公民责任。所以适当的物资激励，配合内在的精神激励更为合适。
    范寒冰博士、刘芸博士和陈川博士，针对不同城市的样本量、如何保证被调查者符合调查方案等提出疑问。罗连发老师就以上问题进行了解答，他说我们在进行调查之前，就已经确定了一个调查框。在每个城区都是保持与去年一样的抽样方案，包括不同职业、性别等条件，进行规范的抽样调研的。我们不仅在调研之前对学生进行了抽样方案方面的详细培训，而且要求记录被访者身份，在调查完毕之后由我们来进行评估，直接关系到其调查工作的绩效，从这两个方面来规范和约束学生按我们的要求来抽样。

     讨论结束之后，程虹教授对今年宏观质量观测所取得的成果进行了总结，主要内容如下：
     第一，我院今年暑期的质量观测调查取得了决定性的成果。一是今年调查的样本总量相比去年有大幅度的增加。尤其是以省为单位的样本量，在总量上有很大的增加。即使是我们的省会城市，所获得的样本量也远高于我们置信区间所要求的样本量。二是我们今年的调查，在去年的基础上我们对问卷的设计做出了相当大幅度的修正。在问题的提炼，在问题的典型性、代表性方面，以及在定量的可分析性方面，都做了大幅度的改进。应该说我们可以进行非常精确的、多重的比较，包括省与省之间的比较，省会城市之间的比较，以及行业与行业之间的比较。而我们所调查的家用电器行业、食品行业、药品行业等行业的质量评价指标都是各大部委所关心的问题。那么这些行业的数据一旦发布，对中央各部位的决策支撑都会起到重要的影响。所以，从这些方面来说，我们的调查都非常的有意义。三是我们今年的数据在可比较性、连续性、回溯性方面得到了基本的保证。今年在质量安全和质量满意方面，可以进行年度比较。我们在地方政府质量公共服务方面，既可以进行地区的比较，也可以进行纵向的比较。我们以前提出过的城乡二元质量、大国质量等问题都可以通过这次的调查数据进行再次验证。所以，我们这次调查数据的科学性、可靠性、样本量等方面相比去年的调查都有了很大的进步。
    第二，在质量观测中充分发挥了学生社团的作用。从目前反映的情况来看，学生社团的组建是非常成功的。一是反映了我们学生的素质普遍较高，自我管理能力很强，自我激励以及成功的欲望都非常的强烈。二是我们学生社团的学生自己也感觉到比其它社团所组织的社会活动更具有实践意义。从学生们对问题的理解，到对被调查者的调查，以及目前对调查结果的分析。可以看到本次调查对学生的专业能力的提高，以及对学生分析能力的提高，包括社会的沟通能力的提高，都受到了学生的普遍赞誉。尤其是在今年9月份开始学生社团的再次招募，效果比去年更好。
    第三，进一步验证了我院所做的宏观质量调查项目的宏观性、长远性、战略性和科学性。虽然该项目的投入非常巨大，但是从两年来的实践证明，把该项目做成我院的基础性项目是非常有价值的。一是该项目可以积累所有学术机构都必须要有的基础数据库的建立。二是为我院的所有科学研究提供了数据支撑。三是为我院从今年开始的科研项目的申报奠定了基础。