本节书摘来自异步社区《社会调查数据管理——基于Stata 14管理CGSS数据》一书中的第2章,第2.1节,作者 唐丽娜,更多章节内容可以访问云栖社区“异步社区”公众号查看
第2章 数据管理的流程及内容
社会调查数据管理——基于Stata 14管理CGSS数据
数据管理是一个过程,不是一蹴而就的单项工作任务。随着数据化时代的到来,数据在生活和工作中扮演着越来越重要的角色。数据量的剧增对数据管理工作提出了巨大的挑战。数据管理工作和图书管理工作有些类似,单个数据就相当于一本书,管理很多数据就相当于建立一个数据馆(数据库),用户按照一定的步骤操作,就能找到自己所需的数据。数据管理和图书管理的一大区别是:每个数据除了数据本身以外,还有一系列的匹配资料,如编码手册、调查问卷、抽样设计方案、调查手册、权重计算方案、缺失值处理方案等。因此,数据管理是一个多层次、跨时段的工作过程。
和数据分析一样,一项好的数据管理工作流程应该具有可复制性。也就是说,一个从来没有接触过某一数据的人,在看完该数据的管理工作档案后,能够理解该数据,并能以同样的方法操作于数据。
这个世界上没有一种数据管理工作流程适用于所有的数据管理项目或科学调查研究项目,任何一项具体的数据管理工作都有自己独特的特点,但不可否认的是,不同的数据管理项目之间仍存在一定的相同之处,具有一些共性。本书的重点放在数据管理工作的共性上。要把数据管理工作做好,并非易事。数据管理工作的核心和灵魂是有想法和思考的管理框架。
2.1 数据管理的工作流程
数据管理并非杂乱无章,而是有一定的章法可循。根据社会调查项目的进展,可以把数据管理分为三个阶段:收集数据前的数据管理、收集数据中的数据管理、数据回收后的数据管理。
每个阶段的数据管理工作内容不同,侧重点也有所差异。
2.1.1 收集数据前的数据管理
数据是社会调查中最宝贵的资料。一些数据管理者或研究人员常常把数据的管理工作集中在已经回收的数据上,通过清理回收的数据,来控制数据的质量,但是他们却忽视了:一份好的数据一定是建立在良好的前期管理的基础上。这些前期的管理应该包括以下几个方面。
(1)问卷设计。问卷设计与数据管理密不可分。对于社会调查的研究人员来说,问卷是他们与被访者对话的桥梁。问卷传递着研究者想要获取的信息,同时也表达了受访者的反馈。好的问卷设计能高效地将两者结合在一起。受访者能明白问卷含义,根据题意回答问题,研究者能够得到想要的信息,而不是一份无效问卷。
问卷设计本身就是一门学问。一份合格的问卷至少应该包括:问卷编号、卷首语、题号、提示语、被访者联系方式和致谢语。此外,研究者也可根据自己的调查特点增加新的部分。
(2)抽样设计。一般而言,抽样调查是一种非全面的调查,即不是普查。从分类上来看,抽样包括非概率抽样(如方便抽样)和概率抽样(或称随机抽样)。抽样设计是收集数据前的一项重大工作。抽样设计应当科学、严密、具有可行性。当前,抽样设计在我国仍然没有得到足够的重视,很多调查由于抽样设计环节的问题,导致回收的数据严重偏离,甚至无法使用。因此,抽样设计与数据管理息息相关。
(3)人员安排。人是数据管理的主体。在数据管理中,需要做好数据管理员和访问员的合理安排。本书提倡一个社会调查都需要至少配备一名数据管理人员,全程参与社会调查过程和后期的数据管理。
人们常常把数据比做菜,如果数据管理人员是择菜和洗菜人,那么访问员就是摘菜人。每一份数据都需要访问员回收回来,因此,做好访问员的培训是一项十分重要的工作。
(4)制定编码手册。在一项社会调查中,编码手册(codebook)是解读数据的工具。编码手册基于问卷,通过把问题转换成变量,确定变量的取值范围、加贴标签等工作,对问卷所有内容进行编码。最后制定成编码手册,方便用户在使用数据时通过阅读编码手册来理解数据管理人员对数据所做的处理。
和这一阶段数据管理有关的详细内容,参见第4章。
2.1.2 收集数据中的数据管理
收集数据前的数据管理为好的数据质量打下了基础,收集数据中的数据管理工作最终决定了数据的质量。
在实地调查的三个环节(问卷的填答、问卷的审核和问卷的提交)中,每一个环节完成的好坏都直接决定数据质量的优劣。数据一旦收集完成,数据质量就定了,之后的种种纷繁复杂的数据处理都只是更好地保障数据质量,而无法改变原始数据的质量。但是,数据的收集过程是一个动态的过程,在这个过程中可以随时加入调查者、研究者的干预,从而及时纠正出现的影响数据质量的问题。因此,在收集数据的过程中一定要时时关注数据质量,边收集,边分析,边协调。
只有做好收集数据中的数据管理,才能真正拿到高质量的数据,为之后的数据清理和数据分析提供最好的资料。
2.1.3 数据回收后的数据管理
数据回收后的数据管理工作,侧重对数据完整如实的录入以及思路清晰的清理。问卷回收并提交录入后,经过一系列录入校对的工作,就得到了录入的数据,我们通常称之为原始数据;常常有人认为拿到这些数据,就可以直接从事相关的数据分析了。但事实上,原始数据到统计数据之间隔着一座桥梁,就是数据的清理工作。当调查结束数据回收后,数据管理工作主要包括检查提交的录入数据,检查数据中的变量,检查数据中的取值,给取值添加多套不同语种的标签,给数据添加变量,删除数据中的敏感变量和保存数据及相关资料这7个部分。
检查提交的录入数据之前,要先查看数据格式,如果提交的数据不是.dta格式,需要对数据进行格式转换,保证数据是Stata格式。在确定工作路径前提下,要用Stata14读入数据,在读入数据之前,需要对数据进行转码处理,转码用到的命令为unicode,第7章将会详细介绍转码的方法和转码过程中的注意事项;成功读入数据之后做的第一项工作就是检查观测值和变量数量,以确保数据没有少录,保证数据的完整性;同时,也要检查数据是否有重复录入的情况;为了更好地让数据呈现在数据使用者面前,数据管理者还需要给数据加标签,添加注释,必要时对观测值和变量进行排序。
变量和取值的检查是数据管理工作中的重点。其中变量的检查包括:变量名,变量标签,变量的存储类型,变量的存储格式,需要时还可以对变量添加注释;取值的检查包括:取值是否合理,有无取值标签,多个变量间的取值是否有逻辑上的一致性。
为了方便不同国家、不同语种的数据使用者使用数据,可以给取值添加多套不同语种的标签,多套标签间可以根据使用者的需求自由切换。为了使呈现更全面和更好地管理数据,有时需要给数据添加变量,但是前提条件是保证不改动原数据。出于研究伦理,数据管理者有义务对被访者的相关信息进行保密,因此,在数据使用前,需要对数据中的敏感变量进行删除处理。最后需要强调的是,数据和相关资料的保存也是数据管理的重要部分,尤其需要引起数据管理工作者重视。
数据管理没有方程式,因人、因项目而异,本书提供的只是一种思路和一种方法,供读者参考,你可以在具体的工作中学习、总结、提炼,摸索出适合自己项目的管理流程。