开发者社区> 胖胖雕> 正文

应用统计学与R语言实现学习笔记(二)——数据收集

简介: 版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/ESA_DSQ/article/details/71176846 Chapter 2 Data Collection 本篇是第二章,内容是数据收集。
+关注继续查看
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/ESA_DSQ/article/details/71176846

Chapter 2 Data Collection

本篇是第二章,内容是数据收集。

1.数据来源

做科学研究离不开数据,而数据的来源有哪些呢?
这里比较简单地将数据来源分为两类:直接(一手)数据和间接(二手)数据。
直接数据的数据获取来源包括:观测、调查、实验。
间接数据的数据获取来源包括:出版物、互联网等。
接下来分别谈谈这几个来源。
观测——自然科学里有观测,如气象气候、植物生长期等,社会科学同样有观测,譬如像街区人的观测等。观测的数据可以说是纯粹第一手数据,在研究中是很宝贵的数据,但是很容易受到观测记录员主观因素的影响。
调查——自然科学里的调查(室外样品采集,环境状况调查)一般是跟室内实验相结合,而社会科学的调查会更丰富,如典型的问卷调查、访谈、座谈会等。
实验——实验是自然科学的核心,这里就不详述了(比如:土壤理化性质分析、植物生态生理特性分析)。不过近年来随着学科交叉增多,社会科学也开始更多地引入实验的方法(以笔者另一门公选课《初级社会网络》为例,耶鲁大学的社会心理学家米尔格兰姆(Stanley Milgram)就设计了一个连锁信件实验,这就是著名的六度分割理论的由来)。
当然除了以上三种,我认为在现在的大数据时代,还存在一些新的直接数据来源。

  • 物联网(Interest of Thing,IOT),以各类传感器(RFID、红外感应系统、GPS、通量塔等)为代表,代表数据就是如今火热的大数据——如RFID记录数据、浮动车与出租车GPS轨迹数据、通量塔测量的NEE等。
  • 遥感(Remote Sensing,RS),某种程度上,遥感也是靠传感器接收数据,但是它与物联网还是有所差别,故单列出来。作为地学和生态学背景(尤其是GIS和RS相关方向的)的学生,对遥感会非常熟悉。遥感的特征就是,可以大范围快速获取地表信息数据(譬如地形、地表温度、气溶胶、albedo等,当然这些都需要进行反演等)。

总的来说,观测在自然科学和社会科学中都有渗透较多,但是观测往往受到记录人员主观因素影响导致误差。而且观测的数据结构一般来说呈现非结构化的特征。调查在社会科学中有较多应用,自然科学中较少,而实验则是在自然科学中应用广泛,社会科学则应用较少。这两类的实质是类似的,需要提前设计好调查的大纲或者实验方案,然后按照设计好的大纲和方案进行调查和实验。也因此这两类数据结构化特征比较明显。
所谓的间接数据就是指已经经过他人整理的相关数据。这边列出来的主要包括:
出版物:统计年鉴、书籍、论文等。统计年鉴是大部分社会科学相关研究的重要数据来源,这边就不详述了。书籍对于很多如社会研究的文本分析是重要的数据来源。论文作为数据,是近年来兴起的文献计量学的典型数据。此外对Meta分析,论文里的数据则是重要来源。
互联网:百度指数、阿里指数、大众点评等数据。
互联网数据可以利用网络爬虫获取。
总的来说,间接数据易于获取,作用广泛,但使用的时候需要控制数据质量以及引用。

2.调查设计

这边主要介绍的是数据的调查方式、调查方案的结构和设计以及调查问卷设计。
(1)数据的调查方式
数据的调查方式一般而言是遵循统计学规律的(我们称之为统计调查方式),这里列举了我国统计调查的常用方式:普查(人口普查、农业普查、甚至到最近刚刚发布成果的全国第一次地理国情普查)、抽样调查(概率抽样、非概率抽样,具体后面第三章会详述)、统计报表(统计公报)。
而除了以上之外,当我们需要自己收集直接数据的时候又可以分为以下几种:
询问调查类:

  • 访问调查
  • 邮寄调查
  • 电话调查
  • 电脑辅助
  • 座谈会
  • 个别深访

观察实验

  • 观察
  • 实验

(2)调查方案的结构和设计
如何做调查?是很多人在科学研究中的第一道难关。这里给出一个关于做调查的普遍步骤流程图:

Created with Raphaël 2.1.0确定调查目的(Define the issue)确定感兴趣的总体和抽样单元(Define the population interest and sampling unit)规范调查问题(Formulate survey questions)构建抽样框(Construct sampling frame)选择样本(Select sample)收集数据(Collect data)分析数据(Analyze data)

那么调查方案又是什么呢?我认为调查方案就是调查的策划书。明确你调查的一些目的、对象、项目以及调查方法等。一般结构如下:

  • 调查目的
  • 调查对象调查单位
  • 调查项目
  • 其他

(3)调查问卷设计
最后这部分是谈谈调查问卷设计的一些内容(包括笔者自己的一些经验)。
问卷结构

  • 开头部分(问候语、填写说明、问卷编号 )
  • 甄别部分
  • 主体部分
  • 背景部分

其他部分就不详述了,甄别部分一般是针对过滤的问题,就是不符合条件的即可跳过部分调查题目。接下来主要针对主体部分简单介绍。
主体部分其实就是问卷主要调查的部分。一般来说要注意一下几点。

  • 提问内容尽可能简短
  • 用词准确通俗(可按6W原则推敲:Who,Where,When,Why,What,How)
  • 一项提问只包括一项内容
  • 避免诱导性提问、否定形式提问、敏感性问题

而问题则又可以分为两大类:开放性问题(自由回答型)和封闭性问题(选择回答型)。
封闭性问题包括了二项选择、多项选择(单项、多项、限制选择)、顺序选择法、评定尺度法、双向列联表法。

  • 开放性问题——一般就是可以随便答,这类数据一般是问卷者的主观感受,不会受客观影响。但是最大的问题在于数据收集呈现非结构化特征,多以文本形式存在。研究时必须通过重编码、文本分析等方法。
  • 封闭性问题——相当于是选择题或者填空题。二项选择就是,只有两个选项(A或B);多项选择则是有多个选项,可以选至少一个(一个为单项、一个以上且不限制选择的数量为多项、一个以上且限制选择的数量为限制);顺序选择法,就是给出多个选项,让你按照自己的认识对选项进行排序;评定尺度法,给出多个选项且是有等级划分的(如很差,差,一般,好,很好)进行选择;双向列联表法,将两类不同问题综合到一起,用表格形式,横向为一类问题,纵向为一类问题。

从笔者的经验来说,在设置问卷的时候,必须要先从自己想研究的问题出发,思索如何用数据分析证明自己的结论,然后大致思索需要用来分析的统计方法与统计指标,然后对应选择问题的形式,因为不同的问题形式对应的数据结构大不相同,而且统计方法也不尽相同。
最后的最后安利大家一个软件:Survey123 for ArcGIS
这是由esri北京研发中心开发的一款外业数据收集软件——获得“问卷好帮手”称号的application。

http://www.esri.com/products/survey123

主要包括了桌面端Survey123 connect和移动端Survey123 app两大软件。可以简便地建立问卷、分享问卷、搜集数据、分析数据,同时采集时受访者的GPS位置也将被记录。具体教程参照如下网址。

http://doc.arcgis.com/zh-cn/survey123/

3.数据质量

采集数据的时候必须考虑的就是数据的质量,即降低采集数据时产生误差。
科学研究中的数据误差无可避免,而误差的来源主要包括:抽样误差、非抽样误差。
抽样误差,在抽样方式确定时就无法避免,具体的方法可能还是统计学万能解药———增加样本量。
非抽样误差则包括了如下的内容:

  • 抽样框误差
  • 回答误差
  • 无回答误差
  • 调查员误差

抽样框误差——其实就是抽取的样本无法代表总体;回答误差和无回答误差都是由于受访者导致的错误,而调查员误差则无须再介绍,即采集者自身的误差。
那么控制误差的方法无非就在于样本大小以及合适的数据框(针对非抽样误差和抽样框误差),靠重访来进行修正(回答误差和无回答误差),调查员误差则需要对调查员进行培训。
当然这里还得普及一个概念,在统计学里面,precision(精度)和accuracy(准确性)是不相同的。中文里面往往因为两个单词都翻译成精度,事实上这两个词指的是不一样的内容。二者的区别可以看下面的图。

这里写图片描述

这里做个简单的解释,事实上就是我们研究事物是个无法穷尽的总体,因此我们只能进行抽样调查,那么多次抽样调查研究之后,我们可以得到每次抽样调查的均值(也可以是其他统计量),在图中就是蓝色的点,那么在靶中心的绿色部分,可以认为是总体的真正均值。那么也就是说高精度一般指的是,我们的样本数据自身的变异性很小,也就是说,我们做了N次抽样调查,而每次抽样调查的样本均值基本是稳定的。我们抽的N次都是相近的数据,也就是说我们的抽样误差尽可能小了(因为抽了N次数据变化不会太大)。而高准确性一般指的是,我们N次抽样的样本数据的平均值与总体数据差异很小。也就是说我们的N次样本的均值与总体均值很接近,也就是说我们的非抽样误差尽可能小了(因为N次数据平均值与总体均值差异较小,说明我们抽的样本能够反映总体均值的特征)。
最后,总结下数据质量的控制要求:

  • 精度(precision): 最低的抽样误差或随机误差
  • 准确性(accuracy): 最小的非抽样误差或偏差
  • 关联性: 满足用户决策、 管理和研究的需要
  • 及时性: 在最短的时间里取得并公布数据
  • 一致性: 保持时间序列的可比性
  • 最低成本: 以最经济的方式取得数据

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
应用统计学与R语言实现学习笔记(八)——方差分析
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/ESA_DSQ/article/details/73014426 Chapter 8 ANOVA 本篇是第八章,内容是方差分析。
1361 0
应用统计学与R语言实现学习笔记(一)——简介
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/ESA_DSQ/article/details/71076504 Chapter ...
1050 0
应用统计学与R语言实现学习笔记(十二)——主成分分析
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/ESA_DSQ/article/details/78062883 Chapter 12 Priciple Component Analysis 本篇是第十二章,内容是主成分分析。
1021 0
应用统计学与R语言实现学习笔记(五)——参数估计
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/ESA_DSQ/article/details/71379588 Chapter 5 Estimation 本篇是第五章,内容是参数估计。
963 0
应用统计学与R语言实现学习笔记(三)——描述性统计
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/ESA_DSQ/article/details/71190387 Chapter 3 Descriptive Statistics 本篇是第三章,内容是描述性统计。
952 0
SAS学习笔记之《SAS编程与数据挖掘商业案例》(2)数据获取与数据集操作
SAS学习笔记之《SAS编程与数据挖掘商业案例》(2)数据获取与数据集操作 1. SET/SET效率高,建立的主表和建表索引的查询表一般不排序, 2. BY语句,DATA步中,BY语句规定分组变量,用于控制SET,MERGE,UPDATE或MODIFY语句。 BY<DESCENDING>variable-1 <...<DESCENDI
1477 0
应用统计学与R语言实现学习笔记(十一)——判别分析
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/ESA_DSQ/article/details/77938432 Chapter 11 Discriminant Analysis 笔者最近任务繁重,断更了一顿时间,最近会开始慢慢把这个系列写完。
951 0
应用统计学与R语言实现学习笔记(六)——假设检验
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/ESA_DSQ/article/details/71420125 Chapter 6 Hypothesis Test 本篇是第6章,内容是假设检验。
967 0
应用统计学与R语言实现学习笔记(十三)——因子分析
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/ESA_DSQ/article/details/78166545 Chapter 13 Factor Analysis 本篇是第十三章,内容是因子分析。
1206 0
+关注
107
文章
0
问答
文章排行榜
最热
最新
相关电子书
更多
JS零基础入门教程(上册)
立即下载
性能优化方法论
立即下载
手把手学习日志服务SLS,云启实验室实战指南
立即下载