数据分析过程 数据分析过程包括确定数据分析的目标、研究设计、收集数据、分析数据、解释结果。 1)确定数据分析的目标。数据分析的目标是分析和解决特定的领域问题，而这个问题可以用量化分析的方法来解决。 2)研究设计。研究设计是根据数据分析的目标寻求解决方案。一般而言，数据分析是用量化分析的方法对现象进行描述、解释、预测与控制。一个特定的领域问题要转化为数据分析问题。首先要进行量化研究设计，确定用什么量化研究方法以及怎样研究。常用的量化研究方法有调查法(用调查或观测得到的样本数据推断总体)、相关研究法、实验法、时序分析法等。 3)收集数据。确定了所要解决的问题的研究设计后，根据所要采用的量化研究方法收集数据。例如，若采用调查法，需要确定具体抽样方法以获取数据；若采用实验法，需要进行实验设计，通过实验来 获取数据等。这些是为所要解决的问题专门收集的一手数据。除此之外，通常还需要二手数据。 4)整理与分析。数据整理与数据分析即利用数据分析方法进行计算和分析。数据分析方法以统计分析技术为主。借助各种软件(SPSS、SAS、Excel、S—Plus等)工具。完成数据的计算分析任务。本书以MATI，AB为-r：具进行计算。 5)解释和分析计算结果。使用各种方法与软件等T具计算后，会得到一系列结果．包括各种图表、数据等。说明、解释和分析这些结果，或利用计算结果检验各种假设、预测、控制等，从而最终解决所要研究的问题。最后提交数据分析报告，供决策时参考。

第1章　MATLAB基础　 　MATLAB数据分析方法   本章主要介绍MATLAB软件的一些入门知识，包括MATLAB界面及其基本操作、变量与函数、运算符与操作符、矩阵数据的输入与输出、符号运算、M文件与编程等，为读者学习以后各章打下基础。   1.1　数据分析与MATLAB 1.1.1　数据分析概述 1.数据分析的概念   数据分析是指用适当的统计方法对收集来的数据进行详细研究，提取其中有用信息并形成结论，以求最大化地开发数据的功能，发挥数据的作用。在统计学领域，有人将数据分析划分为描述性数据分析、探索性数据分析以及验证性数据分析。描述性数据分析是描述测量样本的各种特征及其所代表的总体特征，探索性数据分析侧重于在数据之中发现新的特征，验证性数据分析侧重于已有假设的证实或证伪。 数据分析的目的是把隐藏在数据背后的信息集中和提炼出来，总结出研究对象的内在规律。在实际工作当中，数据分析能够帮助管理者进行判断和决策，以便采取适当策略与行动。例如企业通过对产品的市场销售数据分析，可把握当前产品的市场动向，从而制定出今后合理的产品研发和销售计划。   2.数据来源与分类   数据分析的起点是取得数据。数据是通过实验、测量、观察、调查等方式获取的结果，这些结果常以数量的形式展现出来，因此数据也称为观测值。数据按照不同的标准进行分类，可分为观测数据与试验数据、一手数据与二手数据、时间序列数据与横截面数据等。   1）观测数据与试验数据。观测数据是在自然的未被控制的条件下观测到的数据，如社会商品零售额、消费价格指数、汽车销售量、某地区降水量等。利用这类数据进行观测所研究的个体，并度量感兴趣的变量。试验数据是在人工干预和操纵的条件下产生的数据，这种数据通常来自于科学与技术实验。例如，在研究不同的药物成分组成对某种疾病的治疗效果有什么不同时，记录实验药物成分在不同的条件下产生相应的治疗效果数据，那么药物成分数据与治疗效果数据就是试验数据。   2）一手数据与二手数据。一手数据是针对特定的研究问题，通过专门收集、调查或试验获得的数据。例如，为制定一家百货商店的营销方案，在这家商店所在城市抽取近300户家庭作为样本进行调查，收集下列数据：对本商店及其竞争对手商店的熟悉程度；家庭成员在各个商店购物的频率；选择百货商店时考虑的因素，如商品质量、种类、退赔政策、服务、价格、店址、商店布局、信用与收款政策；每个商店的偏好评分；被调查者的年龄、性别、受教育程度等。二手数据是由各种媒体、机构等发布的数据，数据分析人员可以根据研究的问题，从这些数据中加以选择，如证券市场行情、物价指数、耐用消费品销售量、利率、国内生产总值、进出口贸易数据等。   3）时间序列数据与横截面数据。时间序列数据是对同一研究对象按时间顺序收集得到的数据，这类数据反映某一事物、现象等随时间的变化状态或程度。例如，2005年至2014年中国人均国内生产总值指数（上年=100）数据分别为：110.7，112.1，113.6，109.1，108.7，110.1，109.0，107.2，107.2，106.7（数据来源：《中国统计年鉴2014》）。同样，某商场每日销售额、某股票每日收盘价、沪深股市每日收盘指数等都是时间序列数据。   横截面数据是在同一时间、不同统计单位、相同统计指标组成的数据列，这类数据体现的是个体的个性，突出个体的差异。例如，某日沪市全部交易股票的当日收盘价数据、2014年中国31省市人均国内生产总值增长率数据都是横截面数据。   近年来，出现了将横截面数据和时间序列数据合并起来进行研究的数据类型，称为面板数据（Panel Data）。该数据具有横截面和时间序列两个维度，当这类数据按两个维度进行排列时，数据都排在一个平面上，与排在一条线上的一维数据有着明显的不同，整个表格像是一个面板。该类数据模型可以分析个体之间的差异情况，又可以描述个体的动态变化特征。例如，每年各地区的国内生产总值增长率数据；在一定时期间隔内对同一地区同样的家庭进行调查，以观察其住房和经济状况是否有变化，这样得到的数据都是面板数据。   3.数据分析过程   数据分析过程包括确定数据分析的目标、研究设计、收集数据、分析数据、解释结果。   1）确定数据分析的目标。数据分析的目标是分析和解决特定的领域问题，而这个问题可以用量化分析的方法来解决。   2）研究设计。研究设计是根据数据分析的目标寻求解决方案。一般而言，数据分析是用量化分析的方法对现象进行描述、解释、预测与控制。一个特定的领域问题要转化为数据分析问题，首先要进行量化研究设计，确定用什么量化研究方法以及怎样研究。常用的量化研究方法有调查法（用调查或观测得到的样本数据推断总体）、相关研究法、实验法、时序分析法等。   3）收集数据。确定了所要解决的问题的研究设计后，根据所要采用的量化研究方法收集数据。例如，若采用调查法，需要确定具体抽样方法以获取数据；若采用实验法，需要进行实验设计，通过实验来获取数据等。这些是为所要解决的问题专门收集的一手数据。除此之外，通常还需要二手数据。   4）整理与分析。数据整理与数据分析即利用数据分析方法进行计算和分析。数据分析方法以统计分析技术为主，借助各种软件（SPSS、SAS、Excel、S-Plus等）工具，完成数据的计算分析任务。本书以MATLAB为工具进行计算。   5）解释和分析计算结果。使用各种方法与软件等工具计算后，会得到一系列结果，包括各种图表、数据等。说明、解释和分析这些结果，或利用计算结果检验各种假设、预测、控制等，从而最终解决所要研究的问题。最后提交数据分析报告，供决策时参考。   1.1.2　MATLAB在数据分析中的作用   MATLAB是一套高性能的数值计算和可视化软件，它集矩阵运算、数值分析、信号处理和图形显示于一体，构成了一个界面友好、使用方便的用户环境，是实现数据分析与处理的有效工具，其中MATLAB统计工具箱更为人们提供了一个强有力的统计分析工具。   选择MATLAB软件作为数据分析工具，不仅节约了数据分析过程中的计算时间，而且增加了统计推断的正确性，提高了数据分析的效率。但要注意，尽管软件对数据分析起到非常大的作用，但软件不能处理数据分析中所有阶段所要解决的问题。明确这一点后可以更好地使用软件。确定数据分析的目标、对问题的研究设计、选择统计分析方法、收集数据、解释和分析计算结果，这些都不是软件所能替代解决的。   本书介绍数据分析的基本理论方法，应用MATLAB编写程序进行数据分析，既面向过程又面向对象。为方便读者，以下对MATLAB的基本操作方法作比较系统的介绍。  

如今，大数据日益成为研究行业的重要研究目标。面对其高数据量、多维度与异构化的特点，以及分析方法思路的扩展，传统统计工具已经难以应对。 工欲善其事，必先利其器。众多新的软件分析工具作为深入大数据洞察研究的重要助力， 也成为数据科学家所必须掌握的知识技能。 然而，现实情况的复杂性决定了并不存在解决一切问题的终极工具。实际研究过程中，需要根据实际情况灵活选择最合适的工具（甚至多种工具组合使用），才能更好的完成研究探索。 为此，本文针对研究人员（非技术人员）的实际情况，介绍当前大数据研究涉及的一些主要工具软件（因为相关软件众多，只介绍常用的），并进一步阐述其应用特点和适合的场景，以便于研究人员能有的放矢的学习和使用。 【基础篇】 1、传统分析/商业统计 Excel、SPSS、SAS 这三者对于研究人员而言并不陌生。 ◆Excel作为电子表格软件，适合简单统计（分组/求和等）需求，由于其方便好用，功能也能满足很多场景需要，所以实际成为研究人员最常用的软件工具。其缺点在于功能单一，且可处理数据规模小（这一点让很多研究人员尤为头疼）。这两年Excel在大数据方面（如地理可视化和网络关系分析）上也作出了一些增强，但应用能力有限。 SPSS（SPSS Statistics)和SAS作为商业统计软件，提供研究常用的经典统计分析（如回归、方差、因子、多变量分析等）处理。 ◆SPSS轻量、易于使用，但功能相对较少，适合常规基本统计分析 ◆SAS功能丰富而强大（包括绘图能力），且支持编程扩展其分析能力，适合复杂与高要求的统计性分析。 上述三个软件在面对大数据环境出现了各种不适，具体不再赘述。但这并不代表其没有使用价值。如果使用传统研究方法论分析大数据时，海量原始数据资源经过前期处理（如降维和统计汇总等）得到的中间研究结果，就很适合使用它们进行进一步研究。 2、数据挖掘 数据挖掘作为大数据应用的重要领域，在传统统计分析基础上，更强调提供机器学习的方法，关注高维空间下复杂数据关联关系和推演能力。代表是SPSS Modeler（注意不是SPSS Statistics，其前身为Clementine） SPSS Modeler的统计功能相对有限, 主要是提供面向商业挖掘的机器学习算法（决策树、神经元网络、分类、聚类和预测等）的实现。同时，其数据预处理和结果辅助分析方面也相当方便，这一点尤其适合商业环境下的快速挖掘。不过就处理能力而言，实际感觉难以应对亿级以上的数据规模。 另一个商业软件Matlab 也能提供大量数据挖掘的算法，但其特性更关注科学与工程计算领域。而著名的开源数据挖掘软件Weka，功能较少，且数据预处理和结果分析也比较麻烦，更适合学术界或有数据预处理能力的使用者。 【中级篇】 1、通用大数据可视化分析 近两年来出现了许多面向大数据、具备可视化能力的分析工具，在商业研究领域，TableAU无疑是卓越代表。 TableAU的优势主要在于支持多种大数据源/格式，众多的可视化图表类型，加上拖拽式的使用方式，上手快，非常适合研究员使用，能够涵盖大部分分析研究的场景。不过要注意，其并不能提供经典统计和机器学习算法支持，因此其可以替代Excel, 但不能代替统计和数据挖掘软件。另外，就实际处理速度而言，感觉面对较大数据（实例超过3000万记录）时，并没有官方介绍的那么迅速。 2 、关系分析 关系分析是大数据环境下的一个新的分析热点（比如信息传播图、社交关系网等），其本质计算的是点之间的关联关系。相关工具中，适合数据研究人员的是一些可视化的轻量桌面型工具，最常用的是Gephi。 Gephi是免费软件，擅长解决图网络分析的很多需求，其插件众多，功能强且易用。我们经常看到的各种社交关系/传播谱图, 很多都是基于其力导向图（Force directed graph）功能生成。但由于其由java编写，限制了处理性能（感觉处理超过10万节点/边时常陷入假死），如分析百万级节点（如微博热点传播路径）关系时，需先做平滑和剪枝处理。 而要处理更大规模（如亿级以上）的关系网络（如社交网络关系）数据，则需要专门的图关系数据库（如GraphLab/GraphX）来支撑了，其技术要求较高，此处不再介绍。 3、时空数据分析 当前很多软件（包括TableAU）都提供了时空数据的可视化分析功能。但就使用感受来看，其大都只适合较小规模（万级）的可视化展示分析，很少支持不同粒度的快速聚合探索。 如果要分析千万级以上的时空数据，比如新浪微博上亿用户发文的时间与地理分布（从省到街道多级粒度的探索）时，推荐使用NanoCubes（http://www.nanocubes.net/）。该开源软件可在日常的办公电脑上提供对亿级时空数据的快速展示和多级实时钻取探索分析。下图是对芝加哥犯罪时间地点的分析，网站有更多的实时分析的演示例子 4、文本/非结构化分析 基于自然语言处理（NLP）的文本分析，在非结构化内容（如互联网/社交媒体/电商评论）大数据的分析方面（甚至调研开放题结果分析）有重要用途。其应用处理涉及分词、特征抽取、情感分析、多主题模型等众多内容。 由于实现难度与领域差异，当前市面上只有一些开源函数包或者云API（如BosonNLP）提供一些基础处理功能，尚未看到适合商业研究分析中文文本的集成化工具软件（如果有谁知道烦请通知我）。在这种情况下，各商业公司（如HCR）主要依靠内部技术实力自主研发适合业务所需的分析功能。 【高级篇】 前面介绍的各种大数据分析工具，可应对的数据都在亿级以下，也以结构化数据为主。当实际面临以下要求：亿级以上/半实时性处理/非标准化复杂需求 ，通常就需要借助编程（甚至借助于Hadoop/Spark等分布式计算框架）来完成相关的分析。 如果能掌握相关的编程语言能力，那研究员的分析能力将如虎添翼。 当前适合大数据处理的编程语言，包括： R语言——最适合统计研究背景的人员学习，具有丰富的统计分析功能库以及可视化绘图函数可以直接调用。通过Hadoop-R更可支持处理百亿级别的数据。 相比SAS，其计算能力更强，可解决更复杂更大数据规模的问题。 Python语言——最大的优势是在文本处理以及大数据量处理场景，且易于开发。在相关分析领域，Python代替R的势头越来越明显。 Java语言——通用性编程语言，能力最全面，拥有最多的开源大数据处理资源（统计、机器学习、NLP等等）直接使用。也得到所有分布式计算框架（Hadoop/Spark）的支持。 前面的内容介绍了面向大数据研究的不同工具软件/语言的特点和适用场景。 这些工具能够极大增强研究员在大数据环境下的分析能力，但更重要的是研究员要发挥自身对业务的深入理解，从数据结果中洞察发现有深度的结果，这才是最有价值的。

2018年05月07日，以“耕耘数据、融合发展”为主题的2018年度数据科学研究院（以下简称“数据院”）RONG教授座谈会于双清大厦拉开帷幕。数据院院长俞士纶、副院长王建民、执行副院长韩亦舜出席此次座谈会，与来自不同学院的六位RONG教授齐聚一堂，就数据科学领域的教学及科研工作进行了交流、探讨及展望。 2018年度数据科学研究院RONG教授座谈会现场 清华大学自动化系副教授、数据院RONG教授江瑞率先发言，主要向在场老师们阐述了如何利用人工智能技术分析基因变异与疾病之间的关系，以及介绍针对X光片、CT、病理图像等影像分析的研究，其中利用自然语言处理技术分析基因组的研究已经取得了部分研究成果。江瑞表示，通过智能方法、智能模型等手段来实现生物医学与数据科学的结合，这对于发现创新的研究思路有非常积极的作用。 清华大学自动化系副教授、数据院RONG教授江瑞分享 如何利用人工智能技术进行基因变异与疾病的关系分析 随后，清华大学社会学系教授罗家德与大家分享了“基于用户交互及移动轨迹的社会资本研究”，以及“基于动态网络的研究”。他表示，通过收集分析人物的人脉、人格、网络活动等数据能够形成精准画像，这种推论型大数据统计为大数据领域的应用提供了新思路、新算法。 清华大学社会学系教授罗家德与在场老师进行交流及讨论 清华大学生物医学影像研究中心研究员赵锡海分享了他在医学影像研究中的思考及成果。他表示，利用人工智能技术识别、分析简单的医学影像现今已有初步成果，但是面对复杂的医学影像，仍需要从数据源头的信息开放、采集和规范等方向进行完善和推进。 清华大学生物医学影像研究中心研究员赵锡海与在场老师分享 如何利用人工智能技术进行医学影像方面的研究 清华大学社科学院副教授郑路则提出，互联网为我们提供了方便、快捷的渠道进行数据采集，然而当下用户接收信息的多样性受到了一些限制，数据分析理应起到更大的作用。此外，郑路老师的团队也就“数据助力社会治理”方向的问题进行了研究，团队以数据分析的方法对养老、社区修缮等社会问题进行了有效改善。 清华大学社科学院副教授郑路阐述如何利用数据科学描绘精准画像 交叉信息研究院助理教授徐葳首先从《大数据实践课》及《大数据系统基础》等教学工作切入，与在场的各位老师进行了深度交流及进一步探讨。徐葳老师表示，这种新型的开放式的教学项目在初期遇到很多挑战，对于如何进一步完善教学方法，制定不同的教学目标是他近一段时间着重思考的方向。在场的各院系老师也就此问题分享了自己的思考及经验。在科研方面，徐葳老师与俞士纶院长就“在数据中心网络优化过程中的核心技术与基础性技术”这一主题进行了深度讨论。徐葳老师通过分析“基于数据的运维”这一案例，阐述了“实现较好的算法”和“系统架构”在数据科学领域的核心作用，以及说明核心技术与基础性技术的本质区别。 交叉信息研究院助理教授徐葳就教学及科研工作与大家进行深度交流 最后，清华大学文科建设处处长、公管学院教授孟庆国老师围绕数据科学在政务领域的应用与大家分享了他的研究成果。他表示，大数据时代政府引入新的技术后，原有的架构、组织关系需要重新构建。此外，他表示也需要研究原有的信息系统与数据分析之间新的融合方式。 清华大学文科建设处处长、公管学院教授孟庆国老师就 “政务大数据”的实践及应用进行分享 交叉信息研究院助理教授徐葳表示，打破学术壁垒在数据科学的研究过程中具有非常重要的作用，因此RONG教授座谈会对于大家来说是一个很好的契机。他说道：“一方面大家可以了解到大数据在各个领域所取得的成果与进展，对自己的研究工作也有启发作用。另一方面，数据科学属于新兴产业，其人才培养模式大家也都在探索过程中。因此此次工作交流会也让大家有机会共同交流如何培养真正的‘大数据人才’”。 从左至右：交叉信息研究院助理教授徐葳、社科学院副教授郑路、数据院执行副院长韩亦舜、数据院副院长王建民、数据院院长俞士纶、社科学院教授罗家德、自动化系副教授江瑞、生物医学影像研究中心研究员赵锡海、数据院科研管理部总监马洁 数据院院长俞士纶说道：“在当下的科技领域，‘核心技术’这个概念愈发被大家关注。‘数据科学领域的核心技术到底是什么’这个问题也同样值得我们思考。例如，核心数据的采集对于整体的数据科学研究就具有至关重要的作用。” 原文发布时间为：2018-05-7 本文来自云栖社区合作伙伴“数据派THU”，了解相关信息可以关注“数据派THU”。

29日电 /美通社/ -- 全球领先的数据分析和市场研究机构J.D. Power（君迪）与中国领先的汽车互联网企业易车日前宣布达成战略合作伙伴关系，共同开展行业研究、大数据、数据分析和人工智能（AI）等领域的全方位合作，为消费者、汽车厂商和经销商提供准确、及时的数据支持和指导方案，帮助其在瞬息万变的中国市场作出科学高效的商业决策和购买决策。 J.D. Power（君迪）与易车达成战略合作伙伴关系，共同开展行业研究、大数据、数据分析和人工智能（AI）等领域的全方位合作 此次双方的战略合作主要围绕数据和数据分析业务展开。J.D. Power 将借助易车相关平台，向行业及公众分享其基于“客户之声”的第三方车型评级和指数，将采集来的“客户之声”反哺给消费者，使他们在购车之前就尽可能掌握详实的消费者评价信息。 与此同时，双方将结合各自的数据资源和数据分析能力，开拓新的研究课题，加快研究频次，缩短研究周期，以最快的速度向车企提供最新最全面的市场动向和消费者意见。 未来，双方还将进一步深化合作，探索行业数据共建，搭建自动化数据采集分析平台，打造行业内权威的 AI 数据资产库，帮助车企挖掘数据潜力，借助数据的力量实现产品和服务创新，发现商业新机遇，提升客户体验。 日前，J.D. Power和易车在京签署战略合作协议，双方高层出席签署仪式 J.D. Power副总裁兼亚太区总经理乔杰（Jacob George）表示：“此次战略合作对于双方以及整个汽车行业都有着深远意义，预示着双方将携手开启汽车行业数据智能化新时代。与易车的强强联手，将更加凸显 J.D Power 在数据分析领域的优势及丰富的行业研究经验，有助于精准、及时地向厂商传递‘客户之声’，帮助厂商和经销商更好地洞悉市场变化和消费趋势，实现产品研发、营销和服务的高效决策。此次合作也是 J.D. Power 实现自身数字化转型的重要举措之一。” 易车首席技术官朱磊表示：“J.D. Power 的研究以独立性和客观性著称于世，是全球最专业最权威的市场调研公司之一，在汽车、金融行业的调查和研究实力首屈一指，尤其在汽车行业享有高度声誉。同时，易车在18年的发展过程中积累了实时、精准、全面的‘人+车’大数据，整体布局非常完整。双方的合作有助于沉淀行业数据，建立行业数据库，将消费者、厂商和经销商三端信息打通，为三方提供更加立体全面和高效的服务。” XIO集团创始合伙人乔飞指出：“自1968年创办以来，J.D. Power 已积累了丰富的市场研究、咨询、数据分析及服务经验。我们期待 J.D. Power 与易车等伙伴通力合作，继续深耕大数据和数据分析领域，不断推进数字化产品创新，为车企带来更有预见性的市场信息和更有价值的数据服务，推动中国汽车产业的数字化、智能化转型。” J.D. Power 一直致力于通过先进的研究技术和分析模型为汽车企业提供深刻的专业分析和行业见解，每年进行分析评测的消费者反馈信息达数百万之巨。投资建立于1993年的PIN（商业智能与数据分析系统）是 J.D. Power 旗下最有代表性的数据分析产品之一，通过不断开发高效的分析工具，帮助汽车厂商和经销商更好地进行业务管理，提高利润。此次，J.D. Power 与易车的强强联合，必将在汽车行业数据的整合、打通、分析、运用等方面创造出新的典范，开启汽车大数据时代崭新的一页。 本文出处：畅享网 本文来自云栖社区合作伙伴畅享网，了解相关信息可以关注vsharing.com网站。

编辑推荐 使用SPSS分析调查问卷常见于各类学术研究、论文写作、企业市场调研和各类调查报告等，本书侧重于学术研究中的SPSS调查问卷数据分析的使用指导，适合高等院校的本科生、研究生，企事业单位使用问卷进行调研的相关从业人员，同时也适合从事问卷分析工作的相关读者学习参考。 周俊 著 / 2017年4月出版 内容提要 《问卷数据分析——破解SPSS的六类分析思路》系统介绍了使用 SPSS进行问卷调查分析的思路及方法，其中共分为四部分，分别是问卷设计、问卷分析六类思路解读、数据分析方法在 SPSS中的操作和答疑解惑。其中问卷设计适用于所有读者，建议读者在设计问卷前详细阅读此部分内容。读者可以结合实际情况选读问卷分析六类思路解读这一部分内容。数据分析方法在 SPSS中的操作这部分内容详细讲解了各类数据分析方法在 SPSS中的操作细节，并对输出结果做出说明。答疑解惑部分罗列了各类分析方法常见的疑难杂症。《问卷数据分析——破解SPSS的六类分析思路》侧重于问卷分析的应用性，为问卷分析人员提供包括问卷设计、分析思路、分析方法操作、文字分析和答疑解惑在内的“一站式”指导，力求让读者在最短的时间内掌握 SPSS分析并且完成高质量的问卷分析报告。 使用SPSS分析调查问卷常见于各类学术研究、论文写作、企业市场调研和各类调查报告中，《问卷数据分析——破解SPSS的六类分析思路》侧重于学术研究中的 SPSS调查问卷数据分析的使用指导，适合高等院校的本科生、研究生，企事业单位使用问卷进行调研的相关从业人员，同时也适合从事问卷分析工作的相关读者学习参考。 精彩导读 前言 我初次接触SPSS软件是在一门市场研究课程上，并且我在第一次接触SPSS时就对其各类分析方法产生了极大的兴趣，比如回归分析可以神奇地将概率论、线性代数和微积分知识进行整合运用。更重要的是，数据分析能够通过各种各样的分析方法针对实际数据，解决实际问题，挖掘潜在价值信息。 数据分析是统计知识的实际运用，然而并非每个人都对数学感兴趣，对数字有“感觉”。如果没有数据结论作为支撑，论点就没有坚强的后盾，很难让人信服。学生时代的我曾想过：是否可以有这样一本书，让读者轻松读懂，而不像市面上的理论性书籍那样只罗列了一堆公式。直到网络问卷调研兴起，我才找到了这样的切入口，使用问卷作为背景案例进行阐述，既可以将各类分析方法融入问卷研究，又可以将分析思路进行梳理，以撰写简单的文字报告，解决实际问题。 纵观我国当前教育现状，很多高校都开设了统计理论课程，但课程均基于理论原理、分析方法的计算公式的讲解，比如t检验的公式应该是什么，如何计算t值等。一旦将课堂中的分析方法用于实践，则可能出现各种各样的问题：从理论上讲，分析的数据需要正态分布，可实际的数据无论如何均不是正态分布；在课程中使用的练习数据总是很“完美”，一旦自己收集数据进行分析，则“面目全非”，无法继续进行分析；对于使用什么样的分析方法更合适，以及分析方法的逻辑关系是什么，完全没有头绪。课堂上是对分析方法进行单独的讲解，而在实际研究中，需要对整份数据进行分析，并且选择合适的分析方法，完成研究报告。很庆幸自己有这样的机会，将5年的数据分析经验进行总结，并写出这样一本有意义的书籍。 站在个人的角度，我认为每个人都需要掌握一定的数据分析技能。在实际工作中，每个行业都会产生数据，并且需要基于数据结论提供相关决策支持。各行业涉及的专业名词术语很多，数据分析需要结合专业知识进行，不太可能让只懂统计的人去处理。数据分析不应该是高不可攀的工具，而应该是像Excel这样的“傻瓜式”工具，普遍应用于各行各业。希望本书让读者有不一样的体验，忘记一堆数学公式和理论原理，随心所欲地进行数据分析。 从2015年年底开始计划书籍的框架内容，到2016年10月审稿完成，在此期间我得到了电子工业出版社编辑张慧敏、王静、杨嘉媛的大力帮助，在此表示感谢。另外，本书还得到了问卷星CEO胡啸的大力支持，包括对书稿第一部分问卷设计的建议，以及问卷星企业版本的免费使用支持、样本服务免费使用支持等。关于本书的第二部分内容，张文彤老师给予了非常多有价值的写作建议，并且张文彤老师还提供了详细的修改指导建议，在此一并表示感谢。也感谢我的父母以及在写作过程中支持我的朋友们。 真心希望本书对各位读者有一定的帮助，至少可以有所启迪。建议读者先详细阅读第一部分问卷设计，通过第一部分内容的学习，读者可以了解各类分析方法的功能及使用要求，以及问卷与各类分析方法的匹配对应关系。针对第二部分内容，读者可以进行选读，阅读与自己的问卷对应的分析思路框架及分析方法，并且结合第三部分内容的操作指导，完成高质量分析报告，如果在分析方法使用过程中出现问题，则可参考第四部分内容。 积跬步以至千里。每天读本书，为您搜罗最具权威专业书籍，更多图书推荐请关注每日读书。 好知识需要分享，如您有喜欢的书籍想与广大开发者分享，请在文章下方评论留言，我们将为大家推荐您的爱书！

数据表研究 大概知道项目的情况 数据表数据研究 进一步知道项目情况 动态数据研究 添加删除，进行一些操作，看看数据的变化。通过变化的数据，来分析项目的功能与内部的奥秘 代码研究 大致知道流程之后，可以进一步分析代码，看看是如何实现的。 局部研究到整体研究 找到一个模块，进行分析。再找到一个模块进行分析。多个模块分析完之后。整个项目也就基本清晰了。 使用，测试，发现问题，发现严重bug 功能性的bug要最先解决 使用，测试，大数据测试，发现性能的bug 性能的bug要深入研究解决 在分析好需求之后，可以进行数据库重构或者功能重构 在不破坏现有功能的前提先，在保证数据不丢失的前提下进行 如果觉得自己功力不够，就学习学习 这个比较辛苦。不建议开始的时候，就学习。建议从实际问题出发，先进行前面的研究。 有时候需要的不仅仅是技术，更是对项目以及需求的熟悉，对代码的熟悉，对流程的熟悉，对业务的熟悉 做任何行业都是如此，熟悉业务，熟悉技能，熟悉管理，熟悉工作安排，熟悉交流沟通都很重要。 对于问题，能够描述清楚。 能够发现问题的原因，并能够解决。 能够理清楚需求，并能够基本完成需求的工作。 代码和数据库是最好的项目老师。 API文档也是最好的技术老师。 文档的整理，需求的整理，都是一个需要有的技能。 本文转自TBHacker博客园博客，原文链接：http://www.cnblogs.com/jiqing9006/p/5207719.html，如需转载请自行联系原作者

说到数据分析，人们就会想到它是一种科学。因为数据分析是用适当的统计分析方法来对收集而来的大量数据进行科学分析，并将在分析中提取数据中有用的信息，进而形成对数据分析后的结论，再对这样的数据分析结论进行细致研究或是进行概括总结的脑力劳动过程。 有人将这样的数据分析过程叫做是一个质量管理体系的支持过程，这种说法并不为过，因为数据分析在实践中的应用，就是那些数据分析的研究结果能帮助人们做出有依据性的判断，并根据这样依据性判断指导人们的行动，所以，说它是一种质量管理体系的支持过程是有根据的。 第一、数据分析是计算机时代的产物 数据分析离不开数学科学，而有关数据分析的数学科学基础，早在二十世纪最早期就被人们所确立，但单就有了数据分析的数学科学基础，却是未能实现真正意义上的数据分析，由此，数据分析所能体现的实用价值也被搁浅。不过，当计算机技术被出现以后，才将数据分析的科学操作变成一种现实，并在实践中得以广泛推广开来，由此可见，数据分析应该是数学科学跟计算机科学这两种科学相结合的产物，但数据分析的属性也一定是一种科学。 第二、数据分析的相关类别 数据分析严格说应该属于是一种统计学中科学，那么，在统计学这种科学里，有人将数据分析划分为几个种类，但这被划分的数据分析种类主要有描述性统计分析或是探索性数据分析以及验证性数据分析等。不过，对数据分析的每种分类，它们每种的数据分析方式所要进行数据分析的侧重点都有所不同，如探索性数据分析主要是为了在数据分析中用以发现各数据当中一些新的特征等。 当然，就验证性数据分析也是侧重于对人们事先已有的一些假设，通过对数据的分析而要找到某些可证实的证据，以便确认人们事先的那些假设能否被成立。 本文转自d1net（转载）

一、 猎聘网职业大数据分析简介 猎聘网，专注于打造以经理人个人用户体验为核心的职业发展平台。 二、 数据分析师人才需求的形势 从猎聘网的中高端职位数据来看，2015年数据分析师职位需求呈现“井喷式”增长，11月份需求量就超过4185个，占所有职位数的比例也得到持续攀升。可见，“数据驱动决策”的趋势在当下变得尤为重要。 分析师职位主要集中在互联网、金融、消费品、制药/医疗等行业，其中互联网和金融行业的分析师职位数占比超过了80%，这源于该几类行业已在短期内无论是产品端、用户端、运营端等都实现了大数据的原始积累，且数据增长速度依然可观。 从分析师职位的区域分布来看，“北上广深杭”等特大一线城市合计占据88.5%的职位份额，单单北京地区占比就超过四成。对于分析师的职业发展来说，“坚守而不是逃离一线城市”才是明智的选择。 互联网行业数据分析的主要对象是产品、运营和用户，其次是市场和客户。以数据为依据，为产品策略、运营战术、用户研究、市场趋势、客户画像等企业关键领域提供必要决策支持。 金融行业普遍重视产品与运营层面的数据分析，除此之外最为重视对客户的分析。而对于风险、信用、信贷与投资领域的分析则是金融行业特色，反映出数据分析已在金融核心业务线上都发挥着重要作用。 三、 数据分析师的薪酬数据分析 无论是初级还是高级岗位，企业都愿意为分析师提供高于行业平均水平的薪酬。同时，随着工作年限的增加，分析师薪酬与行业平均薪酬的差距逐渐拉大，在15年工作年限时，薪资差距拉大到近20万。 互联网行业年薪超过50万元的分析师职位数最多，占比超过五成；其次为金融行业的21%。巨大的数据量、复杂的数据结构以及结合不同业务而进行的复杂数据开发，造成了数据分析师高端岗位的紧俏。同时也反映出，越来越多的企业（具有大数据基础的）愿意付出高薪解决企业自身数据方面存在的问题。 年薪50万以上的分析师职位主要分布在北京、上海、深圳、杭州、广州。其中北京高端分析师职位最为集中。 四、 数据分析师的职业技能发展 数据分析师的女：男比例达到1：2，这一比值远远高于其他技术类职位。需要指出的是，这既是男性数据分析师的幸福福利，也从侧面反映出女性在数据分析能力以及数据敏感度方面具有独特的优势所在。 分析师从业者的专业背景中，计算机、统计、数学、信息管理等专业的占比相对较高，但其他专业也不少。从另外一个角度来看，无论你是学什么专业出身的，都有新专业、新领域的知识要学。 大数据具有数量大（Volume）、高速率（Velocity）、多样性（Variety）、真实性（Veracity）等特点，这就要求从事中高端数据分析的人员除了具有高超的业务理解能力和沟通能力之外，还必须具有卓越的数据处理能力（包括收集、清洗、存储、查询等）、数据分析能力（数学建模、算法设计、文本挖掘、机器学习、统计软件应用等）、数据可视化能力（基于几何的技术、面向像素技术、基于图标的技术、基于层次的技术、基于图像的技术和分布式技术等）以及数据变现能力（企业运营、产品策略、市场研究、品牌管理、需求分析等）等四大综合性能力，最终还需要得出对企业具有建设性意见的结论性研究成果。 结束语：总而言之，数据分析师是一个极具发展前景的新兴职业： 从行业背景角度 大数据代表着新一代生产力，是万物互联的基础，企业都已将“大数据”提升到最高战略层面，期待其在企业运营、产品策略、市场研究、品牌管理领域发挥关键性作用。 从业务层面而言 数据分析未来更多会在研究人与人（社交等）、人与物（购物或租赁等）、物与物（智能家居与硬件等）的“关系”中发挥重要作用。 从专业人才供需而言 据猎聘人才大数据研究中心预测，2016年中高端数据分析师的人才紧缺指数（指数大于1即为处于紧缺状态）将保持在4.5以上，远远高于行业平均值，处于极度紧缺状态。 原文发布时间为：2015-12-28 本文来自云栖社区合作伙伴“大数据文摘”，了解相关信息可以关注“BigDataDigest”微信公众号

本节书摘来华章计算机《数据驱动安全：数据安全分析、可视化和仪表盘》一书中的第1章 ，第1.3节，[美]杰·雅克布（Jay Jacobs）鲍布·鲁迪斯（Bob Rudis） 著 薛杰　王占一　张卓　胡开勇　蒋梦飏　赵爽　译, 更多章节内容可以访问云栖社区“华章计算机”公众号查看。 1.3　以问题为中心 尽管我们认为数据分析应该十分有趣，但是由于它本身特性，却从未如此。数据分析始终在一个更大的上下文内进行的，并且理解这个上下文是成功进行数据分析的关键，忽视了数据分析的上下文就如同赛跑的时候不关注终点线一样盲目，我们要清晰地认识从数据中学到的东西。总之，每一个良好的数据分析项目一开始就设定一个目标，并创建一个或多个研究问题（research question）。也许你已经遇到一个可视化或分析研究，并且疑惑“好了，可是要做什么呢？”，产生这样的反应有可能就是因为在分析中缺乏一个预设的研究问题。记住，数据分析的目的是从实际环境中来学习，学习的过程中数据可有可无（会取得不同程度的成功）。创建和跟进一个好的研究问题不仅仅是好的数据分析的组成部分，也是好的学习过程的一个组成部分。如果没有一个良好的研究问题来引导数据分析的过程，就可能把时间和精力浪费在从数据中寻求一些容易的答案，或者更糟糕的是，你可能只是在寻找一个无人关心的问题的答案。例如，图1-4显示了某组织给定月份中垃圾邮件的数量和类别的对应关系。多亏一个邮件过滤系统生成的日志，才使收集和展示这些信息得以完成，但是该组织对于这些数据回答的问题（以及后续应采取的行动）却不太关心。很难想象有人看着这图表，并想“让我们来看看为什么12月份的旅游主题的垃圾邮件会上升”。如图1-4所示是失败地选择了或者略过了研究问题导致的，为了数据分析而数据分析，未能有助于提供给人们任何有意义的环境信息。围绕垃圾邮件较好地一个研究问题可能是“在未被邮件过滤系统阻拦的垃圾邮件上，员工花费了多少时间？”仅计算有多少垃圾邮件被阻拦是没有价值的，因为它没有任何语境意义（没人可以估算1000与5000封垃圾邮件之间的效率差异），我们想知道垃圾邮件对员工生产率产生的影响。虽然生产率是难以直接度量的，我们可以转变一下，并且认为当员工在阅读和删除垃圾邮件的时候是没有工作效率的。因此，我们真正要度量的是员工在处理未过滤的垃圾邮件时所花的时间。现在，研究问题被设计成这样：我们不能指望垃圾邮件过滤系统的日志来回答这个垃圾邮件相关的问题，并且我们真的不在乎上千的邮件被阻拦在外围或者什么样的邮件被阻拦。有研究问题在手，我们知道要收集度量员工的处理时间，或许可以看看邮件客户端在用户标记垃圾邮件时产生的事件日志，或许在选取部分用户做为样本时进行一个简单的调查，记录下他们在某段时间内收到的垃圾邮件数量以及花费在这些邮件上的时间。无论什么方法，这项分析工作的背景以及目的是根据研究问题来制定的，而不是源于我们可获取的数据。