乐逗高级数据分析师谢佳标:基于R语言的大数据处理及建模技术

简介:


 
WOT2015"互联网+"时代大数据技术峰会于2015年11月28日于深圳前海华侨城JW万豪酒店盛大揭幕,42位业内重量级嘉宾汇聚,重磅解析大数据技术的点睛应用。秉承专注技术、服务技术人员的理念。DBA+社群作为本次大会合作方,将通过图文直播为大家全程跟踪报道这场技术盛宴。
 
 
 


正如马云所说:“大家还没搞清PC时代的时候,移动互联网来了,还没搞清移动互联网的时候,大数据时代来了。”在信息时代,海量数据迎来了大爆发,也给大数据技术平台带来了用武之地。


在深圳的【WOT2015"互联网+"时代大数据技术峰会】现场,WOT特邀讲师、乐逗游戏高级数据分析师谢佳标,从R语言和大数据建模等方面对大数据做深刻解读。


谢佳标,乐逗游戏高级数据分析师。主要利用R语言进行大数据的挖掘及可视化工作。第七届、第八届中国R语言大会的演讲嘉宾。有超过八年的数据挖掘建模经验,从事过咨询、电商、电力、游戏等行业,了解不同领域的数据特点。有丰富的利用R语言进行大数据挖掘的实战经验。


谢佳标告诉笔者,游戏公司获得的数据量是相对较大的,数据维度比较多,数据源头也难以把握,所以获取到的数据是没法直接用的,需要对数据做预处理。包括几个部分:一是数据的缺失处理,如果有哪些字段缺失,需要通过机器学习的技术进行填补,有的样本没法通过预处理的话,会直接删除掉。预处理后,需要读数据进行转换,有的需要增加一个新的维度来达到数据分析的要求。



那么为什么用R语言进行处理呢?谢佳标表示,R语言是开源的,内建了很多特有的函数建模,并拥有众多的拓展包。另外由于开源,我们可以看到函数背后的逻辑是怎样的,每一个步骤是怎样转换和处理的。除此之外,在灵活性方面,R近几年发展很快,很多新的模型、算法和研究等都纳入进去,比如深度学习、社交网络和一些较新的算法等。


在这个大数据技术爆发的时代,对于数据分析师的需求也迎来了大增长,数据分析师的职业前景也十分广阔。谢佳标告诉笔者他从事数据相关工作已经有八九年,在这个领域总是有很多新东西要研究,能给人带来很大的成就感和愉悦感。


在他看来,要成为一个优秀的数据分析师,首先要有态度,要保持一个认真的态度来对待。其次,要熟悉统计学知识,有很强的统计学知识或者数学逻辑的话,分析数据会更清晰有条理。最后,应该选择适合自己的工具来实现数据分析。


笔者让谢佳标为有志于从事R相关工作的人推荐文档或者书籍。谢佳标表示学习R最佳的方法是看官网,因为官网有很多完善的帮助文档。然后可以看一些入门书籍,比如《R语言实践》《R语言编程艺术》都是比较好的入门书籍。



本文来自云栖社区合作伙伴"DBAplus",原文发布时间:2015-12-01

相关实践学习
基于MaxCompute的热门话题分析
Apsara Clouder大数据专项技能认证配套课程:基于MaxCompute的热门话题分析
目录
相关文章
|
3月前
|
存储 人工智能 大数据
云栖2025|阿里云开源大数据发布新一代“湖流一体”数智平台及全栈技术升级
阿里云在云栖大会发布“湖流一体”数智平台,推出DLF-3.0全模态湖仓、实时计算Flink版升级及EMR系列新品,融合实时化、多模态、智能化技术,打造AI时代高效开放的数据底座,赋能企业数字化转型。
957 0
|
5月前
|
数据采集 人工智能 分布式计算
ODPS在AI时代的发展战略与技术演进分析报告
ODPS(现MaxCompute)历经十五年发展,从分布式计算平台演进为AI时代的数据基础设施,以超大规模处理、多模态融合与Data+AI协同为核心竞争力,支撑大模型训练与实时分析等前沿场景,助力企业实现数据驱动与智能化转型。
452 4
|
6月前
|
存储 分布式计算 Hadoop
Hadoop框架解析:大数据处理的核心技术
组件是对数据和方法的封装,从用户角度看是实现特定功能的独立黑盒子,能够有效完成任务。组件,也常被称作封装体,是对数据和方法的简洁封装形式。从用户的角度来看,它就像是一个实现了特定功能的黑盒子,具备输入和输出接口,能够独立完成某些任务。
|
7月前
|
数据采集 人工智能 算法
数据没洗干净,分析全白干:聊聊大数据里的“洗澡水”工程
数据没洗干净,分析全白干:聊聊大数据里的“洗澡水”工程
257 1
|
3月前
|
数据可视化 大数据 关系型数据库
基于python大数据技术的医疗数据分析与研究
在数字化时代,医疗数据呈爆炸式增长,涵盖患者信息、检查指标、生活方式等。大数据技术助力疾病预测、资源优化与智慧医疗发展,结合Python、MySQL与B/S架构,推动医疗系统高效实现。
|
3月前
|
机器学习/深度学习 搜索推荐 数据挖掘
数据分析真能让音乐产业更好听吗?——聊聊大数据在音乐里的那些事
数据分析真能让音乐产业更好听吗?——聊聊大数据在音乐里的那些事
202 9
|
4月前
|
数据可视化 数据挖掘 大数据
基于python大数据的水文数据分析可视化系统
本研究针对水文数据分析中的整合难、分析单一和可视化不足等问题,提出构建基于Python的水文数据分析可视化系统。通过整合多源数据,结合大数据、云计算与人工智能技术,实现水文数据的高效处理、深度挖掘与直观展示,为水资源管理、防洪减灾和生态保护提供科学决策支持,具有重要的应用价值和社会意义。
|
5月前
|
存储 数据挖掘 大数据
基于python大数据的用户行为数据分析系统
本系统基于Python大数据技术,深入研究用户行为数据分析,结合Pandas、NumPy等工具提升数据处理效率,利用B/S架构与MySQL数据库实现高效存储与访问。研究涵盖技术背景、学术与商业意义、国内外研究现状及PyCharm、Python语言等关键技术,助力企业精准营销与产品优化,具有广泛的应用前景与社会价值。
|
6月前
|
SQL 人工智能 自然语言处理
AI技术究竟怎样让企业数据分析效率和智能化大幅提升?
本文三桥君介绍了AI驱动的自然语言数据分析系统,通过AI Agents调度、大模型(LLM)生成SQL及检索增强(RAG)技术,实现从自然语言指令到可视化结果的全流程自动化。
219 4
|
5月前
|
SQL 分布式计算 大数据
我与ODPS的十年技术共生之路
ODPS十年相伴,从初识的分布式计算到共生进化,突破架构边界,推动数据价值深挖。其湖仓一体、隐私计算与Serverless能力,助力企业降本增效,赋能政务与商业场景,成为数字化转型的“数字神经系统”。