大数据相关总结(待续)

本文涉及的产品
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介: 大数据相关
“区块链”、文本分析、hadoop、lucence


文本分析是说词性分形,
分词应该是搜索引擎中的分词器  比如现在最常用的是ik  原来的是庖丁

需要做分词索引:
eg:你干嘛呢  
你 , 干嘛,呢

分析词性和词义还有词频,分词一般就是中文麻烦点,英文简单

lxh:
通过海量数据计算分析  可以提取出有用的数据关系模型  这些数据关系模型可以做推荐  可以计算用户行为  可以做人物或者城市画像等等
eg1:
 拿到北京200w浮动车数据点  计算到北京的所有的道路网络上  计算出每条道路的拥堵程度  车速  通行时间
eg2:
在电信做的工作就是拿到电信收集到的全国2e人的信令数据 计算分析  算出每个人工作在那里  每天几天上下班  加班多不多  下周二可能出现在那里 平时喜欢做什么  再比如每天地铁站几点开始拥堵  需要限流排队  某个景点在每年的什么时候出现高峰  高峰值大概什么样  预测规划这样的。

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
目录
相关文章
|
存储 机器学习/深度学习 分布式计算
大数据入门指南:掌握大数据,抢占未来(基础)
大数据入门指南:掌握大数据,抢占未来(基础)
82 0
|
存储 运维 资源调度
阿里云E-MapReduce产品新动态及开源大数据前沿技术 2023-4月刊
开源大数据EMR产品技术月刊,涵盖本月技术速递、产品和功能发布、市场和客户应用实践等内容,帮助您快速了解开源大数据最新动态。
700 1
阿里云E-MapReduce产品新动态及开源大数据前沿技术 2023-4月刊
|
存储 分布式计算 运维
阿里云E-MapReduce产品新动态及开源大数据前沿技术 2023-3月刊
开源大数据EMR产品技术月刊,涵盖本月技术速递、产品和功能发布、市场和客户应用实践等内容,帮助您快速了解开源大数据最新动态。
48579 4
阿里云E-MapReduce产品新动态及开源大数据前沿技术 2023-3月刊
|
SQL 存储 算法
好书推荐--大数据日知录(深入理解大数据的必备书籍)附电子版下载
今天给大家推荐一本大数据领域中必读的一本书,名字叫《大数据日知录-架构与算法》
422 0
好书推荐--大数据日知录(深入理解大数据的必备书籍)附电子版下载
|
SQL 数据采集 弹性计算
冬季实战营第五期:大数据实战全攻略
冬季实战营第五期:大数据实战全攻略
217 0
冬季实战营第五期:大数据实战全攻略
|
数据采集 弹性计算 数据可视化
|
大数据 分布式计算 MaxCompute
独家下载 |《大数据工程师必读手册》揭秘阿里如何玩转大数据
阿里巴巴如何玩转大数据?十位阿里巴巴大数据专家深度分析 ,飞天大数据平台八款产品最新玩法,2019不容错过的大数据手册——《大数据工程师必读手册》现在可以免费下载阅读啦,赶紧先睹为快吧。
138226 0
独家下载 |《大数据工程师必读手册》揭秘阿里如何玩转大数据
|
分布式计算 MaxCompute 存储
吴刚专访--大数据和 MaxCompute 技术和故事
2019大数据技术公开课第一季《技术人生专访》来袭,本季将带领开发者们探讨大数据技术,分享不同国家的工作体验。本文整理自阿里巴巴计算平台事业部高级技术专家吴刚的专访,将为大家介绍Apache ORC开源项目、主流的开源列存格式ORC和Parquet的区别以及MaxCompute选择ORC的原因。
19313 2
吴刚专访--大数据和 MaxCompute 技术和故事
|
弹性计算 分布式计算 大数据
记阿里云在大数据入门的使用
普通本科大数据专业大四新人,使用阿里云服务器一年有余,颇喜爱,故书此文。以帮诸学弟学妹。
|
分布式计算 大数据 BI
大数据心法来了!一站式玩转MaxCompute,还有开发者资源等你领!
阿里云大数据计算平台开发者版2019年3月推出,MaxCompute正在成为开发者的免费大数据平台。 今天,MaxCompute在企业构建自己的数据处理平台实践中起到了至关重要的作用,我们特别精选了企业的真实实践案例:从最大的兴趣社群平台小打卡;到90后、00后喜欢的克拉克拉;从互联网金融的典型天弘基金;到耳熟能详的二手车平台人人车……为你带来了超多的MaxCompute玩法。
2625 0