大数据相关总结(待续)

简介: 大数据相关
“区块链”、文本分析、hadoop、lucence


文本分析是说词性分形,
分词应该是搜索引擎中的分词器  比如现在最常用的是ik  原来的是庖丁

需要做分词索引:
eg:你干嘛呢  
你 , 干嘛,呢

分析词性和词义还有词频,分词一般就是中文麻烦点,英文简单

lxh:
通过海量数据计算分析  可以提取出有用的数据关系模型  这些数据关系模型可以做推荐  可以计算用户行为  可以做人物或者城市画像等等
eg1:
 拿到北京200w浮动车数据点  计算到北京的所有的道路网络上  计算出每条道路的拥堵程度  车速  通行时间
eg2:
在电信做的工作就是拿到电信收集到的全国2e人的信令数据 计算分析  算出每个人工作在那里  每天几天上下班  加班多不多  下周二可能出现在那里 平时喜欢做什么  再比如每天地铁站几点开始拥堵  需要限流排队  某个景点在每年的什么时候出现高峰  高峰值大概什么样  预测规划这样的。

相关实践学习
简单用户画像分析
本场景主要介绍基于海量日志数据进行简单用户画像分析为背景,如何通过使用DataWorks完成数据采集 、加工数据、配置数据质量监控和数据可视化展现等任务。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
目录
相关文章
|
8月前
|
存储 数据采集 传感器
大数据概述
大数据概述
152 0
|
9月前
|
存储 消息中间件 分布式计算
大数据简介
大数据简介
190 0
|
10月前
|
大数据 Linux 索引
【大数据学习篇1】linux常用命令
【大数据学习篇1】linux常用命令
79 0
|
存储 人工智能 大数据
本文带你了解透彻云计算(前世,今生,未来)
对于云计算,我们将会通过云计算的前世,今生,未来,特点,原理等几个方面进行讲解。
1423 1
本文带你了解透彻云计算(前世,今生,未来)
|
存储 人工智能 运维
行业综述 | 《阿里云存储白皮书》第一章
本章重点介绍数字经济时代背景下存储行业的变革
7126 0
行业综述 | 《阿里云存储白皮书》第一章
|
大数据 MaxCompute
万师傅大数据体系实践案例
阿里云MaxCompute的大数据案例实践。
3037 0
|
大数据
史上最快! 10小时大数据入门(一)-大数据概述
第1章 大数据概述 计划安排 ...
954 0
|
大数据
大数据_学习_00_资源帖
一、精选 1.虚无境的博客 随笔分类 - 大数据
786 0
|
存储 物联网 大数据