数据处理

首页 标签 数据处理
# 数据处理 #
关注
18384内容
Logtail 混合模式:使用插件处理文件日志
作为一个服务百万机器的日志采集 agent,Logtail 目前已经提供了包括日志切分、日志解析(完整正则、JSON、分隔符)、日志过滤在内的常见处理功能,能够应对绝大多数场景的处理需求。但有些时候,由于应用的历史原因或是本身业务日志的复杂性,单一功能可能无法满足所采集日志的处理需求,比如: 日志可能不再是单一格式,有可能同时由 JSON 或者分隔符日志组成。
联合阿里,百胜软件持续新零售的中台“进化”
“零售企业原来的信息化建设重视的是企业流程的管理,今天则更注重数据,更注重运营。技术价值也进行了重构,从数字化转向了数智化。”
MapReduce 不适合处理实时数据的原因剖析
1.概述    Hadoop已被公认为大数据分析领域无可争辩的王者,它专注与批处理。这种模型对许多情形(比如:为网页建立索引)已经足够,但还存在其他一 些使用模型,它们需要来自高度动态的来源的实时信息。为了解决这个问题,就得借助Twitter推出得Storm。Storm不处理静态数据,但它处理预
Spark Streaming + Spark SQL 实现配置化ETL流程
Spark Streaming 非常适合ETL。但是其开发模块化程度不高,所以这里提供了一套方案,该方案提供了新的API用于开发Spark Streaming程序,同时也实现了模块化,配置化,并且支持SQL做数据处理。
【对话科技】Flink技术介绍和新功能展望
2017年6月22号,由“京城学堂”和阿里巴巴集团技术发展部主办的“对话科技”系列讲座邀请到了Apache Flink项目的PMC成员,来自德国DataArtisans公司的Till Rohrmann,在北京阿里中心为关注实时计算技术的阿里同学做了一场关于Apache Flink技术发展的精彩分享。
专访MongoDB官方大中华区首席架构师唐建法:MongoDB将会领导数据处理新趋势 —— 一个操作型的数据平台
随着MongoDB不断补足剩余的一些传统关系型数据库的功能(如多表多文档ACID事务),凭借其优越易用的文档模型和海量的水平扩展能力,唐建法认为MongoDB将会领导数据处理的新趋势:一个操作型的数据平台。
使用SAP HANA Express Edition开始用自己的设备构建大数据应用
作为SAP HANA Platform的简化版本,开发者可以免费下载使用SAP HANA Express Edition,用最简单的硬件设备(包括个人电脑、服务器与云服务器)运行SAP HANA Express Edition。快捷简单的构建大数据与企业服务解决方案,并进行快速部署。
每天1000+架次航班起降,算法+大数据能做什么
自2016年9月22日开赛以来,吸引了3457支队伍参赛,选手覆盖中国大陆、中国香港、美国、日本、法国、英国、新加坡等13个国家和地区。大赛共设2个独立赛场,即“1场算法挑战赛(机场客流量的时空分布预测)+1场众智创新赛(机场停机位资源分配优化)”,直面机场管理痛点。
免费试用