Apache Spark 3.0 将内置支持 GPU 调度
如今大数据和机器学习已经有了很大的结合,在机器学习里面,因为计算迭代的时间可能会很长,开发人员一般会选择使用 GPU、FPGA 或 TPU 来加速计算。在 Apache Hadoop 3.1 版本里面已经开始内置原生支持 GPU 和 FPGA 了。
基于云上分布式NoSQL的海量气象数据存储和查询方案
气象数据是一类典型的大数据,具有数据量大、时效性高、数据种类丰富等特点,每天产生的数据量常在几十TB到上百TB的规模,且在爆发性增长。如何存储和高效的查询这些气象数据越来越成为一个难题,本文针对气象领域中海量模式数据的存储和查询问题,分别介绍了传统方案和采用表格存储(TableStore)的方案,并对方案优缺点进行了一些总结。
天猫技术专家:测试十二年,六道轮回后的初心能否找回
本期作者简介:高翔,天猫技术部测试开发专家。
很久没写文章了,之前测试十年,也是在自己有变化的时候 ,强迫自己写了一篇文章,说了自己的困惑和痛苦和思考,也得到一些共鸣。现在测试十二年了,相当于一个轮回,也有一些新的痛苦和感悟,趁还在这个圈子里面,纪念一下,当然了,YY比较多,干货也不多,反正纪念下,或许我是真的不太可能写测试15年的文章了。
SLS机器学习介绍(01):时序统计建模
时序数据是业务监控中最多方法,双十一大盘、业务监控系统、系统性能平台等都可以看到他的身影。为了更好的在日志服务平台中,针对时序数据进行进行较好的分析和交互,本团队针对单时序数据数据的各种场景,开发了相应的时序数据处理算法,可直接嵌入在标准的MySQL语法中使用,降低了用户对这类算法的使用难度,提供更好的服务。
推荐系统-基于矩阵分解的LFM模型
这里我想给大家介绍另外一种推荐系统,这种算法叫做潜在因子(Latent Factor)算法。这种算法是在NetFlix(没错,就是用大数据捧火《纸牌屋》的那家公司)的推荐算法竞赛中获奖的算法,最早被应用于电影推荐中。