更多精彩内容参见云栖社区大数据频道https://yq.aliyun.com/big-data；此外，通过Maxcompute及其配套产品，低廉的大数据分析仅需几步，详情访问https://www.aliyun.com/product/odps。
本讲义出自Debasish Das与Pramod Narasimha在Spark Summit EU 2016上的演讲，主要介绍了基于Spark和Lucene构建的近实时预测模型。
【Spark Summit EU 2016】基于Spark+Lucene构建近实时预测模型
2017-02-12
3244
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《
阿里云开发者社区用户服务协议》和
《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写
侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介：
本讲义出自Debasish Das与Pramod Narasimha在Spark Summit EU 2016上的演讲，主要介绍了基于Spark和Lucene构建的近实时预测模型。
目录
相关文章
|
19天前
|
存储
分布式计算
物联网
美的楼宇科技基于阿里云 EMR Serverless Spark 构建 LakeHouse 湖仓数据平台
美的楼宇科技基于阿里云 EMR Serverless Spark 建设 IoT 数据平台，实现了数据与 AI 技术的有效融合，解决了美的楼宇科技设备数据量庞大且持续增长、数据半结构化、数据价值缺乏深度挖掘的痛点问题。并结合 EMR Serverless StarRocks 搭建了 Lakehouse 平台，最终实现不同场景下整体性能提升50%以上，同时综合成本下降30%。
126
2
2
|
4月前
|
分布式计算
Java
开发工具
阿里云MaxCompute-XGBoost on Spark 极限梯度提升算法的分布式训练与模型持久化oss的实现与代码浅析
本文介绍了XGBoost在MaxCompute+OSS架构下模型持久化遇到的问题及其解决方案。首先简要介绍了XGBoost的特点和应用场景，随后详细描述了客户在将XGBoost on Spark任务从HDFS迁移到OSS时遇到的异常情况。通过分析异常堆栈和源代码，发现使用的`nativeBooster.saveModel`方法不支持OSS路径，而使用`write.overwrite().save`方法则能成功保存模型。最后提供了完整的Scala代码示例、Maven配置和提交命令，帮助用户顺利迁移模型存储路径。
130
1
1
|
5月前
|
存储
缓存
分布式计算
|
9月前
|
机器学习/深度学习
分布式计算
算法
|
10月前
|
Java
Shell
分布式数据库
【大数据技术Hadoop+Spark】HBase数据模型、Shell操作、Java API示例程序讲解（附源码 超详细）
【大数据技术Hadoop+Spark】HBase数据模型、Shell操作、Java API示例程序讲解（附源码 超详细）
184
0
0
|
10月前
|
SQL
存储
分布式计算
【大数据技术Hadoop+Spark】Hive数据仓库架构、优缺点、数据模型介绍（图文解释 超详细）
【大数据技术Hadoop+Spark】Hive数据仓库架构、优缺点、数据模型介绍（图文解释 超详细）
1344
0
0
|
10月前
|
存储
分布式计算
负载均衡
【大数据技术Hadoop+Spark】MapReduce概要、思想、编程模型组件、工作原理详解（超详细）
【大数据技术Hadoop+Spark】MapReduce概要、思想、编程模型组件、工作原理详解（超详细）
273
0
0
|
SQL
分布式计算
算法
|
分布式计算
搜索推荐
算法
|
存储
分布式计算
关系型数据库
AnalyticDB MySQL — Spark 助力在OSS上构建低成本数据湖
阿里云对象存储OSS（Object Storage Service）是阿里云提供的海量、安全、低成本、高可靠的云存储服务。通过和OSS团队的深入合作，AnalyticDB MySQL 的Spark能力 更好发挥了云原生数据湖方案的优势，本文为你详细解读！
1337
5
5
热门文章
最新文章
1
阿里云 EMR Serverless Spark 在微财机器学习场景下的应用
2
美的楼宇科技基于阿里云 EMR Serverless Spark 构建 LakeHouse 湖仓数据平台
3
基于云服务器的数仓搭建-hive/spark安装
4
如何在IDE中通过Spark操作Hive
5
【赵渝强老师】Spark的容错机制：检查点
6
【赵渝强老师】Spark RDD的缓存机制
7
基于阿里云 EMR Serverless Spark 版快速搭建OSS日志分析应用
8
Spark Operator浅析
9
10月17日Spark社区直播【Tablestore Spark Streaming Connector -- 海量结构化数据的实时计算和处理】
10
领英如何应对Apache Spark的Scalability挑战
1
如何在IDE中通过Spark操作Hive
62
2
基于云服务器的数仓搭建-hive/spark安装
121
3
基于阿里云 EMR Serverless Spark 版快速搭建OSS日志分析应用
22
4
【赵渝强老师】Spark RDD的缓存机制
43
5
美的楼宇科技基于阿里云 EMR Serverless Spark 构建 LakeHouse 湖仓数据平台
126
6
【赵渝强老师】Spark的容错机制：检查点
54
7
阿里云 EMR Serverless Spark 在微财机器学习场景下的应用
154
8
【赵渝强老师】Spark RDD的依赖关系和任务阶段
92
9
Spark Master HA 主从切换过程不会影响到集群已有作业的运行， 为什么？
48
10
Spark 与 MapReduce 的 Shuffle 的区别？
87