开发者社区 问答 正文

LEARNINGS USING SPARK STREAMING & DATAFRAMES FOR WALMART SEARCH

"在SPARK SUMMIT 2017上,Yan Zheng,a Director, Search-Walmart Labs and Nirmal Sharm Principle Engineer, Search - Walmart Labs分享了题为《LEARNINGS USING SPARK STREAMING & DATAFRAMES FOR WALMART SEARCH》,就新查询架构,我们如何使用spark数据框来构建可伸缩和灵活的管道等方面的内容做了深入的分析。"

https://yq.aliyun.com/download/2240?spm=a2c4e.11154804.0.0.27e16a79L1IX7O

展开
收起
福利达人 2018-07-29 01:24:53 1063 分享
分享
版权
举报
阿里云 AI 助理回答

在Spark Summit 2017上,Yan Zheng(沃尔玛实验室搜索部门的主任)和Nirmal Sharma(沃尔玛实验室搜索部门的首席工程师)共同分享了题为《使用Spark Streaming的学习与实践》的演讲。虽然我无法提供该演讲的具体内容细节,但根据题目可以推测,他们的分享很可能围绕以下几个方面:

  1. Spark Streaming简介:他们可能首先介绍了Apache Spark Streaming的基本概念,这是一种构建在Spark上的实时数据处理系统,能够从多种数据源接收数据流,并以微批处理的方式进行处理。

  2. Walmart Labs的应用场景:鉴于他们的背景,演讲中很可能会分享Walmart Labs如何利用Spark Streaming来处理大规模的实时数据,比如网站点击流分析、库存管理优化、个性化推荐系统等电商领域的具体应用案例。

  3. 技术挑战与解决方案:在实际应用Spark Streaming过程中遇到的技术难题,如数据延迟、容错处理、性能调优以及如何确保高可用性和扩展性等,以及他们是如何解决这些问题的。

  4. 学习与经验分享:分享团队在采用Spark Streaming过程中的学习心得,包括最佳实践、架构设计决策、性能监控和调试技巧等。

  5. 未来展望:对于Spark Streaming或更广泛的Spark生态系统在大数据处理和实时计算领域的发展趋势,以及Walmart Labs未来在此方向上的规划和技术探索。

若想获取该演讲的详细内容,建议访问Spark Summit的官方网站或相关视频分享平台,如YouTube,查找2017年会议的录像资料。此外,也可以查阅Walmart Labs的官方博客或技术文章,有时演讲者会在这些渠道发布演讲摘要或全文。

有帮助
无帮助
AI 助理回答生成答案可能存在不准确,仅供参考
0 条回答
写回答
取消 提交回答