开发者社区 问答 正文

Productizing a Spark & Cassandra Based Solution in Telecom

在SPARK SUMMIT 2017上,Brij Bhushan Ravat Chief Architect, Voucher Server - Charging System分享了题为《Productizing a Spark & Cassandra Based Solution in Telecom》,就什么是产品化,产品简介,挑战与进化等方面的内容做了深入的分析。

https://yq.aliyun.com/download/2073?spm=a2c4e.11154804.0.0.37ce6a79w9d507

展开
收起
福利达人 2018-07-29 00:22:17 1000 分享 版权
阿里云 AI 助理回答

根据您的问题,似乎您希望了解在2017年SPARK SUMMIT上,Brij Bhushan Ravat Chief Architect, Voucher Server - Charging System分享的题为《Productizing a Spark》的演讲内容。然而,提供的知识库资料并未包含该特定演讲的详细信息。为了帮助您更好地理解如何将Spark产品化或相关技术实践,我可以基于Spark应用开发与任务提交的一般性知识进行概述:

Spark应用开发与提交概述:

  1. 通过Spark-Submit命令行工具提交Spark应用:

    • 提交应用时,需指定入口类(对于Java和Scala应用),并可选地使用-verbose来增加日志输出。
    • 应用名称、依赖JAR包路径(支持本地及OSS路径)以及配置参数(如spark.executor.instances)均需明确指定。
    • Spark应用主文件应存储于OSS中,并可通过参数传递给应用的具体执行参数。
  2. DolphinScheduler中提交Spark任务:

    • 创建工作流时,需配置EMR Serverless Spark的工作空间ID、资源队列ID等基本信息。
    • 对于SQL脚本或Python任务,需指定代码类型、任务名称、入口点(文件位置)及入口点参数。
    • Spark提交参数包括executor核心数、内存大小等,可根据需求调整以优化性能。
  3. Spark本地调试环境搭建:

    • 在进行本地Spark开发时,确保添加对Aliyun OSS的支持,如通过Maven依赖管理。
    • 通过设置SparkSession的配置项,如spark.hadoop.fs.oss.accessKeyId,实现与阿里云OSS的连接。

尽管这些信息不能直接覆盖您询问的特定演讲内容,但它们提供了关于如何构建、配置及提交Spark应用的基础指导,这与“Productizing a Spark”这一主题下可能涉及的实际操作和技术策略紧密相关。如果您需要更具体的信息或有关该演讲的详细内容,请考虑查阅SPARK SUMMIT 2017的官方记录或相关视频资料。

有帮助
无帮助
AI 助理回答生成答案可能存在不准确,仅供参考
0 条回答
写回答
取消 提交回答
问答分类:
问答标签:
问答地址: