Algorithms & Tools for Genomic Analysis on Spark

关于您提到的SPARK SUMMIT 2017上的分享《Algorithms...》，给出的知识库资料并未直接包含该特定演讲或议题的详细信息。不过，我可以根据Spark相关的配置和使用场景，提供一些可能与算法应用相关的通用指导和最佳实践，这些内容在Spark Summit这类活动中常被讨论：

1. 配置Spark以优化算法执行：

   • 在Yarn-Cluster模式下运行Spark，可以有效利用资源管理器进行资源分配和任务调度。
   • 启用Hive支持，便于在Spark中直接查询和处理Hive表数据。
   • 调整Driver和Executor内存（例如，各1GB）以平衡资源使用和避免内存溢出问题。
   • 动态Executor Allocation功能可以根据作业需求自动调整Executor数量，提高资源利用率。

2. 第三方依赖管理：

   • 使用spark.jars指定外部JAR包路径，支持从OSS或HDFS加载，便于共享和访问自定义函数或库。
   • 利用spark.jars.packages动态下载所需依赖包，简化环境配置过程。
   • spark.files用于指定需要分发到Executor的文件，如配置文件或数据文件。

3. 与Elasticsearch集成：

   • 访问Elasticsearch时，推荐创建专用角色用户而非使用默认elastic账号，以实现更细粒度的权限控制。
   • 配置项如es.nodes.wan.only、es.nodes.discovery等需根据云上Elasticsearch实例的实际部署情况适当设置，确保连接稳定性和安全性。
   • 使用spark-submit命令提交Spark作业至YARN集群，并通过参数指定主类和Jar包位置来读写Elasticsearch数据。

4. Databricks数据洞察平台特性（虽然与2017年Spark Summit不直接相关，但体现了Spark在企业级应用中的进展）：

   • Databricks Runtime提供了性能优化，尤其针对阿里云OSS进行了I/O优化，适合高性能计算需求。
   • Delta Lake增强了数据湖分析能力，支持ACID事务，适合构建流批一体的数据仓库和机器学习应用。
   • 支持交互式协同工作，多用户角色通过Notebook进行数据分析，促进团队合作效率。

综上所述，虽然没有直接回答关于SPARK SUMMIT 2017具体分享的内容，但上述信息概括了Spark配置、集成、以及在现代数据处理和机器学习领域的一些关键技术和实践，这些内容在类似技术峰会上常被探讨。如果您需要关于特定算法或演讲的详细信息，请提供更具体的指引或查阅当年Spark Summit的官方记录和资料。