备案控制台
探索云世界
开发者社区 大数据 文章 正文

spark-sumbit 数据导出程序参数测试

2017-11-07 859
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介：
spark-submit --master spark://192.168.137.101:7077 --executor-memory 50G  --driver-memory 12G --conf "spark.driver.maxResultSize=10G" /software/exportdata/gotop-exportdata-1.0.jar /software/exportdata/20151203.xlsx /software/data abce









本文转自 yntmdr 51CTO博客，原文链接：http://blog.51cto.com/yntmdr/1728135，如需转载请自行联系原作者
文章标签：
分布式计算
Spark
关键词：
apache spark程序
程序测试
参数测试
spark程序测试
余二五
目录
相关文章
阿萨聊测试
|
2月前
|
SQL 安全 测试技术
Web应用程序安全测试
Web应用程序安全测试
阿萨聊测试
55 0
阿萨聊测试
|
3月前
|
存储 缓存 监控
Web 应用程序性能测试核心步骤
Web 应用程序性能测试核心步骤
阿萨聊测试
30 0
阿萨聊测试
|
3月前
|
开发框架 测试技术 定位技术
如何开展移动应用程序性能测试？
如何开展移动应用程序性能测试？
阿萨聊测试
38 0
傻啦嘿哟
|
1月前
|
Web App开发 前端开发 测试技术
Web应用程序测试工具Selenium用法详解
Web应用程序测试工具Selenium用法详解
傻啦嘿哟
37 0
开发V_I357O98O7I8
|
2月前
|
人工智能 安全
外汇MT5/MT4交易所平台系统开发测试版/案例设计/策略步骤/功能需求/源码程序
When developing the MT5/MT4 foreign exchange documentary trading system, the following functions and intelligence can also be considered:
开发V_I357O98O7I8
25 1
快乐阿超
|
2月前
|
Java 测试技术 Maven
单元测试添加运行参数的maven插件
单元测试添加运行参数的maven插件
快乐阿超
20 0
阿萨聊测试
|
2月前
|
存储 测试技术 Python
带有参数依赖的接口该如何测试？
带有参数依赖的接口该如何测试？
阿萨聊测试
62 1
阿萨聊测试
|
3月前
|
前端开发 安全 测试技术
顶级Web应用程序测试工具列表
顶级Web应用程序测试工具列表
阿萨聊测试
23 0
晓之以理的喵~~
|
3月前
|
分布式计算 资源调度 监控
Spark应用程序的结构与驱动程序
Spark应用程序的结构与驱动程序
晓之以理的喵~~
41 0
TesterMuller
|
3月前
|
测试技术
软件测试/测试开发全日制|Pytest测试框架fixture作为参数使用
软件测试/测试开发全日制|Pytest测试框架fixture作为参数使用
TesterMuller
25 0

热门文章

最新文章

  • 1
    深入理解自动化测试框架Selenium的设计与实现
  • 2
    如何入门做物联网系统压测？
  • 3
    渗透测试工程师面试题大全
  • 4
    《手把手教你》系列技巧篇（十八）-java+ selenium自动化测试-元素定位大法之By css中卷（详细教程）
  • 5
    使用金庸的著作，来测试阿里通义千问最新开放的长文档处理功能
  • 6
    《手把手教你》系列技巧篇（十四）-java+ selenium自动化测试-元素定位大法之By xpath上卷（详细教程）
  • 7
    《手把手教你》系列技巧篇（九）-java+ selenium自动化测试-元素定位大法之By name（详细教程）
  • 8
    《手把手教你》系列技巧篇（十七）-java+ selenium自动化测试-元素定位大法之By css上卷（详细教程）
  • 9
    提升软件测试效率与质量的策略
  • 10
    软件测试|docker搭建Jenkins+Python+allure自动化测试环境
  • 1
    Spark学习---SparkSQL（概述、编程、数据的加载和保存、自定义UDFA、项目实战）
    106
  • 2
    安装Spark
    35
  • 3
    Spark学习---day07、Spark内核（Shuffle、任务执行）
    41
  • 4
    Spark读取变更Hudi数据集Schema实现分析
    37
  • 5
    实战|使用Spark Streaming写入Hudi
    41
  • 6
    adb spark的lakehouse api访问内表数据，还支持算子下推吗
    107
  • 7
    Spark学习---day06、Spark内核（源码提交流程、任务执行）
    41
  • 8
    Spark学习--day05、SparkCore电商网站实操、SparkCore-工程代码
    66
  • 9
    Spark【Spark学习大纲】简介+生态+RDD+安装+使用（xmind分享）
    32
  • 10
    Spark【基础知识 03】【RDD常用算子详解】（图片来源于网络）
    57

    • 相关课程

    更多
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第一阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第二阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第三阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第四阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第五阶段
  • 大数据实时计算框架Spark快速入门

    • 相关电子书

    更多
  • Hybrid Cloud and Apache Spark
  • Scalable Deep Learning on Spark
  • Comparison of Spark SQL with Hive

    • 相关实验场景

    更多
  • 快速上手并跑通AnalyticDB PostgreSQL版TPC-H测试
  • 极致弹性的PolarDB Serverless确保数据业务持续在线
  • 测试场景（RDS无优惠）
    • 下一篇
    部署LAMP环境（Alibaba Cloud Linux 3）