如何在命令行中指定StreamingPro的写入路径

简介: 如何在命令行中指定StreamingPro的写入路径?如何命令行指定输如输出的参数?本文就给出了详细的操作步骤。
如何命令行指定输如输出的参数?

下面有个输出的例子:

{
        "name": "stream.outputs",
        "params": [
          {
            "name":"jack",
            "format": "jdbc",
            "path": "-",
            "driver":"com.mysql.jdbc.Driver",
            "url":"jdbc:mysql://127.0.0.1/test?characterEncoding=utf8",
            "inputTableName": "finalOutputTable",
            "user":"~",
            "password":"~",
            "dbtable":"~",
            "mode":"Overwrite"
          }
        ]
      }

其中dbtable 是按天建立的,也就是我每天见一个表,表后缀是时间譬如 20121111 这种。在StreamingPro中的处理方式很简单,只要是Source或者Ouput,那么所有的配置都是可以在命令行中指定的。比如我需要指定dbtable的时候,只要如下即可:

SHome=/home/zhuhl/streamingpro
spark-submit --class streaming.core.StreamingApp \
--master yarn-cluster \
--name test \
$SHome/streamingpro-0.4.12-SNAPSHOT-online-1.6.1-jar-with-dependencies.jar    \
-streaming.name test \
-streaming.platform spark \
-streaming.job.file.path file:///test.json 
-streaming.sql.out.jack.dbtable  aaa
最后一行就是让你指定变量的地方。 jack 是你的输出的名字,dbtable 则是你需要更改的变量。这样,默认写入的表名就是aaa了。


如何给SQL传递变量
其实batch.sql/stream.sql 也是可以传递变量的,比如:

{
        "name": "batch.sql",
        "params": [
          {
            "sql": "select * from test where a=:jack",
            "outputTableName": "finalOutputTable"
          }
        ]
      }
其中a 的值只有在启动的时候才知道,那么你可以通过参数
-streaming.sql.params.jack    william
来进行传递。

目录
相关文章
|
缓存 资源调度 内存技术
yarn报错文件名、目录名或卷标语法不正确
yarn报错文件名、目录名或卷标语法不正确
348 0
|
3月前
|
Linux
Linux部署06 ---相对路径绝对路径,想要切换到home下的文件 cd /home/itheima/Desktop cd Desktop,相对路径以当前目录为起点一种写法 不写/,相对是当前目录
Linux部署06 ---相对路径绝对路径,想要切换到home下的文件 cd /home/itheima/Desktop cd Desktop,相对路径以当前目录为起点一种写法 不写/,相对是当前目录
|
Windows
powershell配置anaconda及解决【无法加载文件C:\Users\xxx\Documents\WindowsPowerShell\profile.ps1,因为在此系统上禁止运行脚本】的问题
powershell配置anaconda及解决【无法加载文件C:\Users\xxx\Documents\WindowsPowerShell\profile.ps1,因为在此系统上禁止运行脚本】的问题
2490 0
|
Windows
windows 技术篇 - cmd命令查看当前目录下的所有文件和文件夹以及所有子目录下的文件,dir命令的使用方法
windows 技术篇 - cmd命令查看当前目录下的所有文件和文件夹以及所有子目录下的文件,dir命令的使用方法
3449 0
windows 技术篇 - cmd命令查看当前目录下的所有文件和文件夹以及所有子目录下的文件,dir命令的使用方法
【VSCode】当前工作目录非当前文件夹/pathlib打印cwd路径错误
【VSCode】当前工作目录非当前文件夹/pathlib打印cwd路径错误
115 0
Shell脚本常用练习(1)--输出当前目录下的文件名
Shell脚本常用练习(1)--输出当前目录下的文件名
Shell脚本常用练习(1)--输出当前目录下的文件名
|
数据采集 Shell Linux
[oeasy]python0030_设置路径_export_PATH_zsh_系统路径设置_export
[oeasy]python0030_设置路径_export_PATH_zsh_系统路径设置_export
150 0
[oeasy]python0030_设置路径_export_PATH_zsh_系统路径设置_export
|
Shell
shell中find某个文件排除某个目录
shell中find某个文件排除某个目录
280 0
|
Linux Python
使用python扫描文件夹获取所有文件路径
使用python扫描文件夹获取所有文件路径
236 0
|
资源调度
PowerShell yarn : 无法加载文件 C:\Users\Admin\AppData\Roaming\npm\yarn.ps1,因为在此系统因为在此系统上禁止运行脚本。
PowerShell yarn : 无法加载文件 C:\Users\Admin\AppData\Roaming\npm\yarn.ps1,因为在此系统因为在此系统上禁止运行脚本。
250 0
PowerShell yarn : 无法加载文件 C:\Users\Admin\AppData\Roaming\npm\yarn.ps1,因为在此系统因为在此系统上禁止运行脚本。