如何在命令行中指定StreamingPro的写入路径

简介: 如何在命令行中指定StreamingPro的写入路径?如何命令行指定输如输出的参数?本文就给出了详细的操作步骤。
如何命令行指定输如输出的参数?

下面有个输出的例子:

{
        "name": "stream.outputs",
        "params": [
          {
            "name":"jack",
            "format": "jdbc",
            "path": "-",
            "driver":"com.mysql.jdbc.Driver",
            "url":"jdbc:mysql://127.0.0.1/test?characterEncoding=utf8",
            "inputTableName": "finalOutputTable",
            "user":"~",
            "password":"~",
            "dbtable":"~",
            "mode":"Overwrite"
          }
        ]
      }

其中dbtable 是按天建立的,也就是我每天见一个表,表后缀是时间譬如 20121111 这种。在StreamingPro中的处理方式很简单,只要是Source或者Ouput,那么所有的配置都是可以在命令行中指定的。比如我需要指定dbtable的时候,只要如下即可:

SHome=/home/zhuhl/streamingpro
spark-submit --class streaming.core.StreamingApp \
--master yarn-cluster \
--name test \
$SHome/streamingpro-0.4.12-SNAPSHOT-online-1.6.1-jar-with-dependencies.jar    \
-streaming.name test \
-streaming.platform spark \
-streaming.job.file.path file:///test.json 
-streaming.sql.out.jack.dbtable  aaa
最后一行就是让你指定变量的地方。 jack 是你的输出的名字,dbtable 则是你需要更改的变量。这样,默认写入的表名就是aaa了。


如何给SQL传递变量
其实batch.sql/stream.sql 也是可以传递变量的,比如:

{
        "name": "batch.sql",
        "params": [
          {
            "sql": "select * from test where a=:jack",
            "outputTableName": "finalOutputTable"
          }
        ]
      }
其中a 的值只有在启动的时候才知道,那么你可以通过参数
-streaming.sql.params.jack    william
来进行传递。

目录
相关文章
|
7月前
|
Python
Python代码扫描目录下的文件并获取路径
【5月更文挑战第12天】Python代码扫描目录下的文件并获取路径
146 1
|
7月前
|
Shell 开发工具 git
shell空文件夹查找
shell空文件夹查找
47 0
|
7月前
|
Shell
【shell】万能解压脚本
【shell】万能解压脚本
|
7月前
|
存储 Shell 编译器
【Shell 编程设计】设计一个批量修改目录中的文件名的shell脚本
【Shell 编程设计】设计一个批量修改目录中的文件名的shell脚本
59 0
|
Shell
shell 获取到文件夹下的文件名
shell 获取到文件夹下的文件名
70 0
|
数据采集 安全 Unix
[oeasy]python0029_放入系统路径_PATH_chmod_程序路径_执行原理
[oeasy]python0029_放入系统路径_PATH_chmod_程序路径_执行原理
142 0
[oeasy]python0029_放入系统路径_PATH_chmod_程序路径_执行原理
|
C语言 索引 Windows
BAT文件语法和技巧(bat文件的编写及使用)
BAT文件语法和技巧(bat文件的编写及使用)
258 0
|
Shell
[Shell]获取当前正在执行脚本的绝对路径
1. pwd命令 我们看看使用pwd命令能否获取当前正在执行脚本的绝对路径。该命令的作用是“print name of current/working directory”,真实含义是当前工作目录,并不是正在执行脚本的目录。
1871 0
|
Linux Python
使用python扫描文件夹获取所有文件路径
使用python扫描文件夹获取所有文件路径
240 0

热门文章

最新文章