目标
根据昨天的URL上报数据生成ALS模型。之后将模型加载到流式计算中，对实时URL的访问用户进行内容推荐。整个流程只需要你写写SQL（做解析），弄弄配置就搞定。
资源准备
- 下载 spark 1.6
- 下载 StreamingPro 算法版链接: http://share.weiyun.com/7c4b806011dc4e03d39279eafae916d7
模型训练
首先我们拷贝一份配置文件
als-training，我在配置文件里模拟了一些数据，假设是一些URL，大体如下，表示itemId 为2的文章被userId=1的用户访问了。
http://123.com/path?userId=1&itemId=2
之后的SQL就是抽取出userid 和itemId，然后得到一个包含label, features 的表。在StreamingPro中，所有的的算法的输入都会遵循这个规范。对于ALS算法而言，label 表示userId, features则是userId,ItemId,rating 三个按逗号拼接的字符串。对于回归类算法，则是逗号拼接的数字。
最后通过组件AlgorithmOutputCompositor 完成模型训练。
{
"name": "streaming.core.compositor.spark.output.AlgorithmOutputCompositor",
"params": [
{
"path": "/tmp/als_log",
"algorithm": "als"
},
{
"rank": 10,
"alpha": 1.0
}
]
}
path表示输出路径。 algorithm 表示算法。目前只支持 als,lr(线性回归),lr2（逻辑回归）三种算法。后续会不断添加。
第二组参数则是对应算法的一些配置参数。你可以配置多组，算法自动回选择最优的一组参数得到模型，并且保存到对应的path路径下。
你可以直接运行得到结果：
./bin/spark-submit \
--class streaming.core.StreamingApp \
--master local[2] \
/tmp/streamingpro-0.3.2-SNAPSHOT-online-mllib-1.6.1.jar \
-streaming.name test \
-streaming.platform spark \
-streaming.job.file.path file://tmp/strategy.v2.json推荐预测
接着我们要给指定的用户进行推荐。参看 als-predict。
解析出用户的逻辑是和上面的是一样的。里面的核心模块是：
{
"name": "streaming.core.compositor.spark.transformation.AlgorithmCompositor",
"params": [
{
"path": "file:///tmp/als_log",
"algorithm": "als",
"outputTableName": "test4",
"recommendUsersForProductsNum": 1
}
]
}
path 是模型文件所在的位置。recommendUsersForProductsNum 表示对每个用户推荐多少内容。outputTableName是输出的表， 方便后续继续操作，比如存储到Redis或者数据库中，方便前端程序做调用。
大家讲上面的运行脚本里的配置文件路径调整下，就可以运行起来，看到运行结果，比如我这里的结果是：
+----+----+--------------------+
|user|item| ratings|
+----+----+--------------------+
| 3| 2|[[2,3,0.900332472...|
| 2| 3|[[2,2,0.900333589...|
| 2| 2|[[2,2,0.900333589...|
+----+----+--------------------+
你可以输入到任何你感兴趣的系统中，StreamingPro目前支持ES,Parquet等Spark已经支持的格式作为输出。
在流式计算中进行数据推荐
参看
als-streaming-predict,将所有的包名前缀从
streaming.core.compositor.spark
转换为
streaming.core.compositor.spark.streaming
即可支持流式。运行脚本如下：
./bin/spark-submit \
--class streaming.core.StreamingApp \
--name "join" \
--master local[2] \
/tmp/streamingpro-0.3.2-SNAPSHOT-online-mllib-1.6.1.jar \
-streaming.name test \
-streaming.job.file.path file://tmp/strategy.v2.json总结
在StreamingPro中，一个算法的模型训练，仅仅被看做一个特殊的存储。我们完全可以将对应的AlgothrimOutputCompositor换成 其他的输出源。
而对于数据的预测，我们仅仅是把它看做一个数据Transformer，根据进来的数据，新生成一个prediction字段。
无论是模型训练还是预测，都是基于SQL流来完成的，完美的融入到了数据的流程当中。
附录
感兴趣实现的，可以参考
代码
