本节介绍如何使用阿里云E-MapReduce部署Hadoop集群和Kafka集群，并运行Spark Streaming作业消费Kafka数据。
前提条件
背景信息
在开发过程中，通常会遇到消费Kafka数据的场景。在阿里云E-MapReduce中，您可通过运行Spark Streaming作业来消费Kafka数据。
步骤一 创建Hadoop集群和Kafka集群
推荐您将Hadoop集群和Kafka集群创建在同一个安全组下。如果Hadoop集群和Kafka集群不在同一个安全组下，则两者的网络默认是不互通的，您需要对两者的安全组分别进行相关配置，以使两者的网络互通。
- 登录阿里云 E-MapReduce 控制台。
- 创建Hadoop集群，详情请参见创建集群。
- 创建Kafka集群，详情请参见创建集群。
步骤二 获取JAR包并上传到Hadoop集群
本例中的JAR包：对E-MapReduce的Demo进行了一定的修改后，编译生成的JAR包。JAR包需要上传到Hadoop集群的emr-header-1主机中。
- 获取JAR包（本例JAR下载地址）。
- 返回到阿里云 E-MapReduce 控制台。
- 在集群管理页面，单击Hadoop集群的集群ID，进入Hadoop集群。
- 在左侧导航树中选择主机列表，然后在右侧查看Hadoop集群中emr-header-1主机的IP信息。
- 通过SSH客户端登录emr-header-1主机。
- 上传JAR包到emr-header-1主机的某个目录。
说明: 后续步骤中的代码有涉及到此路径，本例上传路径为/home/hadoop。上传JAR包，请保留该登录窗口，后续步骤仍将使用。
步骤三 在Kafka集群上创建Topic
您可直接在E-MapReduce上以可视化的方式来创建Topic（详情请参见Kafka 元数据管理），也可登录Kafka集群的emr-header-1主机后以命令行的方式来创建Topic。本例以命令行方式创建一个分区数为10、副本数为2、名称为test的Topic。
- 返回到阿里云 E-MapReduce 控制台。
- 在集群管理页面，单击Kafka集群的集群ID，进入Kafka集群。
- 在左侧导航树中选择主机列表，然后在右侧查看Kafka集群中emr-header-1主机的IP信息。
- 在SSH客户端中新建一个命令窗口，登录Kafka集群的emr-header-1主机。
- 通过以下命令创建Topic。
/usr/lib/kafka-current/bin/kafka-topics.sh --partitions 10 --replication-factor 2 --zookeeper emr-header-1:2181 /kafka-1.0.0 --topic test --create
说明 :创建Topic后，请保留该登录窗口，后续步骤仍将使用。
步骤四 运行Spark Streaming作业
完成上述操作后，您即可在Hadoop集群上运行Spark Streaming作业。本例将运行一个作业进行流式单词统计（WordCount）。
- 返回到Hadoop集群的emr-header-1主机登录窗口。
如果误关闭了此窗口，请重新登录，详情请参见步骤二 获取JAR包并上传到Hadoop集群中的相关步骤。 - 通过如下作业命令来进行流式单词统计（WordCount）。
spark-submit --class com.aliyun.emr.example.spark.streaming.KafkaSample /home/hadoop/examples-1.2.0-shaded-2.jar 192.168.xxx.xxx:9092 test 5
命令中JAR包后面的三个关键参数说明如下：
- 192.168.xxx.xxx：Kafka集群中任一Kafka Broker组件的内网或外网IP地址，示例如图 1所示。
- test：Topic名称。
- 5：时间间隔。
图 1. Kafka集群组件
步骤五 使用Kafka发布消息
进行本步骤操作时，需要保持Spark Streaming作业一直处于运行状态。运行Kafka的生产者（producer）后，在Kafka客户端的命令行中输入文本时，在Hadoop集群客户端的命令行中会实时显示单词统计结果。
- 返回到Kafka集群的emr-header-1主机登录窗口。
如果误关闭了此窗口，请重新登录，详情请参见步骤三 在Kafka集群上创建Topic中的相关步骤。 - 在Kafka集群的登录窗口中，通过如下命令来运行生产者（producer）。
/usr/lib/kafka-current/ /bin/kafka-console-producer.sh --topic test --broker-list emr-worker-1:9092
- 在Kafka登录窗口的命令行中不断输入文本，则在Hadoop集群登录窗口中实时显示文本的统计信息。
步骤六 查看Spark Streaming作业的进展
Spark Streaming作业开始运行后，您可在E-MapReduce上查看作业的状态。
- 返回到阿里云 E-MapReduce 控制台。
- 在Hadoop集群的访问链接与端口页面中，单击Spark History Server UI后的链接，查看Spark Streaming作业的状态。详情请参见访问链接与端口
阿里巴巴开源大数据技术团队成立Apache Spark中国技术社区，定期推送精彩案例，技术专家直播，问答区数个Spark技术同学每日在线答疑，只为营造纯粹的Spark氛围，欢迎钉钉扫码加入！
对开源大数据和感兴趣的同学可以加小编微信（下图二维码，备注“进群”）进入技术交流微信群。
