E-MapReduce银行员工信息查询示例
段落1创建临时表
- %spark
- import org.apache.commons.io.IOUtils
- import java.net.URL
- import java.nio.charset.Charset
- // Zeppelin creates and injects sc (SparkContext) and sqlContext (HiveContext or SqlContext)
- // So you don't need create them manually
- // load bank data
- val bankText = sc.parallelize(
- IOUtils.toString(
- new URL("http://emr-sample-projects.oss-cn-hangzhou.aliyuncs.com/bank.csv"),
- Charset.forName("utf8")).split("\n"))
- case class Bank(age: Integer, job: String, marital: String, education: String, balance: Integer)
- val bank = bankText.map(s => s.split(";")).filter(s => s(0) != "\"age\"").map(
- s => Bank(s(0).toInt,
- s(1).replaceAll("\"", ""),
- s(2).replaceAll("\"", ""),
- s(3).replaceAll("\"", ""),
- s(5).replaceAll("\"", "").toInt
- )
- ).toDF()
- bank.registerTempTable("bank")
段落2查询表结构
- %sql
- desc bank
段落3查询年龄小于30各年龄段员工人数
- %sql select age, count(1) value from bank where age < 30 group by age order by age
段落4 查询年龄小于等于20岁的员工信息
- %sql select * from bank where age <= 20
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
段落1中，您创建了一个临时表"bank"，用于存储从一个CSV文件加载的数据。这个过程使用了Apache Spark的Scala API来完成以下步骤： 1. 从指定URL下载银行数据集（bank.csv）。 2. 使用IOUtils.toString读取并转换为字符串，按行分割。 3. 定义了一个名为Bank的case class来映射数据集中的列。 4. 将文本数据转换为Bank对象的集合，并过滤掉表头行。 5. 将这些对象转换为DataFrame（Spark SQL中的核心数据结构）。 6. 最后，通过registerTempTable("bank")方法将DataFrame注册为名为"bank"的临时表，可以在SQL查询中引用。
段落2展示了如何查询这个临时表"bank"的结构。使用%sql magic命令进入SQL模式，并执行desc bank命令来查看表的结构，包括各列名和类型。
段落3尝试查询年龄小于30岁的各年龄段员工人数，但该SQL语句未完整。正确的查询应该是：
SELECT age, COUNT(1) AS value FROM bank WHERE age < 30 GROUP BY age
这会返回每个年龄（小于30岁）及其对应的员工数量。
段落4同样需要完成SQL查询以获取年龄小于等于20岁的员工信息。完整的查询应为：
SELECT * FROM bank WHERE age <= 20
这条语句会列出所有年龄不超过20岁的员工的所有信息。
综上所述，您已经成功地利用阿里云的E-MapReduce服务（或类似的Spark环境，如阿里云大数据开发套件DataWorks中的Notebook），通过Scala编程和SQL查询操作了数据。如果您在实际操作中遇到任何问题，比如访问OSS存储、Spark作业配置或性能调优等，都可以参考阿里云官方文档或寻求阿里云技术支持的帮助。
