开发者学堂课程【Java 高级编程:MapReduce 基础模型】学习笔记,与课程紧密联系,让用户快速学习知识。
课程地址:https://developer.aliyun.com/learning/course/20/detail/427
MapReduce 基础模型
内容简介:
1.MapRuduce 基础模型
MapRuduce 基础模型
在进行数据分析的处理之中有一个最重要的基础模型:MapReduce 模型,对于这个模型一共是分为两个部分:Map 处理部分,Reduce 分析部分,在进行数据分析之前必须要对数据进行合理的处理,而后才可以做统计分析操作。
范例:MapRuduce 基础模型
要分析用户的订单,首先存入订单数据:
购买的商品名称 private string name;
购买的商品价格 private double price;
购买的商品数量 private int amount;
public Order(String name,double price,int amount){
this.name = name;
this.price = price;
this.amount =amount;
}
为了分析问题,在代码中应该把所有的 get 方法都提供。
public int getAmount(){
return amount;
}
public String getName(){
return name;
}
public double getPrice(){
return price;
}
如果想使用 Stream 进行分析处理,则一定要将全部要分析的数据保存在集合之中,如下
List<Order> all = new ArrayList<Order>();
all.add(new Order(“小强娃娃”,9.9,10));
all.add(new Order(“林弱娃娃”,2987.9,3));
all.add(new Order(“不强牌笔记本电脑”,8987.9,8));
all.add(new Order(“弱强茶杯”,2.9,800));
all.add(new Order(“阿强牌煎饼”,0.9,138));
分析购买商品之中带有“强”的信息数据,先对其进行过滤操作,对商品单价和数量进行处理,分析汇总
DoubleSummaryStatistics stat= all.stream().filter((ele)->ele.getName().contains(“强”)).mapToDouble((orderObject.getPrice()*orderObject,getAmount()).summaryStatistics();
System.out.println(“购买数量” + stat.getCount());
System.out.println(“购买总价” + stat.getSum());
System.out.println(“平均花费” + stat.getAverage());
System.out.println(“最高花费” + stat.getMax());
System.out.println(“最低花费” + stat.getMin());
运行结果为:
购买数量: 4
购买总价: 74446.4
平均花费: 18611.6
最高花费: 71903.2
最低花费: 99.0
以上这就是MapReduce的基础操作流程
这些分析操作只是 JDK 本身提供的支持,而实际当中,由于面对的是大数据环境,这种操作又将所有数据都保存在内存里面,由于数据非常大故而是不能实现的,所以这只是提出的一个基础模型而已。