# 开源大数据平台 E-MapReduce #
0
关注
1607内容
基于web漏洞扫描及分析系统设计_kaic
随着信息技术的发展和网络应用在我国的普及，针对我国境内信息系统的恶意网络攻击也越来越多，并且随着黑客攻击技术的不断地更新，网络犯罪行为变得越来越难以应对，用户日常访问的网站是否安全对于普通网民而言难以辨别，保护人民不受不法侵害也是难上加难。如何识别网站的潜在危险性，以及网站出现安全性问题该如何防御，尽可能减少网站被攻击后造成的实际损失，是目前迫切需要解决的难题。
本文使用VMware虚拟机技术模拟真实的网络环境，使用渗透测试技术对模拟网络进行薄弱点测试信息收集、攻击测试等，再现了渗透测试的重要流程和技术方法。在对目标主机实施渗透测试时，会从系统层面和Web层面两个维度进行测试，扫描出存在的漏洞
在E-MapReduce集群内运行Spark GraphX作业
Spark GraphX是一个比较流行的图计算框架，如果你使用了阿里云的E-MapReduce服务，可以很方便的运行图计算的作业。
下面以PageRank为例，看看如何运行GraphX作业
【玩转幻兽帕鲁部署】阿里云幻兽帕鲁服务器搭建1分钟搞定：从入门到精通
【玩转幻兽帕鲁部署】阿里云幻兽帕鲁服务器搭建1分钟搞定：从入门到精通。
阿里云 EMR Serverless StarRocks3.x，极速统一的湖仓新范式
EMR StarRocks 线上公开课第1期 ，直播主题：EMR Serverless StarRocks3.x，极速统一的湖仓新范式。
StarRocks + Paimon 在阿里集团 Lakehouse 的探索与实践
阿里集团在推进湖仓一体化建设过程中，依托 StarRocks 强大的 OLAP 查询能力与 Paimon 的高效数据入湖特性，实现了流批一体、存储成本大幅下降、查询性能数倍提升的显著成效：
A+ 业务借助 Paimon 的准实时入湖，显著降低了存储成本，并引入 StarRocks 提升查询性能。升级后，数据时效提前60分钟，开发效率提升50%；JSON列化存储减少50%，查询性能提升最高达10倍；OLAP分析中，非JOIN查询快1倍，JOIN查询快5倍。
饿了么升级为准实时Lakehouse架构后，在时效性仅损失1-5分钟的前提下，实现Flink资源缩减、StarRocks查询性能提升（仅5%
通过可视化更好的了解你的Spark应用
图的最大价值是它会推动我们去注意到那些我们从未预料到的东西。
– John Tukey
Spark 1.4中对Spark UI进行改进，更加突出可视化的效果。我们来看一下他的主要的改动，主要包含三个方面：
Spark事件的时间线视图
执行的DAG图
Spark Streaming 的可视化
通过ZeppelinHub viewer来分享zeppelin的notebook和报表数据
最近有使用E-MapReduce的同学咨询如果将zeppelin中的表表数据进行共享。这里就介绍一下在Aliyun E-MapReduce的集群中使用ZeppelinHub来进行notebook和报表的分享。
hive在E-MapReduce集群的实践（二）集群hive参数优化
本文介绍一些常见的集群跑hive作业参数优化，可以根据业务需要来使用。
提高hdfs性能
修改hdfs-site，注意重启hdfs服务
dfs.client.read.shortcircuit=true //直读
dfs.
免费试用