AI 助理
文档备案控制台
开发者社区 大数据 文章 正文

【Hadoop Summit Tokyo 2016】使用基于Lambda架构的Spark的近实时的网络异常检测和流量分析

2017-02-27 4009
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： 本讲义出自Pankaj Rastogi与Debasish Das在Hadoop Summit Tokyo 2016上的演讲，主要分享了网络数据相关知识、网络异常DDoS攻击以及使用基于Lambda架构的Spark的近实时的网络异常检测和流量分析的架构设计，并分享了Trapezium的相关概念。

本讲义出自Pankaj Rastogi与Debasish Das在Hadoop Summit Tokyo 2016上的演讲，主要分享了网络数据相关知识、网络异常DDoS攻击以及使用基于Lambda架构的Spark的近实时的网络异常检测和流量分析的架构设计，并分享了Trapezium的相关概念。

0236559b0bae2269b82026a224413db489881ee5

756d418b443afcb2420afa41f6061321aee0016f

0637f4c863262cf9b2cdeec6fbd8a73d7188f3b5

e4130de55441bb219c8f8163bb55ddd8ba589b49

fc667bed8121e2ab0cc5b16240f51df223b20d0f

e8ca40359d62de5daea571bafb2d2bf870bf8070

3eaa36e654a028f965c332860f3790ad92245960

aab3e6706f1660351b26b27e2ec7cebd6ef15759

27560f6b797082b0173735eebeb123c5e922944a

8df9b9729483fca316236a331e5a3a7ce2fa72a0

40123e91249448545e08fe45cb354f7ebaf6a27f

99ae9daff98a661173c1aa6fec1f778531b7ea15

4e6ada4e7580ad3746284df8e1d9bb1b598ff638

700b477fc2f2fe80bc6e497440ec41ca071fc0ab

0f10485092bb7d3e5e4266b02ba7469f76caff5c

9dc16d7b35777bd3219fd2ca6529e4d3c7205167

066a71c983f6689c87cc8ebcb92b50c9149537e8

48ccb425af7587fd8614406a37825e995449e579

1c5bc8b5d7df077a17ad8605267519a45fdb5a86

e48af773e3d9f745737989a4e7bf3735c6251b7e

6b2e4ec5b0dc00af56caf614a02ffaa6623cd135

cd77b6ee627c9f29a63ca1edc6e24c9d8ce1fb4f

18b7c8eac96c7d7798c9508b18438df4e42fb3aa

63e08b7a625e90b3260946253c1e004efd25f9d6

62ba68b8e70d0e06979578b052b0907801db2397

d222ec05b09d19bdcdac0564d1d631c8adfc5795

6406da35f7d1b3a8d9e2acb20e73ff6c827fa8a1

b3f6c90dbdac0769f8dcefa4550406f9c17c6688

5aabf84d08350b4fab2b4e36e19fa3e2dcf04286

53b0648a70bd34a8bfa8eb3f399062db3c50f238

707c700d8cd717c90d7a113d8d62e8d8a0c7126f

48ace6e19716cadb100838c747757c23a36086e7

d24623dcb5bda81f6aba969b21337c4c83eeeb4f

78e50ac78e18448069c732157dda59a9056bc34e

2ec21058f2c7c74db798c1be6a3ee9e34f8dcd2c



文章标签：
分布式计算
运维
Spark
Hadoop
小猫吃鱼569
目录
相关文章
阿里云云原生
|
运维 监控 网络协议
面对全球化的泼天流量，出海企业观测多地域网络质量
网络监控与分析在保证网络可靠性、优化用户体验和提升运营效率方面发挥着不可或缺的作用，对于出海企业应对复杂的网络环境和满足用户需求具有重要意义，为出海企业顺利承接泼天流量保驾护航。
阿里云云原生
889 239
不吃核桃
|
存储 边缘计算 运维
实时数仓Hologres发展问题之实时数仓对Lambda架构的问题如何解决
实时数仓Hologres发展问题之实时数仓对Lambda架构的问题如何解决
不吃核桃
355 2
游客mncnacie65oem
|
运维 监控 安全
如何高效进行网络质量劣化分析与流量回溯分析？-AnaTraf
在数字化时代，网络质量分析与流量回溯对保障业务运行至关重要。网络拥塞、丢包等问题可能导致业务中断、安全隐患及成本上升。传统工具常缺乏细粒度数据，难以溯源问题。流量回溯分析可还原现场，助力精准排障。AnaTraf网络流量分析仪作为专业工具，能高效定位问题，提升团队响应力，降低运营风险。
游客mncnacie65oem
652 10
如何高效进行网络质量劣化分析与流量回溯分析？-AnaTraf
Echo_Wish
|
人工智能 运维 算法
AI加持下的网络流量管理：智能调度还是流量黑洞？
AI加持下的网络流量管理：智能调度还是流量黑洞？
Echo_Wish
608 8
游客mncnacie65oem
|
存储 监控 网络协议
了解流量探针，助你更好地优化网络
流量探针是现代网络运维中不可或缺的工具，用于实时监测网络数据包，提供一手数据。它通过镜像方式采集、过滤、分析流量，支持从二层到七层协议解码，助力网络瓶颈排查、业务性能优化及安全威胁检测。合理部署流量探针可实现精细化网络管理，提升性能与安全性。
游客mncnacie65oem
1649 5
德迅云安全陈琦琦
|
云安全 安全 物联网
惊叹：《黑神话：悟空》所在 Steam 发行平台遭网络狂袭，威胁流量猛增两万倍！
8月24日，热门游戏《黑神话：悟空》的玩家发现主要发行平台Steam无法登录，引发“#Steam崩了#”登上微博热搜。起初猜测是在线人数过多导致，但完美世界竞技平台公告表示系遭受DDoS攻击。奇安信Xlab实验室详细解析了此次攻击，发现攻击指令暴增两万多倍，涉及多个僵尸网络。此次攻击对Steam造成严重影响，但也凸显了网络安全的重要性。为保障游戏环境安全，需加强服务器防护并选择可靠的防御公司。德迅云安全提供高防服务器、DDoS高防IP和安全加速SCDN等服务，助力游戏企业提升安全性。
德迅云安全陈琦琦
581 3
Codelinghu
|
移动开发 网络协议 测试技术
Mininet多数据中心网络拓扑流量带宽实验
Mininet多数据中心网络拓扑流量带宽实验
Codelinghu
688 0
不吃核桃
|
Cloud Native Serverless 异构计算
Serverless 架构问题之AWS Lambda在容器镜像层面的进展如何解决
Serverless 架构问题之AWS Lambda在容器镜像层面的进展如何解决
不吃核桃
333 0
土木林森
|
监控 安全 Serverless
SAE 防火墙的震撼之举：默认拦截公网一切流量，开启网络安全的无敌模式！
【8月更文挑战第7天】在数字化时代，网络安全至关重要。SAE（Serverless Application Engine，无服务器应用引擎）的防火墙功能默认阻止所有公网流量，为应用与数据提供坚实保护。这像坚固城门，将潜在威胁拒之门外，减少恶意攻击风险。如同在混沌中建立秩序，划定网络安全边界。但依赖默认设置不足，需根据业务需求配置规则，如开放特定端口或IP范围。还需持续监控防火墙效果，通过分析访问日志等手段及时调整优化，确保最佳防护效果。
土木林森
368 0
竹子爱熊猫
|
算法 网络协议 应用服务中间件
（五）网络编程之流量接入层设计：基于性能怪兽从零构建日均亿级吞吐量的网关架构！
在前篇关于《Nginx》的文章中曾经提到：单节点的Nginx在经过调优后，可承载5W左右的并发量，同时为确保Nginx的高可用，在文中也结合了Keepalived对其实现了程序宕机重启、主机下线从机顶替等功能。
竹子爱熊猫
799 0

热门文章

最新文章

  • 1
    如何无缝迁移 SpringCloud/Dubbo 应用到 Serverless 架构
  • 2
    浅析阿里云API网关的产品架构和常见应用场景
  • 3
    分布式系统架构8：分布式缓存
  • 4
    【2024】英伟达吞噬世界！新架构超级GPU问世，AI算力一步提升30倍
  • 5
    《泛娱乐行业技术服务白皮书》——三、泛娱乐典型业务架构与场景——3.1直播类泛娱乐——3.1.1 直播类泛娱乐定义
  • 6
    ResNet-RS架构复现--CVPR2021
  • 7
    一小时架构师带你实践 Spring Cloud微服务架构搭建。分分钟钟让你从小白变为大佬
  • 8
    MeteoRA：多任务AI框架革新！动态切换+MoE架构，推理效率提升200%
  • 9
    深入探索研究MVVM架构设计
  • 10
    「敏捷架构」核心实践：测试驱动开发(TDD)简介
  • 1
    Ubuntu22.04下搭建Hadoop3.3.6+Hbase2.5.6+Phoenix5.1.3开发环境的指南
    1245
  • 2
    CentOS中构建高可用Hadoop 3集群
    597
  • 3
    “Hadoop整不明白，数据分析就白搭？”——教你用Hadoop撸清大数据处理那点事
    761
  • 4
    Hadoop生态系统：从小白到老司机的入门指南
    837
  • 5
    从“笨重大象”到“敏捷火花”：Hadoop与Spark的大数据技术进化之路
    920
  • 6
    Dataphin功能Tips系列（41）-Hadoop集群管理
    483
  • 7
    【赵渝强老师】史上最详细：Hadoop HDFS的体系架构
    1976
  • 8
    从Excel到Hadoop：数据规模的进化之路
    556
  • 9
    MPP 架构与 Hadoop 架构技术选型指南
    1912
  • 10
    基于Java的Hadoop文件处理系统：高效分布式数据解析与存储
    743

    • 相关课程

    更多
  • 企业级云上网络构建
  • 专有云网络基础架构介绍
  • TCP/IP 网络基础
  • 云计算工程师解析与实战-网络专家篇（体验版）
  • 云网络白皮书-阿里云网络系列课

    • 相关电子书

    更多
  • Deep Dive：应用交付网络架构设计
  • Deep Dive：跨地域网络架构设计
  • Session：更加安全、可靠的数据中心网络产品更新
    • 下一篇
    一条命令迁移，帮你实现 OpenClaw 与 Hermes Agent 记忆互通！