• 收藏!一张图帮你快速建立大数据知识体系

    随着企业的发展,他们的工作流程变得更加复杂,越来越多的有着错综复杂依赖关系的工作流需要增加监控,故障排除。如果没有明确的血缘关系。就可能出现问责问题,对元数据的操作也可能丢失。这就是有向无环图(DAG)...
    文章 2020-06-11 10668浏览量
  • 现代数据架构的7个关键技术

    由于整个请求流和请求中的所有数据都可以在任何时间点重播,因此这种方法对故障排除具有重大的益处。由于微服务封装了一小部分工作,并且由于它们彼此分离,所以随着时间的推移更换或几乎没有障碍地升级服务。在原有...
    文章 2018-11-28 1291浏览量
  • 搭好数据架构,这7个技术是关键

    由于整个请求流和请求中的所有数据都可以在任何时间点重播,因此这种方法对故障排除具有重大的益处。由于微服务封装了一小部分工作,并且由于它们彼此分离,所以随着时间的推移更换或几乎没有障碍地升级服务。在原有...
    文章 2021-11-02 17浏览量
  • HDFS架构设计

    第一个DataNode接着开始小部分地接收数据,然后将每部分写入到它的本地库,并且将该部分数据传输到列表中第二个DataNode。第二个DataNode开始接收该数据块的数据,并将该部分数据写入它的本地库然后将该部分数据刷新...
    文章 2016-10-23 3441浏览量
  • 一文读懂分布式架构知识体系(内含超全核心知识大图)

    面向服务的设计模式,最终需要总线集成服务,而且大部分时候还共享数据库,出现单点故障时会导致总线层面的故障,更进一步可能会把数据库拖垮,所以才有了更加独立的设计方案的出现。MSA 微服务架构 微服务是真正...
    文章 2019-10-16 6301浏览量
  • Elastic Stack 家族—Elastic Stack 实战手册

    能够以连续的流式传输方式,轻松地从你的日志、指标、Web 应用、数据存储以及各种 AWS 服务采集数据。实时解析和转换数据数据从源传输到存储库的过程中,Logstash 过滤器能够解析各个事件,识别已命名的字段以构建...
    文章 2021-05-19 729浏览量
  • 最佳实践系列丨Docker EE 日志记录最佳实践(一)

    Docker 支持不同的日志记录驱动,用于存储和/或流式传输主容器进程(pid 1)的容器 stdout 和 stderr 日志。默认情况下,Docker 使用 json-file 日志记录驱动,但也可以配置它使用许多其他驱动,方法是在/etc/docker/...
    文章 2018-06-01 9793浏览量
  • 带你读《工业物联网安全》之二:工业物联网数据流和...

    这些原始数据既可以是结构化数据,也可以是非结构化数据,还可以是存储在数据池中以供将来处理或以流式传输进行(最近)实时流分析。静态数据包括传感器历史数据、反映设备健康(运行状况)的故障和维护数据以及事件...
    文章 2019-11-05 1262浏览量
  • Flink 执行引擎:流批一体的融合之路

    Task 之间通过 Shuffle 传输数据,我们通过 Pluggable Unified Shuffle 架构,同时支持流批两种 Shuffle 方式;状态存储。状态存储层负责存储算子的状态执行状态。针对流作业有开源 RocksdbStatebackend、...
    文章 2021-03-25 2115浏览量
  • 详解IBM大数据应用五大方向

    目前很多企业已经部署了大量的数据仓库,王阳表示,通过将流式传输和非结构化的数据源添加到现有的数据仓库,可以优化数据仓库存储资源,在降低成本的同时,提供更好的查询性能,并支持复杂的分析应用程序,利用预测...
    文章 2017-04-26 7426浏览量
  • 阿里云智能-基础产品技术月刊2019年7月

    方便用户快速识别故障的位置,并快速排除故障问题。运维编排服务开展公测,编排自动化打造行云流水般云上体验随着云上客户的规模体量越来越大,客户在大规模实例运维、巡检、故障处理等方面遇到了诸多挑战,基础设施...
    文章 2019-08-09 2943浏览量
  • Elasticsearch架构

    Elasticsearch 的RPC的序列化机制使用了 Lucene 的压缩数据类型,支持vint这样的变长数字类型,省略了字段名,用流式方式按顺序写入字段的值。每个需要传输的对象都需要实现: void writeTo(StreamOutput out) T ...
    文章 2016-12-09 1741浏览量
  • Linux 日志管理指南

    你只想用它来排除故障,或者你想捕获所有发生的事?这是一个捕获每个用户在运行什么或查看什么的规则条件吗?如果你正用日志做错误排查的目的,那么只保存错误,报警或者致命信息。没有理由去捕获调试信息,例如,...
    文章 2017-05-02 2099浏览量
  • PostgreSQL备份恢复 12.2

    是没有增量的概念的,如果数据库在运行过程中发生故障,使用逻辑备份只能将数据库还原到备份时刻,无法恢复到故障发生前的那个时刻。又或者在使用过程中由于误操作修改或删除了重要数据,需要还原到误操作前的那个...
    文章 2020-07-17 516浏览量
  • 阿里云智能基础产品技术月刊2019年7月——永不停机的...

    RDS for PostgreSQL11/10落盘加密和自选密钥功能正式售卖云数据库PostgreSQL 11/10高可用版(云盘)开启SSL链路加密后,通过内网或外网传输到实例的数据都将被加密,不会因为在网络传输时被截获而导致数据泄露。...
    文章 2019-12-18 3970浏览量
  • 熬夜为学弟学妹整理的网络编程基础知识(二)!

    如果因为网络故障该段无法发到对方&xff0c;UDP协议层也不会给应用层返回任何错误信息。接收端的UDP协议层只管把收到的数据根据端口号交给相应的应用程序就算完成任务了&xff0c;如果发送端发来多个数据包并且在网络上...
    文章 2021-11-12 239浏览量
  • Java资源大全中文版

    Byteman:在运行时通过DSL(规则)操作字节码进行测试和故障排除。官网 Javassist:一个简化字节码编辑尝试。官网 集群管理 在集群内动态管理应用程序的框架。Apache Aurora:Apache Aurora是一个Mesos框架,用于长...
    文章 2018-07-25 3160浏览量
  • Flink最佳实践(二)Flink流式计算系统

    除此之外,窗口还可以定义一个 回收器,用来在 窗口触发后、计算执行前(后)排除或者回收指定的元素。Keyed 与 Non-Keyed Windows Flink 中有两大类型的窗口:Keyed Windows 和 Non-keyed Windows,两种类型的窗口...
    文章 2019-11-25 7237浏览量
  • 一共81个,开源大数据处理工具汇总(上)

    DML支持:用于逐行插入的UPSERT VALUES、用于相同或不同表之间大量数据传输的UPSERTSELECT、用于删除行的DELETE 通过客户端的批处理实现的有限的事务支持 单表——还没有连接,同时二级索引也在开发当中 紧跟ANSI ...
    文章 2015-10-13 2317浏览量
  • 深入理解Spark:核心思想与源码分析

    扩展篇(第8~11章),主要讲解基于Spark核心的各种扩展及应用,包括:SQL处理引擎、Hive处理、流式计算框架Spark Streaming、图计算框架GraphX、机器学习库MLlib等内容。本书最后还添加了几个附录,包括:附录A介绍...
    文章 2017-05-02 4237浏览量
  • Spark SQL玩起来

    数据集与RDD类似,但是,它们不使用Java序列化或Kryo,而是使用专用的编码器来序列化对象以便通过网络进行处理或传输。虽然编码器和标准序列化都负责将对象转换为字节,但编码器是动态生成的代码,并使用一种格式,...
    文章 2019-03-26 8764浏览量

云产品推荐

视频直播 大数据计算服务 MaxCompute 国内短信套餐包 ECS云服务器安全配置相关的云产品 开发者问答 阿里云建站 新零售智能客服 万网 小程序开发制作 视频内容分析 视频集锦 代理记账服务 阿里云AIoT 阿里云科技驱动中小企业数字化