• feed拉取,读扩散,究竟是啥

    存储结构简单,数据存储量较小,关系数据与feed数据都只存一份 取消关注,发布feed的业务流程非常简单 存储结构,业务流程都比较容易理解,非常适合项目早期用户量、数据量、并发量不大时的快速实现 缺点也显而易见...
    文章 2019-08-09 715浏览量
  • 【大数据学习】数据化运营并不难?关键是这些技术你...

    最主要的差别是引入了智能算法,通过对存储在对象存储(OSS)中的海量非结构数据运用机器学习算法进行处理,形成结构数据之后再导入大数据计算服务(MaxCompute),结合关系型数据库中导入的数据一起来做分析。...
    文章 2017-01-22 7163浏览量
  • 数据,为什么不是传统BI的简单升级?

    比如用Hadoop、处理等技术解决海量的结构化、非结构数据的ETL问题,用Hadoop、MPP等技术计算海量数据的计算问题,用redis、HBASE等方式解决高效读的问题,用Impala等技术实现在线分析等问题。本质是基于廉价的...
    文章 2017-08-01 2349浏览量
  • Feed系统设计-总纲

    Feed流本质上是一个数据流,是将“N个发布者的信息单元”通过“关注关系”传送给“M个接收者”。Feed流系统是一个数据流系统,所以我们核心要看数据。从数据层面看,数据分为三类,分别是: 发布者的数据:发布者...
    文章 2019-06-28 19070浏览量
  • The Log(分布式Log学习)

    2.3.3 基于日志结构数据流 每种逻辑意义上的数据源,都可以依据log进行建模。数据源可以是记录了事件(点击和PV)的应用程序,可以是接受更改的数据库表。每个订阅者,都尽可能快地从这些数据源产生的log中获取新...
    文章 2017-11-14 1159浏览量
  • 【大数据100分】CESI吴东亚:大数据标准及应用(高级...

    工作组下设术语和定义、用例和需求、安全和隐私、参考体系结构和技术路线图5个分组,目前正在研制《大数据定义》、《大数据术语》、《大数据需求》、《大数据安全和隐私需求》、《大数据参考体系结构》和《大数据...
    文章 2017-04-03 1327浏览量
  • 为什么选择这样的大数据平台架构?

    数据平台架构的层次划分没标准,以前笔者曾经做过大数据应用规划,也是非常纠结,因为应用的分类也是横纵交错,后来还是觉得体现一个“能用”原则,清晰且容易理解,能指导建设,这里将大数据平台划分为“五横一...
    文章 2017-08-01 2367浏览量
  • MySQL内核月报 2014.08-TokuDB·数据结构·Fractal-...

    另外,在数据流向上(compaction过程中数据走向),LSM强调"level"(横向),从level-L根据规则选取部分数据merge到level-(L+1),如果选取数据的策略不好,会抢占磁盘带宽,容易引起性能抖动,而FT强调"root-to-leaf"...
    文章 2016-05-23 1556浏览量
  • 开发node桌面级应用工具:apk转化epub

    随着苹果ibooks对国内的开放,最近接了个麻烦的...如果有这方面需求,或者有疑问的,可以留言。本文转自艾伦 Aaron博客园博客,原文链接:http://www.cnblogs.com/aaronjs/p/4912316.html,如需转载请自行联系原作者
    文章 2017-07-05 1156浏览量
  • 【转自聊聊架构公众号】Redis大key图形化统计及展示

    数据流图如下: 我们再看下具体该如何实现,首先是语言选型,雪球 SRE 自研的组件基本都是用 Go 语言做的后端,所以语言选型没什么纠结,直接用 Go。然后就是刚刚说的那几个流程。1.解析 RDB 按照 Redis 的协议来做...
    文章 2017-11-22 1426浏览量
  • Netflix Media Database-架构设计和实现

    但如果一个Shard的数据规模和计算消耗都很大,那扩容后即使对Shard做了一个打散,还是没用。这个时候就需要对索引做Reindex,分配更多的Shard。但是Reindex是一个对计算消耗较大,非常耗时的一个操作,特别是当...
    文章 2019-01-12 2241浏览量
  • No.1-Apache IoTDB 随笔-Time Series DBMS 综述(文末...

    这要看看BTree和B+Tree从数据结构上有区别?最本质的区别是BTree在每个树节点是有数据存放的,B+Tree只有叶子节点才会存放数据,我们说的数据就是关系数据库中一行数据(包括Key和普通字段),比如订单号是key,...
    文章 2020-12-17 768浏览量
  • [干货]手把手带你了解实时看板(50PPT)

    总的来说,你需要处理数据流,这需要使用流处理查询语言。处理的核心技能,是如何查询事件和时间。每个事件流经系统的时候都有一个时间戳。这里,你需要了解如何使用适当的时间窗口。Tumbling Windows:重复、无重叠...
    文章 2017-05-02 1709浏览量
  • 深入分析java I/O

    根据数据流的格式和方式如下分类:1)基于字节(抽象类):InputStream 和 OutputStream2)基于字符(抽象类):Writer 和 Reader3)基于磁盘文件(类):File4)基于网络传输(类):Socket 基于字节的I/O操作...
    文章 2019-07-25 605浏览量
  • 数据湖:只是一个新名字?从哪里来,往那里去

    数据湖中的数据可以是任何东西、文件、来自关系数据库的数据、社交媒体数据数据、音频、图像、文档、视频等等。数据湖的架构由以下重要组件组成&xff1a; 数据源——由任何类型的数据&xff08;平面文件、流数据、...
    文章 2021-09-28 76浏览量
  • 5W1H(六何分析法)全景洞察大数据

    多样,第一个指数据的类型:结构化、半结构化(如文档型的)、非结构化(如视频、图片、语音等);第二个是指数据的种类,各行各业的数据,有时候我们讲究数据融合、打通。价值,数据是对客观世界的反馈。如果说上帝...
    文章 2018-11-05 2069浏览量
  • 《计算机网络系列》—— TCP粘包很难么,为何我屡屡...

    应用程序和TCP的交互是一次一个数据段(大小不等),TCP把应用程序交下来的数据仅仅看成是一连串的无结构的字节。TCP并不知道所传送的字节流的含义。TCP不保证接收方应用程序所收到的数据段和发送方应用程序所发出...
    文章 2020-03-14 501浏览量
  • BIG DATA+BIG IDEAS=BIG IMPACT(70+PPT)

    结构化的、非结构化的图像、视频、邮件、聊天文本. 因此,我们要开始think different!造物主赐给人类神奇的左右脑,就是告诉我们理性要结合感性,想象力中和分析判断力,大思想引领大数据 试想下,如果爱因斯坦和...
    文章 2017-05-02 1485浏览量
  • 没学好数据库的程序员,真的混不到饭吃么?

    大部分需求都有现成的轮子可以使用,主要的创造性工作往往在数据模型与数据流设计上。实际生产中,数据表就是数据结构,索引与查询就是算法。而应用代码往往扮演的是胶水的角色,处理IO与业务逻辑,其他大部分工作都...
    文章 2019-12-30 1012浏览量
  • 5W1H(六何分析法)全景洞察大数据

    多样,第一个指数据的类型:结构化、半结构化(如文档型的)、非结构化(如视频、图片、语音等);第二个是指数据的种类,各行各业的数据,有时候我们讲究数据融合、打通。价值,数据是对客观世界的反馈。如果说上帝...
    文章 2016-06-30 9931浏览量
  • 安卓音视频播放器

    VideoDevice 是一个视频设备的基类,主要包括结束方法(terminate)、初始化文理(onInitTexture)、更新YUV/ARGB数据(onUpdateYUV/onUpdateARGB),请求渲染画面(onRequestRender)几个方法组成,基类也不做处理。...
    文章 2019-02-24 1297浏览量
  • 基于 Flink+Iceberg 构建企业级实时数据

    那么开源数据湖架构一般是啥样的呢?这里我画了一个架构图,主要分为四层: 最底下是分布式文件系统,云上用户 S3 和 oss 这种对象存储会用的更多一些,毕竟价格便宜很多;非云上用户一般采用自己维护的 HDFS。第二...
    文章 2020-12-04 4372浏览量
  • 搞定计算机网络面试,看这篇就够了

    “面向字节流”的含义是:虽然应用程序和TCP的交互是一次一个数据块(大小不等),但TCP把应用程序交下来的数据仅仅看成是一连串的无结构的字节。3 网络层 网络层(network layer)负责为分组交换网上的不同主机提供...
    文章 2019-05-04 1318浏览量
  • Java博客大汇总

    IO体系图,按照流向进行划分图,按操作方式分类结构图,InputStream字节输入,OutputStream字节输出,Reader字符输入,Writer字符输出 06.IO字节流案例 什么是字节,字节流复制文本文件,字节流复制MP3...
    文章 2019-06-03 1767浏览量
  • 编程学习初体验(5.如何自学编程)(2)

    但是对于算法到底是啥,我却不愿意深究其定义,因为我知道揪出来也没意义,它能基本涵盖一个程序员所有的有用功——就好像你问人吃啥,他说吃饭,你绝对不会去再问一句饭吃的啥了。在这里,我有兴趣做的,倒是如何把...
    文章 2017-11-07 908浏览量
  • 性能优化之Java(Android)代码优化

    Sparse系列的数据结构是为key为int情况的特殊处理,采用二分查找及简单的数组存储,加上不需要泛型转换的开销,相对Map来说性能更优。不过我不太明白为默认的容量大小是10,是做过数据统计吗,还是说现在的内存...
    文章 2016-04-11 1618浏览量
  • I/O的整体介绍

    这个新创建的数据结构将会关联到 ServerSocket 实例的一个未完成的连接数据结构列表中,注意这时服务端与之对应的 Socket 实例并没有完成创建,而要等到与客户端的三次握手完成后,这个服务端的 Socket 实例才会返回...
    文章 2016-09-29 847浏览量
  • 感同身受!12个数据科学家秒懂的瞬间

    即使是最娴熟的数据科学家,处理起非结构流数据来也免不了一个脑袋两个大。不论是社交媒体、视频、客户日志还是地理空间服务数据,分析工作都需要在多元数据上实时、增量进行。此外,时效性也是此类数据分析工作的...
    文章 2017-08-21 1485浏览量
  • 名词解释(通信)

    通过分插复用器(ADM),可从SONET环提取或向SONET环加入数据流。这一拓扑结构允许多个RNC接入多个节点B,以形成具有出色灵活性的网络。RNC网络接口参考点 无线网络控制器(RNC)可使用表1中描述的定义明确的标准...
    文章 2015-07-06 1173浏览量
  • Java博客大汇总

    IO体系图,按照流向进行划分图,按操作方式分类结构图,InputStream字节输入,OutputStream字节输出,Reader字符输入,Writer字符输出 06.IO字节流案例 什么是字节,字节流复制文本文件,字节流复制MP3...
    文章 2019-07-29 1819浏览量
1 2 3 4 ... 20 >

云产品推荐

视频直播 大数据计算服务 MaxCompute 国内短信套餐包 ECS云服务器安全配置相关的云产品 开发者问答 阿里云建站 新零售智能客服 万网 小程序开发制作 视频内容分析 视频集锦 代理记账服务 阿里云AIoT 阿里云科技驱动中小企业数字化