• Netflix:如何打造开放协作的实时 ETL 平台?

    摘要:本文由 Netflix 高级软件工程师徐...徐振中,Netflix 软件工程师,在 Netflix 从事高度可扩展和弹性的流媒体数据平台的基础设施工作,热衷于研究分享与实时数据系统、分布式系统基本原理相关的任何有趣的事情!
    文章 2020-03-31 1218浏览量
  • 千万级规模高性能、高并发的网络架构经验分享

    2015年11月21日下午地点:梦想加联合办公空间分享人:卫向军(毕业于北京邮电大学,现任微博平台架构师,先后在微软、金山云、新浪微博从事技术研发工作,专注于系统架构设计、音视频通讯系统、分布式文件系统和数据...
    文章 2015-12-21 1393浏览量
  • 新浪微博千万级规模高性能、高并发的网络架构经验分享

    第一个例子,在分布式系统我们会做 MySQL分 库 分表,我们要从不同的库和表中读取数据,这样的抽象最直观就是使用模板,因为绝大多数SQL语义是相同的,除了路由到哪个库哪个表,如果不使用Proxy中间件,模板就是性价...
    文章 2016-03-29 3394浏览量
  • 千万级规模高性能、高并发的网络架构经验分享

    第一个例子,在分布式系统我们会做 MySQL分 库 分表,我们要从不同的库和表中读取数据,这样的抽象最直观就是使用模板,因为绝大多数SQL语义是相同的,除了路由到哪个库哪个表,如果不使用Proxy中间件,模板就是性价...
    文章 2017-07-03 2795浏览量
  • 我的2017云栖之行

    分布式处理-模型计算-分布式处理 XDL架构:A Distributed View IO/AMS/Backend Tensor Flow XDL架构:A Local View XDL Dev Stack 结构化IO Advanced Model Server(AMS) AMS之异构计算 CPU只做寻址,参数计算在GPU...
    文章 2017-10-19 2488浏览量
  • 计算广告关键技术:他们怎么什么都知道?

    在学习了泊松分布和机器学习之后,媒体网站终于完成了用户标签的工作,看着那圆圆的饼图,下了激动了泪水,哽咽着说“嗯.终于.终于可以卖钱了.”没错,流量可以变现了,互联网广告一脚踏进合约广告时代。但是仅仅...
    文章 2017-05-18 3098浏览量
  • 关于区块链的三个隐喻

    但是,分布式账本这种说法的也非常不足,如同当年把blog简单的理解为网络日记一样,完全忽视了blog作为自媒体的巨大威力。关于区块链的威力,人们看到的只是冰山的一角,媒体舆论在传播区块链概念的时候,不妨少些...
    文章 2018-04-16 1089浏览量
  • 【重磅】凯文.凯利8个小时演讲实录

    第一律、分布式:就是去中心化 存在,细分成晓得活动,联系在一起就非常强大,去中心化 生物界,小的部分组成,力量更大。鸟群比单独飞力量更大。蜜蜂也是如此,每个蜜蜂6周生命,但每个蜂巢,人,单个作家,维基...
    文章 2017-05-02 1333浏览量
  • [重磅]秦雯讲大数据:心动.幡动....

    我想因为今年我觉得是传统媒体,或者说媒体行业发展,中国的媒体行业发展比较特殊的一年。有几个大的市场因素在变化,第一个大的变化是政策因素,应该说政策因素对传统媒体是向好的,在这一块儿在座的所有的各位都比...
    文章 2017-05-02 1136浏览量
  • 聊聊图数据库和图数据库的小知识

    Sherman:简单的讲,Tiger Graph 不是真正意义上的对等分布式,它是有中心节点的分布式,它分布存储的是点和边上的属性,但是整张图的关系必须保存在一台机器上。同时在运行的时候,整张图必须加载到内存里,这就...
    文章 2019-08-23 2239浏览量
  • 玩转大数据,你需要了解这8种项目类型!

    得益于 Impala、HAWQ 和 Greenplum,MPP 分布式系统的地位也更加重要。那些价格昂贵、功能单一而且还不能兼容其他数据分析的工具,其发展空间越来越小——更别说是那些只能依靠某单一供应商的私有云。7、经久不衰的...
    文章 2016-05-30 1602浏览量
  • 玩转大数据,你需要了解这8种项目类型!

    得益于 Impala、HAWQ 和 Greenplum,MPP 分布式系统的地位也更加重要。那些价格昂贵、功能单一而且还不能兼容其他数据分析的工具,其发展空间越来越小——更别说是那些只能依靠某单一供应商的私有云。7、经久不衰的...
    文章 2017-07-03 1327浏览量
  • APMCon2017|一大波技术大神来袭,你要的性能优化干货...

    第一部分介绍通过业务迭代,不断推出架构升级,也就是云架构,在整个升级过程中,会介绍从单架构到分布式架构,再到微服务架构的演变历程。第二部分会围绕Web服务的自检功能,即分布式监控系统。a.动态负载策略,...
    文章 2017-08-01 3934浏览量
  • PG数据库生态选型思路与最佳实践

    实现了数据库分布式的引进,分布式数据库它的优势就是它有横向扩展&xff0c;这是非常便利的&xff0c;能形成一个线性的横向扩展。数据库数据是以多副本来存储的&xff0c;无需共享存储&xff0c;它的优势就是可以不断的扩展&xff0...
    文章 2021-03-29 303浏览量
  • 纵览双11全球狂欢节所有数据和技术要点!...

    EDAS充分利用阿里云现有资源管理和服务体系,引入中间件成熟的整套分布式计算框架(包括分布式服务化框架、服务治理、运维管控、链路追踪和稳定性组件等),以应用为中心,轻松构建并托管分布式应用服务体系。...
    文章 2016-11-10 26741浏览量
  • 阿里云贾扬清:大数据+AI工程化,让数据从「成本」...

    也就是说,在大量的数据和算力基础上,一个非常明显的需求是如何更好地做到资源调度和资源调配,以及如何让工程师更容易撰写分布式编程范式,特别是如何来规模化,这是 AI 工程化的第二个体现。我们设计了一个相对...
    文章 2021-05-25 1317浏览量
  • 数据工程师必须掌握的7个大数据实战项目

    它将所有的数据集封装在 RDD(Resilient Distributed Dataset)中,这个结果集天然就带着分布式特性,也就是每个Spark节点上都有一个小的RDD,针对RDD的计算都会分摊到这些小的RDD上,同步计算。这个特性满足了分布式...
    文章 2020-01-03 3901浏览量
  • 孟岩最新思想亮相TokenSky,首谈通证三态:固态、液态...

    通证经济可以带来一种大规模的、跨边界的分布式协作,我们叫它分布式公司,或是分布式协作组织DCO(Distributed Cooperative Organization)。这里我不展开讲,因为明天主会场,CSDN的董事长蒋总会用一个专门的演讲...
    文章 2018-04-19 966浏览量
  • 第四范式陈雨强:万字深析工业界机器学习最新黑科技

    之所有这么多人用Hadoop是因为它虽然是个分布式系统,但对使用它的程序员并不需要掌握很高的分布式系统知识,研发人员并不需要为了使用Hadoop针对性的对自己的数据、业务做出改变,也不需要因为Map-Reduce框架重新...
    文章 2018-01-08 1022浏览量
  • 【大数据100分】大数据架构及行业大数据应用(中级教程...

    对目前最新兴的列存储技术、压缩技术、SQL优化技术、大型分布式系统等有长期研究和开发经验。曾参与法国家乐福超市、雷诺汽车公司、空客飞机公司、法国航空公司、法国通讯公司等数据库管理的技术支持、咨询和指导...
    文章 2017-04-03 2200浏览量
  • 云栖科技评论第15期:IBM联合NVIDIA开发世界上“最快...

    它同时也可以为工作站和流媒体应用在Azure中利用NVIDIA GRID提供高端虚拟化功能。随着客户计算需求的迅猛增长,微软正在与像NVIDIA这样的公司合作,以满足他们的计算需求。新闻链接【小云评论】今天,云计算提供商...
    文章 2018-03-05 736浏览量
  • 基于MaxCompute构建Noxmobi全球化精准营销系统

    MaxCompute向用户提供了完善的数据导入方案以及多种经典的分布式计算模型,能够更快速的解决用户海量数据计算问题,有效降低企业成本,并保障数据安全。在本文中北京多点在线高级架构师杨洋分享了基于MaxCompute构建...
    文章 2020-05-09 1792浏览量
  • 广告系统架构:要啥自行车!

    到这里,媒体网站数据的存储方式就很清楚了,它们分布式的存储在HDFS中。当我们需要做统计或者计算任务时,可以通过编写MapReduce程序来实现。搞定了日志的存储和Cookie分配,日志模块就算是告一段落了。有了稳定的...
    文章 2017-05-18 2974浏览量
  • 基于MaxCompute构建Noxmobi全球化精准营销系统

    MaxCompute向用户提供了完善的数据导入方案以及多种经典的分布式计算模型,能够更快速的解决用户海量数据计算问题,有效降低企业成本,并保障数据安全。在本文中北京多点在线高级架构师杨洋分享了基于MaxCompute构建...
    文章 2018-06-15 4946浏览量
  • 章文嵩博士和他背后的负载均衡帝国

    这个提供一模一样服务的“分店”就是系统的副本(Replica),分布式系统中的副本(Replica)除了满足数据冗余,容灾的需要等之外,横向扩展,通过开多个分店(Replica)分流的行为,就是负载均衡,做到多副本之间分流是...
    文章 2016-05-30 9482浏览量
  • 章文嵩(正明)博士和他背后的负载均衡(LOAD ...

    这个提供一模一样服务的“分店”就是系统的副本(Replica),分布式系统中的副本(Replica)除了满足数据冗余,容灾的需要等之外,横向扩展,通过开多个分店(Replica)分流的行为,就是负载均衡,做到多副本之间分流是...
    文章 2016-05-26 16442浏览量
  • 唐端荣|DSP投放引擎的设计与实现

    单点服务增加Slave运行时互备,运行时互备使用分布式的租约锁,比如利用Redis SET key value EX seconds NX 特性(即只有键key不存在的时候才会设置key的值);当其中一台服务器失去续约能力时,备机将在很短的时间内...
    文章 2017-08-01 2927浏览量
  • 这些年,我工作上走过的路

    首先我们是个音频流媒体网站,需要搭建流媒体服务器,以及播放音频的客户端 接着这是针对音乐人的一个社交网站,有点类似现在的微博,音乐人上传了大量自己的音频,需要大量的粉丝以及与之互动。所以需要提供一个...
    文章 2016-09-09 2866浏览量
  • 从社区角度看,区块链为什么这么火?...

    分布式,区块链的核心概念也有分布式,它们就像天作之合,把互联网引入新的时代。2.社区是什么?我们常常说的社区是指网络社区。在很多年前,人们把论坛说成社区;即使现在,人们仍然习惯叫一个论坛为某某社区。到了...
    文章 2018-04-13 1234浏览量
  • 区块链将会怎样颠覆Google、Amazon、Facebook和Apple?

    尽管如此,我认为这种类似“黑帮”的方法会在一代人之内得以采用或者接受。毕竟,人们很难接受从免费变成收费。好希望它们能干掉标题党…… Bezos 创建的这家网上售书的公司,现在可以说是地球上最具统治力、最具...
    文章 2018-04-12 1670浏览量
1 2 3 4 >

云产品推荐

视频直播 大数据计算服务 MaxCompute 国内短信套餐包 ECS云服务器安全配置相关的云产品 开发者问答 阿里云建站 新零售智能客服 万网 小程序开发制作 视频内容分析 视频集锦 代理记账服务 阿里云AIoT 阿里云科技驱动中小企业数字化