• 云上太空舱:在可信的环境中,让数据安全流通

    比如车辆里程数,单独看只是个数字,对比二手车的里程要求才会发现跑出去了多少钱;个人就医,医生对比你用药记录、过敏记录、药物本身的稳定数据,来给你更合适的用药建议;或者你支付宝绿着的健康码,那也是无数...
    文章 2021-08-24 281浏览量
  • 优酷背后的大数据秘密

    第一个,它是按用量计费的,不是说给你多少台机器,然后就收你多少钱的,真的是你用了多少资源收多少钱的,这个在成本上来说,比自己去维护集群,可能是一个砍半(降50%)这样的收益。第二个,实际上MaxCompue计算...
    文章 2020-06-02 974浏览量
  • 优酷背后的大数据秘密

    第一个,它是按用量计费的,不是说给你多少台机器,然后就收你多少钱的,真的是你用了多少资源收多少钱的,这个在成本上来说,比自己去维护集群,可能是一个砍半(降50%)这样的收益。第二个,实际上MaxCompue计算...
    文章 2019-06-11 18755浏览量
  • 日志实时分析:从入门到精通

    数据计算一次计算能覆盖多大数据量?实时性 从数据产生,到计算出结果,需要多久?秒级别?是实时的?还是离线的?实时性和规模是不可调和的。数据的重要程度 是每天运营的报表?一天算一次?还是要立刻拿到结果?...
    文章 2018-09-01 3978浏览量
  • Lindorm在实时归因场景下的挑战与应用

    准,Lindorm 作为Event Sourcing可以支持批流一体,批计算保障最终一致(本人倾向流计算终将一统天下,但目前看批流一体还是比较成熟) 通,支持不同的归因场景,不同的Attribution Window。Fink/Spark支持丰富计算...
    文章 2021-09-17 66浏览量
  • 千亿级的数据难题,优酷工程师怎么解决?

    第一个,它是按用量计费的,不是说给你多少台机器,就收你多少钱,是你用了多少资源收多少钱的,在成本上来说,比自己去维护集群,可能是一个砍半(降50%)的收益。第二个,实际上MaxCompue计算资源是可以分时的,...
    文章 2019-07-26 1812浏览量
  • 千亿级的数据难题,优酷工程师怎么解决?

    第一个,它是按用量计费的,不是说给你多少台机器,就收你多少钱,是你用了多少资源收多少钱的,在成本上来说,比自己去维护集群,可能是一个砍半(降50%)的收益。第二个,实际上MaxCompue计算资源是可以分时的,...
    文章 2019-07-09 1910浏览量
  • 基于实时计算Flink版的场景解决方案demo

    或者是数据勘察的功能,可以看到原始日志的转换是否满足下游业务支撑的一个需求,当日志被采集转换处理完之后,会通过Log Hub将这个日志投递给处理中心,也就是实时计算Flink。其实用投递这个词并不是特别的精确,...
    文章 2021-09-01 905浏览量
  • Ververica Platform-阿里巴巴全新Flink企业版揭秘

    Flink不仅能够连接消息队列等无限数据流的数据源,也可以连接文件系统、数据库表、KV存储等有限的数据集,所以Flink也在基于流式计算的优势上逐渐朝着批流融合的方向发展,有希望成为一种新的批流合一的全能计算引擎...
    文章 2019-10-30 3543浏览量
  • Ververica Platform-阿里巴巴全新Flink企业版揭秘

    Flink不仅能够连接消息队列等无限数据流的数据源,也可以连接文件系统、数据库表、KV存储等有限的数据集,所以Flink也在基于流式计算的优势上逐渐朝着批流融合的方向发展,有希望成为一种新的批流合一的全能计算引擎...
    文章 2019-11-18 594浏览量
  • 数据库POLARDB优势解读系列文章之③——分钟级弹性

    POLARDB的存储空间不需要关心,用多少付多少钱,每小时自动结算。对于I/O能力,目前的设计是跟数据库节点的规格有关系,规格越大,IOPS和I/O吞吐量越高,在节点上对I/O有隔离和限制,避免多个数据库集群之间的I/O...
    文章 2018-11-14 4283浏览量
  • 数据工程师必须掌握的7个大数据实战项目

    和流式计算一直存在于应用场景中,但在大数据未出现之前,一直做的不好。之前业界一直使用低延迟来对流进行处理,但是的实时性,低延迟编程方法就显得笨拙了。之前我有文章对流处理做过详细的科普,可以看这里:...
    文章 2020-01-03 3658浏览量
  • 网络安全法下的云数据安全思考与实践

    我的数据多少钱数据如果泄露了会有多大危害?2017年6月1日,网络安全法发布了,作为网络安全的基本法,它让网络安全工作 有 法可依 同时也要求人们 有法必依。对企业来讲,可能面临罚款、停业整顿和吊销执照,对...
    文章 2017-09-02 3739浏览量
  • 数据湖”:概念、特征、架构与案例

    而对于用户而言,其实他们并不关心底层的计算模型是什么,用户希望无论是批处理还是流计算,都能基于统一的数据模型来返回处理结果,于是Lambda架构被提出,如下图所示。(为了省事,lambda架构和Kappa架构图均来自...
    文章 2020-05-19 8671浏览量
  • 【阿里飞天】阿里飞天平台总架构师唐洪:飞天开放平台

    第三个本质的问题就是服务运营,云计算的本质问题就是服务运营,也就是说当你现在大家都说云计算跟电一样,你开电你不需要自己在家里安一个柴油发电机,你用多少电花多少钱。很多互联网公司的发展是爆炸式的,他们...
    文章 2016-09-11 13963浏览量
  • Delta Lake】系列技术专题 之 Streaming(流式计算

    这些问题在 Delta Lake 架构中通过Apache Spark 的可伸缩性、流计算和灵活的数据分析的能力&xff0c;以及 ACID 事务性可以轻松解决。使用 Delta Lake 解决方案架构图通过此架构图&xff0c;我们清晰的看到将股票价格数据...
    文章 2021-07-04 372浏览量
  • 每年 150 亿美元花哪了?Netflix 的大规模 Kafka 实践

    明年我们应该花费多少钱采购国外电影和电视剧?我们是否快要超出制作预算了,是否需要有人介入把事情扳回正轨?我们如何利用数据、直觉和分析能力来提前规划全年的采播方案,尽可能做到完美的计划?我们如何为来自...
    文章 2020-02-14 526浏览量
  • 干货|金融级消息队列的演进—蚂蚁金服的实践之路

    消息队列承载了越来越多的消息数据,大量的数据流进来再流出去。都说在大数据时代,数据就是金钱,但是可以发现这么多的数据流过消息队列,却没有淘到金。通过思考这个问题,发现非常关键的一点是因为一直在用一种...
    文章 2018-07-03 1930浏览量
  • 为什么说处理即未来?

    第一期:不仅仅是流计算 第二期:重新定义计算 上图对为什么流处理可以处理一切作出诠释,将数据看做流是一个自然而又十分强大的想法。大部分数据的产生过程都是随时间生成的流,比如一个 Petabyte 的数据不会凭空...
    文章 2019-04-17 9008浏览量
  • 流计算精品翻译:The Dataflow Model

    流计算引擎的选择成为简单的对准确性、延迟程度和处理成本之间的选择。具体来说&xff0c;上述的贡献包含&xff1a;l 一个支持非对齐事件发生时间窗口的模型&xff0c;一组简单的窗口创建和使用的API。xff08;参考2.2&xff09;l...
    文章 2016-11-25 13625浏览量
  • 计算,您用对了吗?

    所以在云时代,对于运维人员又了新的要求,一方面要加强云计算的学习,另外一方面还要学习企业的业务应用,多了解各中间件、数据库、系统框架等层面的知识,在业务系统的持续集成、各类发布、降级限等流域多下功夫...
    文章 2016-07-08 3733浏览量
  • 李德毅院士:再大的数据也能绕过那道弯

    第一:是这个地球,自然界的大数据,这么多的卫星绕着地球转,我们看看每天要下载多少数据量?第二:生命大数据、生物大数据,尤其是每一个人体的大数据也是一个重要的来源。第三:社交大数据:对于我们IT工作者来说...
    文章 2017-05-02 1364浏览量
  • 新一线城市创新力哪家最强?看第一财经怎么说

    所以,当一个城市里愿意投资创新的越多,创新可能就越多。但资金不代表全部,很多时候它并不灵敏,大量公司拿到起步资金,不久就解散了,它们并没有给这个世界带来什么变化。所以,投资的有效性对城市的创新“土壤...
    文章 2017-01-18 776浏览量
  • Lindorm在实时归因场景下的挑战与应用

    只需要Lindorm 和 流计算引擎省&xff0c;流计算引擎只需要存储少量的状态。Lindorm具备高效压缩、透明冷热分离等降本手段。参考 [1]The 3 Biggest Problems with Advertising Attribution [2]电商中&xff0c;常用归因...
    文章 2021-03-01 468浏览量
  • 实时数仓入门训练营:实时数仓助力互联网实时决策和...

    可以看到,数据分析基本的趋势是从批处理向交互式分析、流计算的方向演进。在10年前,大数据更多的是处理规模的问题,通过并行计算的技术处理海量的数据,那个时候我们更多的是在做数据的清洗,数据模型的设计,对...
    文章 2021-07-14 1421浏览量
  • 数据库与数据仓库

    简而言之,数据库是面向事务的设计,数据仓库是面向主题设计的。...主要体现在数据建模的合理性,数据仓库方案中多出一些中间层,使海量数据流有足够的缓冲,不至于数据量大很多,就运行不起来了。
    文章 2010-03-09 718浏览量
  • 自建ELK vs 日志服务(SLS)全方位对比

    成本(重点):同样功能和性能,使用分别花多少钱 易用 对日志分析系统而言,有如下使用过程: 采集:将数据稳定写入 配置:如何配置数据源 扩容:接入更多数据源,更多机器,对存储空间,机器进行扩容 使用:这部分...
    文章 2017-09-21 16726浏览量
  • 阿里云2019北京峰会之我见(技术篇)

    有些实时处理要求高的客户可能用更强的实时处理计算资源而用少量的批处理计算资源,总之用户可以自由的根据自己的需要组合各种大数据计算服务,而不用考虑计算节点上的数据分布情况。安全稳定的企业级网络设施:...
    文章 2019-04-14 1974浏览量
  • 【干货】蒋步星:关系代数的问题及尝试

    事实上,任何一种程序设计语言都在某个层面满足这个说法,用汇编语言你也不用关心电子是怎么流转的,而用SQL你仍然要关心表中的数据是如何组织的。SQL的不足,我总结是这样几条: 分步这个比较容易理解,一个问题...
    文章 2017-04-03 1103浏览量
  • 基于实时深度学习的推荐系统架构设计和技术演进

    比方说事件调度这个例子,当一个作业的 water mark 到了的时候,就是说这个时间点之前的所有数据都到全了,可以去触发批作业去跑,并不需要作业跑完。对于每一个作业来讲,通过调度器提作业或者停作业是需要条件...
    文章 2021-07-02 1045浏览量
1 2 3 4 ... 16 >

云产品推荐

视频直播 大数据计算服务 MaxCompute 国内短信套餐包 ECS云服务器安全配置相关的云产品 开发者问答 阿里云建站 新零售智能客服 万网 小程序开发制作 视频内容分析 视频集锦 代理记账服务 阿里云AIoT 阿里云科技驱动中小企业数字化