• 架构技术专题」作为java程序员的你还不知道网站架构的...

    下面就说说大型网站的架构演化过程,通过一步步的演化,我们就可以清晰直观地知道,究竟为什么要这么?1、初始阶段的网站架构 初始阶段都比较简单,通常一台服务器就可以搞定一个网站了,看图。2、应用服务和数据...
    文章 2018-01-09 1048浏览量
  • Kettle能做什么?(三)

    比如,除了ODS/DW类比较大型的应用外,Kettle实际还可以为中小企业提供灵活的数据抽取和数据处理的功能。Kettle除了支持各种关系型数据库,HBase MongoDB这样的NoSQL数据源外,它还支持Excel、Access这类小型的数据...
    文章 2017-11-06 1581浏览量
  • Elasticsearch生态&技术峰会|Elasticsearch基于...

    Streaming窗口计算模型在Spark中我们又可以做一个窗口计算模型,创建一个window,设定一个1-2分钟的时间窗口,在时序的数据处理场景确实很合适,比如使用spark streaming等等。当然有很多数据场景上它并不是时序的,...
    文章 2021-03-22 479浏览量
  • Greenplum技术浅析

    根据SQL,我们可以把表 Hash+Range分区(事实上Greenplum也是hash+range分区,用hash将数据分布到不同的数据库上,然后再用range将每个数据库上的表分区),再利用RAC的并行处理能力。Oracle也有partition-wise ...
    文章 2014-04-22 1852浏览量
  • 同样都是打工人,为何别人会建模,而你只会用EXCEL?

    而小王对于EXCEL之外的数据处理方法知之甚少,任何数据分析都只是停留在EXCEL的层面,所以遇到问题时很难突破这个瓶颈,只能望表兴叹了,怪不得毕业好几年了工资一直没怎么涨。哎,看来还是大数据比较香。那么大...
    文章 2020-11-16 2488浏览量
  • 怎么选择阿里云服务器?

    如果程序做的好,甚至可以做无感知扩容(即服务不用重启,用户服务不会中断)。下面这个文章说了一下,云服务器的特点。那么对于上线一个网站来说,个人建议还是先做评估上线初期大概同时在线有多少用户,每个用户...
    文章 2021-08-28 26浏览量
  • 怎么选择阿里云服务器?

    如果程序做的好,甚至可以做无感知扩容(即服务不用重启,用户服务不会中断)。下面这个文章说了一下,云服务器的特点。那么对于上线一个网站来说,个人建议还是先做评估上线初期大概同时在线有多少用户,每个用户...
    文章 2021-08-28 64浏览量
  • 怎么选择阿里云服务器?

    如果程序做的好,甚至可以做无感知扩容(即服务不用重启,用户服务不会中断)。下面这个文章说了一下,云服务器的特点。那么对于上线一个网站来说,个人建议还是先做评估上线初期大概同时在线有多少用户,每个用户...
    文章 2021-07-20 342浏览量
  • 掌握设计开发维护大型网站的技术之性能

    了解了这个原理我们来看怎么提高数据传输的速度,首先用户的上传、下载速度我们是无法决定的,我们能决定的是网站服务器的上传、下载速度,所以我们可以做的是适当的增加服务器带宽(带宽是很贵的,盲目的增加只会...
    文章 2017-07-03 1443浏览量
  • 开源大数据的过去、现在及未来

    数据处理的技术是做什么的呢?也就是说它把数据进行变化,让它更简洁,或者把数据进行变形,以便于更容易的处理。在查询和数据处理方面也有一些重合。我们应该这么理解,处理过程是把数据进行变形,输出的数据和输入...
    文章 2017-07-05 1233浏览量
  • 集群管理工具经得起考验吗?

    但真正的关键在于性能管理,秘诀在于了解都是谁,以及在什么时候做什么事。至少,还有标准的工具可以从集群的日志文件(通常十分巨大)中生成报告。但随着日志的增长,这个方法的效果会降低。而且当谈及运营性能,真正...
    文章 2017-08-01 1042浏览量
  • 从小数据分析到大数据平台,这十几年来大数据开源技术...

    数据处理的技术是做什么的呢?也就是说它把数据进行变化,让它更简洁,或者把数据进行变形,以便于更容易的处理。在查询和数据处理方面也有一些重合。我们应该这么理解,处理过程是把数据进行变形,输出的数据和输入...
    文章 2017-07-05 1199浏览量
  • 数据分析:找合适的瓶,酿新的酒

    我们要通过他们的帮助,使这张图里的大数据路径翻转过来,像传统数据处理一样,由业务人员告诉我们,他们想做什么!我接触过很多客户,去之前得到的需求都是:希望了解Hadoop或者内存数据库。但是去了之后都发觉,...
    文章 2017-04-03 1083浏览量
  • 什么是大数据架构?

    通常,数据将存储在数据湖中,这是一个可以轻松扩展的大型非结构化数据库。批处理和实时处理的组合。企业需要同时处理实时数据和静态数据,因此应在大数据架构中内置批量和实时处理的组合。这是因为可以使用批处理...
    文章 2019-04-15 1432浏览量
  • 专家教你使用MaxCompute玩转大数据分析!

    因为拿到数据后,在数据处理之前会对数据进行清洗和预处理,处理完之后可以将这些数据交给机器学习平台,在机器学习平台中一些深入的机器学习处理算法,比如可以将MaxCompute的结果作为训练的数据给机器学习平台...
    文章 2018-07-29 4610浏览量
  • 中科院院士梅宏:大数据对计算体系带来的挑战以及应对...

    比如,软件定义可以做很多事情;比如,软件开源+硬件开放有可能产生颠覆式机遇。他提到了个人对于大数据的理解,谈到了三个现实中的挑战。但在挑战背后,他们的团队已经集结了最好的高校和阿里这种巨头企业的技术,...
    文章 2019-05-26 1129浏览量
  • 关于大型网站数据库的讨论

    一个数据库,简单做好数据的存储就好了,其他的它不应该考虑,因此,其实它也只应该接受Add、Del、Modeify这三条逻辑,这其实就是数据库的API,对上,它屏蔽内部数据处理细节,对下,它处理简单信令,不理解复杂的...
    文章 2017-11-24 976浏览量
  • 超越批处理的世界:流计算

    我也会提出我所认为的数据处理系统的建造者应采用的基本思路,基于这样思路构建的系统或可以应对现代数据消费者不断增长的需求。时间域:我会介绍与数据处理相关的两个主要时间域概念,解释他们是如何相关的,并给出...
    文章 2017-05-02 985浏览量
  • 数据库必知词汇:流计算

    流式处理可以用于两种不同场景:事件流和持续计算。1、事件流:事件流具能够持续产生大量的数据,这类数据最早出现与传统的银行和股票交易领域,也在互联网监控、无线通信网等领域出现、需要以近实时的方式对更新数据...
    文章 2020-02-23 384浏览量
  • 首席工程师揭秘:LinkedIn大数据后台是如何运作的

    我已经注意到,传统的数据库管理人员非常喜欢这样的视图,因为它最终解释了这些不同的数据系统到底是做什么用的–它们只是不同的索引类型而已。不可否认这类数据库系统现在大量的出现,但是事实上,这种复杂性一直都...
    文章 2017-05-02 1138浏览量
  • 应用虚拟化IT:需要决策支持后盾

    在出现自动化数据处理大型计算机之后,决策制定者都开始变得克制,因为现在决策过程中涉及的数据比以往都要多了。然而,在很多时候数据太多会造成分析瘫痪(无法分析)。理论上,决策可能会无限期延迟,因为人们可能...
    文章 2017-08-01 678浏览量
  • 基于PostggreSQL的PB级开源企业级分布式HTAP数据

    大型银行,采用 Greenplum 作为数据处理的中枢,所有业务数据都经过 Greenplum 中枢集群的处理,处理后的结果分发给不同的上游集群。中枢集群数据量 PB 级,节点数达200个;上游业务 Greenplum 集群有二三十套。...
    文章 2020-05-11 2543浏览量
  • 应用虚拟化IT:需要决策支持后盾

    在出现自动化数据处理大型计算机之后,决策制定者都开始变得克制,因为现在决策过程中涉及的数据比以往都要多了。然而,在很多时候数据太多会造成分析瘫痪(无法分析)。理论上,决策可能会无限期延迟,因为人们可能...
    文章 2017-10-03 637浏览量
  • SqlServer数据库记录数大引起的一系列问题解决

    在实时只是给这个记录个需要删除标记(用update语句就可以了)。到晚上系统不忙的时候再来集中处理,来真正删除记录。然后这个同仁就按这个办法去了。后来告诉我说delete问题解决了,快一些了。虽然我没有见过他的...
    文章 2011-10-24 788浏览量
  • DTCC 2020|阿里云李飞飞:云原生分布式数据库与数据...

    DBS可以做传统数据多云多端的备份,把线下的数据备份到云上,也可以把云上的数据备份到线下,实现秒级RPO,支持多种数据源多源多端的云备份,并且支持Snapshot Recovery。三、案例分析 1)双十一购物节•数据库挑战 ...
    文章 2021-01-07 6909浏览量
  • Flink 新场景:OLAP 引擎性能优化及应用案例

    1.为什么 Flink 可以做 ROLAP 引擎?Flink 的核心和基础是流计算,支持高性能、低延迟的大规模计算。Blink 将批看作有限流,批处理是针对有限数据集的优化,因此批处理引擎也是构建在流引擎上(已开源)。OLAP 是响应...
    文章 2020-04-20 1401浏览量
  • 大型网站系统与Java中间件》读书笔记(上)

    这本书《大型网站系统与Java中间件》的前三章主要是铺垫什么是中间件、什么是分布式(从单机演进到分布式的过程)以及讲述了网站的架构演进过程,剩下的是回顾一些基础。比如说: bio/nio/aio HTTP/Session JVM Java多...
    文章 2019-06-10 4907浏览量
  • 《Redis实战》一第2章 使用Redis构建Web应用

    说得更具体一点,通过将传统数据库的一部分数据处理任务以及存储任务转交给Redis来完成,可以提升网页的载入速度,并降低资源的占用量。我们要解决的第一个问题就是使用Redis来管理用户登录会话(session)。
    文章 2017-05-02 1203浏览量
  • 最全的大数据技术大合集:Hadoop家族、Cloudera系列、...

    为类似Pig、MapReduce及Hive这些数据处理工具提供互操作性。Chukwa: Chukwa是基于Hadoop的大集群监控系统,由yahoo贡献。Cloudera系列产品: 创始组织:Cloudera公司 1.Cloudera Manager: 有四大功能 (1)管理 (2...
    文章 2016-05-05 4607浏览量
  • 马云:基于数据的信用和风控体系是互联网金融的必要...

    no,关键你想做什么。我们蚂蚁的思考,我们觉得任何一次技术革命,前20年左右,基本是技术公司的角逐,大家对技术的角逐,包括对计算的技术、数据的技术、风控的技术,这是我们做平台的思考。所以做平台的,真不会太...
    文章 2017-08-01 1012浏览量
1 2 3 4 ... 114 >

云产品推荐

视频直播 大数据计算服务 MaxCompute 国内短信套餐包 ECS云服务器安全配置相关的云产品 开发者问答 阿里云建站 新零售智能客服 万网 小程序开发制作 视频内容分析 视频集锦 代理记账服务 阿里云AIoT 阿里云科技驱动中小企业数字化