• Hadoop在大数据平台搭建中扮演着何种角色?

    基于Hadoop集群环境的数据采集系统,利用分布式网络爬虫进行数据抓取,以HDFS作为底层存储系统,在其上构建基于HBase的分布式数据库对数据进行统一存储管理。然后根据采集的数据,通过检索的形式分类数据,进行一个深...
    文章 2019-05-07 1193浏览量
  • 分布式架构、分布式计算、分布式数据库、分布式存储、...

    3.分布式数据库技术与实现 免费课程:https://edu.aliyun.com/course/37 本课程主要讲解分步式数据库系统的主要功能和实现方式,课程中首先阐述传统数据库所存在的问题,结合此问题说明分步式数据库系统如何解决这些...
    文章 2017-08-04 3630浏览量
  • 架构设计基础:单服务....分布式,基本区别和联系

    分布式系统架构和分布式数据存储相辅相成,不管架构选型还是存储选型,都没有可建议的标准,这里只能用一句很有用的废话来描述:基于自己的技术认知范围,和业务场景综合考量。四、最后总结 如何架构分布式系统,这...
    文章 2020-04-17 925浏览量
  • 分布式链路追踪

    下面讲述一下在阿里云Kubernetes容器服务基础之上,如何快速搭建一套分布式追踪系统。准备Kubernetes环境 阿里云容器服务Kubernetes 1.9.3目前已经上线,可以通过容器服务管理控制台非常方便地快速创建 Kubernetes ...
    文章 2018-05-25 4229浏览量
  • 分布式系统的理解

    分布式数据库按照各站点中数据库管理系统的数据模型的异同分为异构型分布式数据库和同构型分布式数据库,按照控制系统的类型分为全局控制集中性、全局控制分散型和全局控制可变型 3.Hadoop,HDFS,HBase,Hive 之我见:...
    文章 2016-01-04 3178浏览量
  • 分布式系统的理解

    分布式数据库按照各站点中数据库管理系统的数据模型的异同分为异构型分布式数据库和同构型分布式数据库,按照控制系统的类型分为全局控制集中性、全局控制分散型和全局控制可变型 3.Hadoop,HDFS,HBase,Hive 之我见:...
    文章 2016-01-04 1619浏览量
  • 【转载】分布式系统的理解

    分布式数据库按照各站点中数据库管理系统的数据模型的异同分为异构型分布式数据库和同构型分布式数据库,按照控制系统的类型分为全局控制集中性、全局控制分散型和全局控制可变型 3.Hadoop,HDFS,HBase,Hive 之我见:...
    文章 2016-05-11 1433浏览量
  • 基于Hadoop分布式集群搭建政企大数据计算存储服务平台...

    数道云大数据,帮助政企快速搭建大数据计算服务平台,从数据源-分布式数据采集-数据分析-数据存储等等一体化流程。简单化部署运维、安全高可用、易操作性、轻量集成、一体化数据应用,帮助政企快速搭建Hadoop分布式...
    文章 2019-04-10 1200浏览量
  • 北京云栖大会 Tech Insight 金融级分布式架构分享一览

    “蚂蚁金融云”为金融机构了完整的分布式解决方案,“蚂蚁金融云”的核心系统安全可靠,并能涵盖高并发、海量数据处理、快速容灾恢复、无线伸缩能力、多地多活等场景,能够按需供给精细化资源调度。这套解决方案,...
    文章 2017-12-19 3316浏览量
  • 如何落地一个算法?

    为了能快速将现有算法在实际生产环境落地,并能利用GPU加速实现大规模计算,我们自己搭建了一个GPU加速的大规模分布式机器学习系统,取名小诸葛,作为ECS数据中台的异构机器学习算法加速引擎。搭载以上算法的小诸葛...
    文章 2020-06-18 757浏览量
  • 《Hadoop实战第2版》——1.1节什么是Hadoop

    所以用户可以利用Hadoop轻松地组织计算机资源,从而搭建自己的分布式计算平台,并且可以充分利用集群的计算和存储能力,完成海量数据处理。经过业界和学术界长达10年的锤炼,目前的Hadoop 1.0.1已经趋于完善,在...
    文章 2017-08-01 1683浏览量
  • 数据处理的核心技术有哪些?大数据平台方法

    Apache HBase: 是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群Apache Sqoop: 是一个用来将Hadoop和关系型数据库中的数据相互转移的...
    文章 2019-01-17 1321浏览量
  • 分布式架构全方位立体无死角解析

    从而对SOA到MSA进化有个立体的认识,从概念上和工具应用上更近一步了解微服务分布式的本质,身临其境的感受如何搭建全套微服务架构的过程。SOA面向服务架构 由于业务发展到一定层度后,需要对服务进行解耦,需要把...
    文章 2019-10-12 6378浏览量
  • 什么是HADOOP、产生背景、在大数据、云计算中的位置和...

    A.HADOOP分布式集群的平台搭建 B.HADOOP分布式文件系统HDFS的原理理解及使用 C.HADOOP分布式运算框架MAPREDUCE的原理理解及编程 D.Hive数据仓库工具的熟练应用 E.Flume、sqoop、oozie等辅助工具的熟练使用 F.Shell/...
    文章 2017-05-26 2710浏览量
  • 数据库架构演变过程

    那么MyCAT我们如何搭建集群呢?有的小伙伴可能会说了,我们再部署一个MyCAT,这个MyCAT和前一个MyCAT配置一样就可以了。是的,这只是其中的第一步,我们有了两个MyCAT连接数据库,那么我们的应用系统也需要连接两个...
    文章 2019-10-31 1135浏览量
  • 亿级流量电商详情页系统的大型高并发与高可用缓存架构...

    能够应对各种复杂场景与挑战问题的缓存架构如何设计与实现,高阶的缓存架构以及解决方案如何应对各种棘手的高并发场景下的难题,复杂的缓存架构所处的分布式系统本身如何能够设计为一个高可用的分布式系统架构。...
    文章 2017-06-23 6456浏览量
  • 分布式实时处理系统在高性能计算场景下的应用

    分布式实时处理系统:原理、架构与实现》作者,Hurricane实时处理系统主要贡献者,多部C++领域译作。大家好,我们今天主要讨论以下几个问题: 机器学习与实时处理系统应用 分布式计算拓扑搭建 消息算法调优 ...
    文章 2017-05-11 1661浏览量
  • 一文读懂分布式架构知识体系(内含超全核心知识大图)

    分布式计算系统构建在分布式存储的基础上,充分发挥分布式系统数据冗余灾备,多副本高效获取数据的特性,进而并行计算,把原本需要长时间计算的任务拆分成多个任务并行处理,从而提高了计算效率。分布式计算系统在...
    文章 2019-10-16 6154浏览量
  • 数据小视角4:小议Lambda 与 Kappa 架构,不可变...

    这个系列文章之前因为私事荒废了很久,继续更新~之前与老大谈论架构时,老大和我聊了聊分布式数据处理之中的Lambda结构,之前在《Designing Data-Intensive Applications》这本书之中,作者 Martin Kleppmann也在...
    文章 2018-08-08 2569浏览量
  • 分布式架构设计与技术分析|开发者社区精选文章合集...

    从概念上和工具应用上更近一步了解微服务分布式的本质,身临其境的感受如何搭建全套微服务架构的过程。gt;gt;点击阅读全文6 张图带你彻底搞懂分布式事务 XA 模式XA 协议是由 X/Open 组织提出的分布式事务处理规范,...
    文章 2021-08-26 105浏览量
  • 一句话说清分布式锁,进程锁,线程锁

    关于分布式锁,有过javaEE开发经验的就会说了,系统为了应对高并发,会搭建一个比如tomcat集群,集群内服务都是访问的同一台数据库,有多台服务器同时修改同一条数据数据的操作,但是我们并没有在服务器中使用分布...
    文章 2019-05-05 1080浏览量
  • 赠票福利|DTCC 2020数聚英雄,企业级分布式数据库实践...

    网商银行是典型的代表,开业五年来 PB 级数据量,以“三地五中心、异地多活”的单元化架构获得人民银行科技发展二等奖,全行系统完全自研、关系库完全基于分布式数据库 OceanBase,在分布式数据库的金融行业应用中有...
    文章 2020-12-16 174浏览量
  • 一名工作8年的Java架构师分享经验之如何成为一名架构...

    很多工作一定年限的程序员感觉自己到了...本次给大家推荐一个免费的学习群 744677563,里面概括Java分布式、高并发、JVM、高性能、微服务、区块链、大数据等技术,以及面试资源等。成就大神不是梦,还是要看你加不加
    文章 2018-05-18 1337浏览量
  • 李飞飞:云原生分布式数据库面临哪些机遇与挑战?

    如何确保数据不可更改这是下一代数据库的几个核心技术:下一代企业级数据库关键技术二 核心技术及产品1 企业级云原生分布式数据库下面结合我们的核心技术把这些背景、趋势实例化。云原生关系型数据库PolarDB第一个是...
    文章 2021-01-04 727浏览量
  • 【直播回顾】21天搭建推荐系统:帮你减少90%代码量

    《Faceu的分布式数据库实战》 《微博:内部Docker技术揭秘》 《有货:六层混合云架构打造中国最潮生态圈》 《美柚:最懂女性App背后的混合云架构与大数据服务》 《涂鸦科技:支撑从零暴增数十亿数据的背后,竟无专职...
    文章 2016-03-14 189195浏览量
  • 基于glusterfs和gearman的离线任务运算分布式化方案...

    Web前端服务,数据库服务相对是通用的技术服务,相关业务都大同小异,其分布式化在业界有相对很成熟和典型的架构模式解决方案,但是不同系统的后端离线业务功能可能千差外别五花八门,不同开发者开发出来的功能架构也...
    文章 2017-11-15 1204浏览量
  • 83期:PostgreSQL独孤九搞定物联网

    流行App脸萌Faceu的分布式数据库实战 微博:实现分钟级服务器成倍扩容 云栖大会 云栖大会·厦门峰会6月15日召开 数据野蛮生长,新能源变革如何应对?大拿在跨国机房数据同步等方面的最佳技术实践 专家推荐 清宵 清宵...
    文章 2016-09-12 2435浏览量
  • 弹性服务与容错处理

    下面讲述一下在阿里云Kubernetes容器服务基础之上,如何快速搭建一套分布式弹性服务与容错处理框架Hystrix及其监控仪表板。准备Kubernetes环境 阿里云容器服务Kubernetes 1.9.3目前已经上线,可以通过容器服务管理...
    文章 2018-05-25 4306浏览量
  • Hadoop大数据平台环境搭建注意事项,波若分布式数据...

    如何利用Hadoop大数据平台实现大数据的快捷处理呢?以及Hadoop环境搭建注意事项分析。Hadoop大数据平台选择注意事项: 1.环境的部署和搭建 前期准备:网络环境的搭建、Hadoop环境的部署、需要下载或者安装的Hadoop...
    文章 2019-05-17 725浏览量
  • 阿里云产品精选内容合集(四)|具体应用困难?...

    深入了解快戳我编译优化|LLVM代码生成技术详解及在数据库中的应用随着IT基础设施的发展,现代的数据处理系统需要处理更多的数据、支持更为复杂的算法。数据量的增长和算法的复杂化,为数据分析系统带来了严峻的性能...
    文章 2021-07-21 740浏览量
1 2 3 4 ... 58 >

云产品推荐

视频直播 大数据计算服务 MaxCompute 国内短信套餐包 ECS云服务器安全配置相关的云产品 开发者问答 阿里云建站 新零售智能客服 万网 小程序开发制作 视频内容分析 视频集锦 代理记账服务 阿里云AIoT 阿里云科技驱动中小企业数字化