• 关于

    存储元问题怎么解决

    的搜索结果
  • HDFS的基础总结及架构演进

    前言 截取知识星球的分享出来,也是对之前的 HDFS 进行一个补充,顺带让大家复习一下 前面两篇 HDFS 在这里: 带你入坑大数据(一) --- HDFS基础概念篇 带你入坑大数据(二) --- HDFS的读写流程和一些重要策略 Coutent 分散存储,冗余存储 这两点我可以展开说明一下,首先...

    文章 说出你的愿望吧 2020-07-16 334浏览量

  • 如何从根源上解决 HDFS 小文件问题

    我们知道,HDFS 被设计成存储大规模的数据集,我们可以在 HDFS 上存储 TB 甚至 PB 级别的海量数据。而这些数据的元数据(比如文件由哪些块组成、这些块分别存储在哪些节点上)全部都是由 NameNode 节点维护,为了达到高效的访问, NameNode 在启动的时候会将这些元数据全部加载到...

    文章 开源大数据EMR 2019-04-07 1623浏览量

  • 如何让快递更"快"?菜鸟自研定时任务调度引擎首次公开

    在中国物流快速发展的今天,日均包裹量已经突破1亿,如何确保1亿包裹在合理的时间之内送达收件人,并且能够在收件人反馈之前,及时处理那些没有在合理时间内运输的包裹,从而提高物流整个链路的时效体验,已经成为亟待解决的关键问题。 要想解决问题,首先要发现问题!有效、及时地发现问题离不开对这1亿包裹运输过...

    文章 技术小能手 2018-04-12 3261浏览量

  • 阿里云爆款特惠专场,精选爆款产品低至0.55折!

    1核2G ECS n4 89.64元/年,精选爆款产品低至0.55折!

    广告

  • 【沉淀】实例迁移、Insert和写入性能——数倍,甚至数十倍提升,HybridDB for MySQL负责人王骞谈自己经历和收获

    《沉淀》是云栖社区展示专家风采的人物栏目。它呈现每个专家独一无二的人生经历、认识和感悟的同时,也能帮助你沉淀技术,收获对技术和人生的判断。我们的想法是:“若你想精进为一个很厉害的人,不妨细细品味这些技术牛人背后的沉淀。”如果你想了解这些云栖专家更多分享时,请点击云栖专家频道,当然我们也欢迎你往前走...

    文章 【沉淀】 2017-10-19 8510浏览量

  • 数据湖存储架构选型

    本文内容来自由阿里云计算平台事业部与阿里云开发者社区联合主办的大数据+AI meetup 2020第二站·上海讲师郑锴的分享《数据湖存储架构选型》 一、数据湖是个潮流 简单来讲,数据湖的理念就是说从一个企业的视角来讲,把整个数据集中的统一的存储在一起,主要通过 BI 和 AI 的手段来计算分析原...

    文章 安妮Annie 2020-11-24 535浏览量

  • 68期:2015“双11”背后的关键技术专题

    云周刊 本周要点 查看更多 【盘点】2015“双11”背后的关键技术 回首这一年,盘点技术界的大事件必...

    文章 云栖徒骇 2016-02-24 2559浏览量

  • Delta Lake - 数据湖的数据可靠性

    今天笔者将分享一位大神关于 Delta Lake 的演讲内容。这位是 Apache Spark 的 committer 和 PMC 成员,也是 Spark SQL 的最初创建者,目前领导 Databricks 团队,设计和构建 Structured Streaming 和 Databricks D...

    文章 开源大数据EMR 2020-03-05 1507浏览量

  • 存储类型千千万,安全可靠又能挖掘数据价值的怎么甄选?

    【最新动态】 为数据计算提供强力引擎,阿里云文件存储 HDFS 公测 在2019年3月的北京峰会上,阿里云正式推出全球首个云原生 HDFS 存储服务—文件存储 HDFS ,为数据分析业务在云上提供可线性扩展的吞吐能力和免运维的快速弹性伸缩能力,降低用户 TCO 。阿里云文件存储 HDFS 的发布真...

    文章 株莉 2019-04-12 1586浏览量

  • 元数据驱动的 SaaS 架构与背后的技术思考

    道冲而用之或不盈,渊兮似万物之宗。 —老子 引言 作为业务系统技术开发同学,面向当下: 首先应该是快速搭建业务通路,让线上业务跑起来,快速试错,解决生存问题; 第二步是在链路畅通、业务基本跑起来的基础上,如何支撑业务跑得更快,就需要解决快速增长问题; 第三步,在完成支撑业务快...

    文章 中间件小哥 2021-01-12 2705浏览量

  • 捷讯技术分析块存储、文件存储、对象存储的区别和应用场景

    关于块存储、文件存储和对象存储,大家一定都不陌生,只是对于三者的本质区别和应用场景可能还不是很了解,今天阿里云湖北授权服务中心捷讯技术的小编就给大家简单单的聊聊吧。 一、块存储 典型设备:磁盘阵列,硬盘 块存储主要是将裸磁盘空间整个映射给主机使用的,就是说例如磁盘阵列里面有3块硬盘,然后可以通过划...

    文章 捷讯技术17 2018-07-19 3404浏览量

  • 服务器RAID信息丢失怎么恢复数据?

    【数据恢复故障描述】 客户服务器属于HP品牌DL380系列,存储是由6块73GB SAS硬盘组成的RAID5,操作系统是WINDOWS 2003 SERVER,主要作为企业部门内部的文件服务器来应用,主机(无UPS)故障前经历过几次意外断电,重启后RAID报错,提示无法找到存储设备,进入RAI...

    文章 北亚企安 2017-05-09 2037浏览量

  • 阿里云云原生数据湖分析DLA重磅发布-数据湖管理,助力企业一站式管理OSS数据湖存储数据

    一、什么是数据湖方案 数据湖当前在国内外是比较热的方案,MarketsandMarkets市场调研显示预计数据湖市场规模在2024年会从2019年的79亿美金增长到201亿美金。一些企业已经构建了自己的云原生数据湖方案,有效解决了业务痛点;还有很多企业在构建或者计划构建自己的数据湖,Gartner...

    文章 云原生数据湖分析DLA 2020-08-20 2047浏览量

  • 基于Tablestore的共享汽车管理平台

    前言 目前出行市场主要分为传统和新兴两个阵营:私家车、公共交通、出租车和长租车为传统出行提供服务,共享单车、网约车以及分时租赁共享汽车则是最近几年兴起的出行方式。_图1 出行方式分析_出行者往往是在成本和出行便捷之间权衡选择出行方式。从出行距离来看,在0~10公里以内,共享单车、网约车以及出租车兼...

    文章 lyan094 2019-05-21 2745浏览量

  • 胡喜:从 BASIC 到 basic ,蚂蚁金服技术要解决两个基本的计算问题

    导读:5 月 6 日,蚂蚁金服副 CTO 胡喜在 2019 年 QCon 上做了《蚂蚁金服十五年技术架构演进之路》的演讲。借此机会,也和大家深入讨论了一下蚂蚁金服对金融科技未来的判断,并首次对外曝光了蚂蚁金服技术人才培训体系以及 BASIC College 项目。 主要观点 蚂蚁金服过去十五年...

    文章 平生栗子 2019-05-09 1851浏览量

  • “单纯的数据库层面的优化是没有前途的”元芳你怎么看?

    元芳曰:单纯从数据库层面优化显然是不全面的,元芳觉得数据库一般在整个系统中是起承上启下的作用,一个系统的好坏应该从整体上看待,往往瓶颈点并不都是在数据库上,优化了数据库后还是没有解决问题。(1)首先应该从业务的角度来看系统是否满足需求,负载量是否是正常的,是不是由于数据增长量已经超出了承受能力,业...

    文章 技术小胖子 2017-11-14 875浏览量

  • 阿里封神-大数据处理技术漫谈

    以前一篇博客,从宏观描述了云梯1当时整体生态,年底了,笔者再梳理下软件栈,主要以开源软件为主,闭源不谈。大数据发展至今,开源软件层出不穷,也去解决了不同的问题,笔者试图去弄清楚这些,分门别类,后面也可以参照下。由于笔者知识面有限,难免会出现一些偏颇,不全,不正确,还请指正。后面也会有很多新的软件出...

    文章 封神 2016-03-31 9947浏览量

  • 十五年了,蚂蚁为何执着攻坚这两个技术堡垒?

    阿里妹导读:近日,蚂蚁金服副CTO 胡喜应邀做了《蚂蚁金服十五年技术架构演进之路》的演讲,分享蚂蚁金服对金融科技未来的判断,并首次对外公开蚂蚁金服技术人才培训体系以及 BASIC College 项目。 主要观点: 蚂蚁金服过去十五年,通过技术重塑了支付和微贷业务。Blockchain (区块链...

    文章 技术小能手 2019-05-10 3247浏览量

  • 一文带你了解云存储网关的计量项和计费项

    云栖号快速入门:【点击查看更多云产品快速入门】不知道怎么入门?这里分分钟解决新手入门等基础问题,可快速完成产品配置操作! 本文主要介绍云存储网关计费概况,包括计费项和计费方式,您可以通过本文了解云存储网关服务费用收取详情。 云存储网关资源的价格,请参见云存储网关产品定价。 计费项 云存储网关包括线...

    文章 小生生 2020-04-16 759浏览量

  • NAMENODE工作机制,元数据管理(元数据存储机制、元数据手动查看)、元数据的checkpoint、元数据目录说明(来自学习资料)

    NAMENODE工作机制 学习目标:理解namenode的工作机制尤其是元数据管理机制,以增强对HDFS工作原理的理解,及培养hadoop集群运营中“性能调优”、“namenode”故障问题的分析解决能力   问题场景: 1、集群启动后,可以查看目录,但是上传文件时报错,打开web页面可看到nam...

    文章 涂作权 2017-05-30 2108浏览量

  • Docker生态系统系列之三:服务发现和分布式配置存储

    本文讲的是Docker生态系统系列之三:服务发现和分布式配置存储,【编者的话】本文介绍了服务发现与全局可读配置存储两部分内容,不仅介绍了工作原理和工作方式,也介绍了与之相关的故障检测、重配置和安全问题,最后还介绍了常用的服务发现项目。整篇文章将这个知识点介绍的很全面细致,让读者能够对服务发现和全局...

    文章 轩墨 2017-09-13 3990浏览量

  • Ali-HBase的SQL实践与改进

    福利:国际顶级盛会HBaseCon Asia 2018将于8月在北京举行,目前正免费开放申请中,更多详情参考https://yq.aliyun.com/promotion/631 如果你对大数据存储、分布式数据库、HBase等感兴趣,欢迎加入我们,一起做最好的大数据在线存储,职位参考及联系方式:h...

    文章 杨晗 2018-07-27 3540浏览量

  • NAS资源包介绍

    资源包是什么? NAS资源包是对阿里云文件存储NAS的一种包年包月预付费抵扣方式,与普通的按量付费价格相比,资源包享有更高的折扣优惠。NAS资源包可以对指定地域的多个通用型文件系统同时抵扣,包括通用容量型、通用性能型和低频介质存储量。支持叠加购买资源包,以实现尽量精确的抵扣。 资源包比其他抵扣方式...

    文章 nas-hz 2021-01-29 1847浏览量

  • DataWorks 2020-06 产品月刊

    本月DataWorks产品月刊为您带来产品活动:1.限时折扣!DataWorks专业版原价5000元现仅需199元;独享数据集成资源组首月5折 产品功能更新:1.新增DataWorks首页,帮助新用户快速了解DataWorks的产品定位及使用场景,降低学习成本2.资源优化模块正式商业化,专业版以上...

    文章 zaid胡振宇 2020-07-16 601浏览量

  • Hadoop社区比 Ozone 更重要的事情

    作者:郑锴,花名铁杰,阿里巴巴高级技术专家,Apache Hadoop PMC,Apache Kerby 创立者。深耕分布式系统开发和开源大数据多年,目前专注于在阿里云上提供更好用更有弹性的 Hadoop/Spark 大数据平台。 最近几年忙着优化大客户上云使用 Hadoop / Spark 这...

    文章 开源大数据EMR 2020-05-06 1169浏览量

  • 领域模型vs数据模型,应该怎么用?

    作者 | 张建飞来源 | 阿里技术公众号依稀记得我第一次设计一个系统的时候,画了一堆UML(Unified Modeling Language,统一建模语言)图,面对Class Diagram(其实就是领域模型),纠结了好久,不知道如何落地。因为,如果按照这个类图去落数据库的话,看起来很奇怪,有点...

    文章 开发者小助手_LS 2021-01-13 1753浏览量

  • 深入理解 WordPress 数据库中的用户数据 wp_user

    WordPress 使用 wp_users 数据表存储用户的主要数据,该数据表结构类似于wp_posts 和 wp_comments 数据表,存储的是需要经常访问的用户数据,该数据表的结构以及该数据表与其他数据表的关系如下: WordPress 用户数据表关系(点击查看大图) 同时,WordPre...

    文章 suboysugar 2017-09-02 882浏览量

  • 没有云计算就没有大数据

    最近很多人跟我聊大数据,有客户,有朋友,还有应聘者。聊得越多却越怕谈大数据,为什么呢?比如有人跟我说他在做基因数据的大数据分析,我听到眼睛一亮,因为十几年前读书的时候做过一些基因序列分析方面的事情,知道这个很有价值但由于当时分析手段很落后也只得作罢,于是我赶紧问,你怎么分析?他说我把几千个人的基因...

    文章 驻云-肖凯 2016-11-16 1872浏览量

  • PgSQL · 特性分析 · 事务ID回卷问题

    背景 在之前的月报 PgSQL · 特性分析 · MVCC机制浅析中,我们了解到了: 事务ID(XID)使用32位无符号数来表示,顺序产生,依次递增 每个元组会来用(t_xmin, t_xmax)来标示自己的可用性 t_xmin 存储的是产生这个元组的事务ID,可能是insert或者up...

    文章 db匠 2018-03-22 2325浏览量

  • 【程序猿必备】数据结构与算法精选面试题

    有很多计算机科学技术专业的毕业生和程序员申请在Uber和Netflix这样的初创公司、谷歌和阿里巴巴这样的大公司以及Infosys或Luxsoft等以服务为基础的公司从事编程、编码和软件开发工作,但他们中的许多人都不知道,当你申请这些公司的职位时,你会遇到什么样的编程面试问题。 在这篇文章中,我将...

    文章 【方向】 2018-10-07 9262浏览量

  • 为什么 mysql 里的 ibdata1 文件不断的增长?

    一番调查后你意识到大多数地盘空间被 InnoDB 的共享表空间 ibdata1 使用。而你已经启用了innodb_file_per_table,所以问题是: ibdata1存了什么? 当你启用了innodb_file_per_table,表被存储在他们自己的表空间里,但是共享表空间仍然在存储其它的...

    文章 余二五 2017-11-23 1106浏览量

1 2 3 4 ... 27 >

云产品推荐

上海奇点人才服务相关的云产品 小程序定制 上海微企信息技术相关的云产品 国内短信套餐包 ECS云服务器安全配置相关的云产品 开发者问答 阿里云建站 自然场景识别相关的云产品 万网 小程序开发制作 视频内容分析 视频集锦 代理记账服务 阿里云AIoT 阿里云科技驱动中小企业数字化