mysql导入千万级数据库

  • MySQL批量SQL插入各种性能优化

    对于一些数据量较大的系统,数据库面临的问题除了查询效率低下,还有就是数据入库时间长。特别像报表系统,每天花费在数据导入上的时间可能会长达几个小时或十几个小时之久。因此,优化数据库插入性能是很有意义的。   经过对MySQL innodb的一些性能测试,发现一些可以提高insert效率的方法,供大家...

    文章 努力酱 2017-05-02 1462浏览量

  • AnalyticDB for MySQL最佳实践总结

    表设计的最佳实践: ADB做为一个分布式的,追求实时分析海量数据的极致性能,需要充分发挥分布式数据库的优势,满足ADB达到最佳性能的特征要求,对表的设计时,需要注意以下几点规则。 1.选择合适的表类型(维度表or普通表): 维度表:又称广播表,数据仓库中的一个概念,一般存储一些维度数据。在ADB中...

    文章 1075413323293034 2020-07-31 404浏览量

  • 数据库产品事业部月刊(2019年8—9月)

    一、重点事件 1,2019杭州云栖大会(9月25日-27日) 1) 主论坛:飞刀代表数据库团队分别在26日阿里云主论坛、27日开发者峰会上发表主题演讲;演讲内容:数据库的AI和大数据能力,AI for DB、DB for AI;其中,26日主论坛上重磅发布了POLARDB Box数据库一体机...

    文章 Roin123 2019-10-24 1394浏览量

  • Quick BI 数据可视化分析平台

    2020年入选全球Gartner ABI魔力象限,为中国首个且唯一入选BI产品

    广告

  • 技术解析:阿里云 AnalyticDB 如何实现全球性能第一

    前言 随着云时代全面到来,企业数据需求不断变化,从传统的 Big Data 逐渐向 Fast Data 演进,主要表现在如下 4 个方面(部分数据参考 Gartner、IDC): 数据规模爆炸性增长,到 2020 年全球数据预计会到 40ZB,而到 2025 年还会继续增长 4 倍以上。 企业上...

    文章 茶什i 2020-05-13 708浏览量

  • 自研云原生数据仓库AnalyticDB再破权威评测TPC-DS世界纪录!

    北京时间 2020/5/4 青年节,TPC(全球最知名非盈利的数据管理系统评测基准标准化组织)官网正式上线AnalyticDB TPC-DS成绩,AnalyticDB通过严苛的TPC-DS全流程测试,性能QphDS分数为14895566,性价比分数为0.08CNY,相比较基于Spark深度优化版的...

    文章 skin778 2020-05-10 1262浏览量

  • 阿里巴巴MaxCompute亮相VLDB2017

    8月28日-9月1日,第四十三届VLDB会议在德国慕尼黑举行。阿里巴巴在本届VLDB展区重点展示了MaxCompute、ApsaraDB、AliSQL、AnalyticDB和POLARDB等数据库和数据处理技术,引起现场与行业专家学者的注意和交流探讨。 VLDB,全称International...

    文章 隐林 2017-09-08 4245浏览量

  • 毫秒级从百亿大表任意维度筛选数据,是怎么做到的...

    作者:闲鱼技术-才思 1、业务背景 随着闲鱼业务的发展,用户规模达到数亿级,用户维度的数据指标,达到上百个之多。如何从亿级别的数据中,快速筛选出符合期望的用户人群,进行精细化人群运营,是技术需要解决的问题。业界的很多方案常常需要分钟级甚至小时级才能生成查询结果。本文提供了一种解决大数据场景下的高效...

    文章 闲鱼技术 2018-11-27 5231浏览量

  • 从Oracle迁移到MySQL的各种坑及自救方案

    讲师介绍  冯帅 点融网高级DBA   获有Oracle OCM、MySQL OCP,目前从事MySQL相关的运维和架构工作,擅长异构数据库交互。   当企业内部使用的数据库种类繁杂时,或者有需求更换数据库种类时,都可能会做很多数据迁移的工作。有些迁移很简单,有些迁移可能就会很复杂,大家有没有...

    文章 稀奇古怪 2017-05-17 2478浏览量

  • 从Oracle迁移到MySQL的各种坑及自救方案

    当企业内部使用的数据库种类繁杂时,或者有需求更换数据库种类时,都可能会做很多数据迁移的工作。有些迁移很简单,有些迁移可能就会很复杂,大家有没有考虑过为了顺利完成复杂的数据库迁移任务,都需要考虑并解决哪些问题呢?   在以前的工作中,我迁移过Oracle到Informix、Oracle和SQLSer...

    文章 技术小美 2017-11-13 1296浏览量

  • 《企业迁云实战》——3.4 应用改造实践

    3.4 应用改造实践 在完成阿里云上应用系统架构设计后,开始进入实施阶段,对应用系统进行架构和代码级的编码改造实施工作。3.4.1 应用架构改造在应用架构改造中,主要涉及负载均衡改造、Web和应用层改造、服务化改造几方面问题。1 . 负载均衡改造原有系统Web、应用服务器采用硬件负载均衡设备F5或...

    文章 华章计算机 2017-09-04 2780浏览量

  • MySQL批量SQL插入性能优化

    对于一些数据量较大的系统,数据库面临的问题除了查询效率低下,还有就是数据入库时间长。特别像报表系统,每天花费在数据导入上的时间可能会长达几个小时或十几个小时之久。因此,优化数据库插入性能是很有意义的。 对于一些数据量较大的系统,数据库面临的问题除了查询效率低下,还有就是数据入库时间长。特别像报表...

    文章 技术小阿哥 2017-11-28 1061浏览量

  • 阿里内部分享:大数据业务平台两年发展历程

          这篇文章来自一个公司内部的分享,是自己所服务的业务中数据平台的发展历程,已经讲了有几个月了,最近打算挑几个点拿出来用文章的形式写出来。是自己进入公司以来参与过或者接触过的数据型项目的情况。基本包含了业务数据分析的整个流程。这篇文章纯文字描述,没有任何图呵呵。所以看我需要耐心。 1、最早...

    文章 小旋风柴进 2017-04-03 1739浏览量

  • 在MySQL和PostgreSQL之外,为什么阿里要研发HybridDB数据库?

    2016-12-09 来源:InfoQ 作者:萧少聪 阿里云为什么要做HybridDB?Pivotal么看待阿里云此举?Pivotal中国研发中心总经理冯雷(Ray Feng)、阿里云数据库总负责人余锋(褚霸)于12月13日线上发布会剖析自己的想法。点击回顾视频:除了发布外,我们还想告诉你——阿...

    文章 yq传送门 2016-12-09 13214浏览量

  • MySQL批量SQL插入性能优化

    对于一些数据量较大的系统,数据库面临的问题除了查询效率低下,还有就是数据入库时间长。特别像报表系统,每天花费在数据导入上的时间可能会长达几个小时或十几个小时之久。因此,优化数据库插入性能是很有意义的。 经过对MySQL innodb的一些性能测试,发现一些可以提高insert效率的方法,供大家参考...

    文章 杨粼波 2017-10-09 2137浏览量

  • HiStore:阿里巴巴海量数据场景下的OLAP解决方案

    摘要:7月27日,云栖社区、阿里中间件举办了首届阿里巴巴中间件技术峰会,揭秘阿里10年分布式技术干货。在首届阿里巴巴中间件技术峰会上,阿里巴巴中间件技术专家焦方飞为大家分享阿里巴巴海量数据场景下的OLAP解决方案,此外还对阿里新推出的高性能时序数据库进行了简单介绍,精彩不容错过。 本次分享的主...

    文章 焦先 2017-08-08 4531浏览量

  • HiStore:阿里巴巴海量数据场景下的OLAP解决方案

    摘要:7月27日,云栖社区、阿里中间件举办了首届阿里巴巴中间件技术峰会,揭秘阿里10年分布式技术干货。在首届阿里巴巴中间件技术峰会上,阿里巴巴中间件技术专家焦方飞为大家分享阿里巴巴海量数据场景下的OLAP解决方案,此外还对阿里新推出的高性能时序数据库进行了简单介绍,精彩不容错过。以下内容根据演讲嘉...

    文章 场景研读 2017-08-04 10063浏览量

  • AnalyticDB MySQL拥抱云原生,强力支撑双十一

    AnalyticDB MySQL拥抱云原生,强力支撑双十一 前言 阿里云在2020年11月,成功入选Gartner全球数据库领导者象限,云原生数据仓库AnalyticDB是阿里云数据库产品矩阵中重要的一环。今年双十一阿里实现了4982亿元的成交额,每年双十一购物狂欢节都是云原生数据仓库Analyt...

    文章 云原生数据仓库 2020-11-30 109浏览量

  • [喵咪大数据]初识大数据

    大数据互联网时代下大家耳熟能详的名词,但是我们离大数据有多远呢?从2011Hadoop1.0问世到现在,渐渐地大数据解决方案已经趋向成熟,笔者觉得也是时间来学习接触一下大数据解决一些在工作中实际遇到的一些棘手的问题,今天开始笔者会带来一整套亲生在大数据里面探索的经验已经一些实践经验来与大家一同分享...

    文章 喵了个咪_ 2020-08-11 52浏览量

  • 大数据开发套件—数据集成常见问题

    我们在进行大数据开发过程中,会遇到各种问题,本文将定期收集整理一些在使用阿里云数加 大数据开发套件 过程中遇到的常见问题,供大家参考~ Q: 配置数据同步任务,在选择数据源时,出现下图中的错误,该怎么办? A: 建议您刷新页面,清空缓存,重新登录。 Q:数据同步时,如何进行增量同步?A: 具体操作...

    文章 tge4 2017-05-26 2873浏览量

  • MySQL批量SQL插入性能优化

           对于一些数据量较大的系统,数据库面临的问题除了查询效率低下,还有就是数据入库时间长。特别像报表系统,可能每天花费在数据导入上的时间就会长达几个小时之久。因此,优化数据库插入性能是很有意义的。        网络上的牛人很多,总会有一些手段可以提高insert效率,大家跟我一起分享一...

    文章 龙轩8023 2014-02-28 777浏览量

  • 大数据时代结构化存储云HBase技术架构及最佳实践

    在10年,阿里研究HBase,是为了解决阿里容量及并发的实际问题,按照数据库要求,阿里深入HBase技术,并致力于保障稳定性和性能,目前已经有10000台规模,数百个集群,大约1亿的QPS,服务整个集团的业务。17年,把这部分能力也开放给公有云客户。本文中,阿里云高级专家封神带来了主题演讲《大数据...

    文章 场景研读 2017-09-04 10598浏览量

  • 【内含福利】专访阿里数据库备份专家 教你pick最有效的备份系统

    数据库备份是个老生常谈的话题,看似很简单,但在实际操作过程中,运维人员往往会遇到这样或那样的坑。 那么,如今的数据库备份有哪些挑战?如何构建有效备份系统?有什么解决办法?日前,小编就这些问题采访了阿里数据库备份专家衡铁刚(佩恩)。 阿里数据库备份专家衡铁刚(佩恩) 先问个小白问题:数据库为什么...

    文章 七幕 2018-08-10 2766浏览量

  • 如何打造千万级Feed流系统?阿里数据库技术解读

    2017年的双十一又一次刷新了记录,交易创建峰值32.5万笔/秒、支付峰值25.6万笔/秒。而这样的交易和支付等记录,都会形成实时订单Feed数据流,汇入数据运营平台的主动服务系统中去。数据运营平台的主动服务,根据这些合并后的数据,实时的进行分析,进行实时的舆情展示,实时的找出需要主动服务的对象等...

    文章 初商 2019-08-05 768浏览量

  • 表格存储技术方案实践及客户案例分享

    表格存储是一款2014年10月份正式商业化的NoSQL数据存储服务,在商业化之前,早在2010年就在阿里云内部开始使用,云邮箱和云OS都是表格存储最早的一批用户。到目前,无论是在阿里集团内部还是在公共云环境上,在移动社交、金融风控、电商物流、存储备份、物联网IoT、日志监控、大数据分析报表等领域都...

    文章 表格存储 2016-06-29 5281浏览量

  • 如何打造千万级Feed流系统?阿里数据库技术解读

    2017年的双十一又一次刷新了记录,交易创建峰值32.5万笔/秒、支付峰值25.6万笔/秒。而这样的交易和支付等记录,都会形成实时订单Feed数据流,汇入数据运营平台的主动服务系统中去。数据运营平台的主动服务,根据这些合并后的数据,实时的进行分析,进行实时的舆情展示,实时的找出需要主动服务的对象等...

    文章 技术小能手 2017-11-24 5102浏览量

  • 车联网上云最佳实践(二)

    云上对标架构及技术详解我们对传统IDC应用架构进行分析之后,我们发现之前的系统架构存在一些不合理的地方导致了很多的痛点,为了解决这些痛点我们最终考虑上云。开始思考怎样利用云上产品来解决目前遇到的痛点。例如  为了解决我们自建IDC底层基础设施可靠性差的问题,我们改用云计算服务,基础设施可靠...

    文章 云攻略小攻 2018-08-31 3080浏览量

  • 车联网上云最佳实践(三)

    三、云上对标架构及技术详解 我们对传统IDC应用架构进行分析之后,我们发现之前的系统架构存在一些不合理的地方导致了很多的痛点,为了解决这些痛点我们最终考虑上云。开始思考怎样利用云上产品来解决目前遇到的痛点。例如       为了解决我们自建IDC底层基础设施可靠性差的问题,我们改用云计算服务,...

    文章 zkw9527 2018-08-23 3106浏览量

  • 国内在线预订模式开创者驴妈妈旅游网:如何在混合云上搭建产品数据分析系统

    直播视频: (点击图片观看) 3月11日云栖社区在线实时分享顺利结束,本次由驴妈妈技术副总邵汉成分享了驴妈妈旅游网基于混合云的OTA行业数据分析、精准运营和大数据用户推荐。本次视频直播的整理文章、视频整理完毕,如下面内容。 系统发展历程 在驴妈妈旅游网成立初期,整体系统...

    文章 场景研读 2016-03-15 22271浏览量

  • MyISAM InnoDB 区别

    MyISAM 和 InnoDB 讲解  InnoDB和MyISAM是许多人在使用MySQL时最常用的两个表类型,这两个表类型各有优劣,视具体应用而定。基本的差别为:MyISAM类型不支持事务处理等高级处理,而InnoDB类型支持。MyISAM类型的表强调的是性能,其执行数度比InnoDB类型更快,...

    文章 wangccsy 2011-06-08 565浏览量

  • 大数据与机器学习:实践方法与行业案例.1.2数据平台

    1.2数据平台 数据平台是存放分析数据的平台,也是支持大多数数据分析和数据挖掘应用的底层平台,它使用了统一的数据清洗与处理规则,因而可以保证从基础平台上输出的数据内容是一致的。 传统的数据平台基本等同于大家熟悉的“数据仓库”,但互联网浪潮让人们对数据采集、存储和应用提出了越来越高的要求,传统数据...

    文章 华章计算机 2017-05-02 1973浏览量

1 2 3 >

云产品推荐

阿里云大学 云服务器ECS com域名 网站域名whois查询 开发者平台 小程序定制 小程序开发 国内短信套餐包 开发者技术与产品 云数据库 图像识别 开发者问答 阿里云建站 阿里云备案 云市场 万网 阿里云帮助文档 免费套餐 开发者工具 企业信息查询 小程序开发制作 视频内容分析 企业网站制作 视频集锦 代理记账服务 企业建站模板