• 《企业大数据系统构建实战:技术、架构、实施与应用》...

    针对常见的大数据工作,例如实时处理、交互性分析、数据挖掘、机器学习、离线批处理海量数据SQL查询、数据可视化、商业智能、推荐引擎等,方案中的数据分析需求通过什么技术来实现,各自的优化点和增强点有哪些;...
    文章 2017-05-02 3203浏览量
  • 《机器人操作系统ROS原理与应用》——3.2 如何选择...

    针对常见的大数据工作,例如实时处理、交互性分析、数据挖掘、机器学习、离线批处理海量数据SQL查询、数据可视化、商业智能、推荐引擎等,方案中的数据分析需求通过什么技术来实现,各自的优化点和增强点有哪些;...
    文章 2017-05-02 1454浏览量
  • 《大数据管理概论》一2.6 大数据融合的驱动枢纽

    对于海量性和高速性,主要解决的是它们带来的负面影响,对这两个因素的处理直接关系到大数据融合的性能和效率。海量性和高速性迫使传统的多项式时间算法不再适用,需要权衡精度与速度(效率),大致有4种解决思路:...
    文章 2017-05-02 1813浏览量
  • 仁人帮探索大数据技术

    他们是目前最重要的三大分布式计算系统,Hadoop常用于离线的复杂的大数据处理,Spark常用于离线的快速的大数据处理,而Storm常用于在线的实时的大数据处理。以及阿里云推出的数加,它也包括了大数据计算服务...
    文章 2017-10-10 3972浏览量
  • 智能运维(AIOps)中几处问题的解决方案与思路

    海量数据处理”这是一个宏大的命题,听上去让人一头雾水,但当你对“事件”或者需要处理的问题分类后,每一部分看上去就是一个可以解决的问题了。我们会在《智能运维》一书中详细介绍如何对海量“事件”进行分类和...
    文章 2018-08-16 3036浏览量
  • 扫平日志分析路上障碍,实时海量日志加工实践直播培训

    从异常错误监控,到异常错误排查框架流程,通过实战覆盖数据加工各个阶段的错误排查手段,包括:初始化错误排查,读取错误,加工错误,输出错误等 成喆 8月29日 19:30-20:30 直播资料下载(待发布) 扫码观察直播:日志服务...
    文章 2019-08-06 2255浏览量
  • 阿里、百度、美团都在用的‘高并发系统设计’;...

    秒杀活动"、"抢红包"、"微博热搜"、"12306抢票"、"共享单车拉新"等都是高并发的典型业务场景,那么如何解决这些业务场景背后的难点问题呢?秒杀系统中,QPS达到10万/s时,如何定位并解决业务瓶颈?明星婚恋话题不断弓...
    文章 2020-05-22 2034浏览量
  • 带你读《企业数据湖》之三:Lambda架构:一种数据湖...

    该模式是一种概念:通过使用两个重要组件来处理海量数据,这两个组件分别是批处理层和快速处理层。Nathan把他的发现和经验概括为Lambda架构,该架构需要满足一些重要的架构设计原则,例如: 线性可扩展原则:它应该...
    文章 2019-10-20 2534浏览量
  • 开源大数据周刊-2018年08月03日 第95期

    如何解决AI的大数据困境?杨强提出联邦迁移学习 2018中国人工智能大会在深圳举行。会上,国际人工智能联合会(IJCAI)主席、AAAI/ACM/IEEE Fellow、香港科技大学教授杨强发表了题为《AI面临的挑战和迁移学习所带来的...
    文章 2018-08-03 1606浏览量
  • 2017年12月19-20日 阿里云 飞天/智能 云栖大会-北京...

    产品定位:通过提供海量数据即席分析、电子报表制作及拖拽式可视化分析能力,助力企业实现业务数据化,实现人人都是数据分析师。Quick BI核心能力 丰富的数据源接入 多样的数据源支持:MaxCompute、RDS、Mysql、...
    文章 2017-12-21 2797浏览量
  • 数据时代的五大商业分析技术趋势

    例如,随着越来越多的公司开始不得不面对海量数据以及考虑如何利用这些数据,管理与分析大型不同数据集的技术开始出现。提前分析成本与性能趋势意味着公司能够提出比以前更为复杂的问题,提供更为有用的信息以 帮助...
    文章 2017-04-03 983浏览量
  • 日志服务数据加工培训直播资料汇总:扫平日志分析路上...

    分享介绍日志服务数据...从异常错误监控,到异常错误排查框架流程,通过实战覆盖数据加工各个阶段的错误排查手段,包括:初始化错误排查,读取错误,加工错误,输出错误等视频回顾:https://yq.aliyun.com/live/1350PPT下载:...
    文章 2019-08-29 1238浏览量
  • 世界杯直播背后的实时日志分析

    实时处理:在秒级别对海量数据进行实多维度聚合统计分析 表格存储:实时统计后的各类监控指标 对象存储:日志打包压缩,供用户离线下载 数据仓库:数据离线分析、用户行为分析、物业报表等场景 日志系统涉及的平台 从...
    文章 2018-09-09 1841浏览量
  • 一个系统,搞定闲鱼服务端复杂问题告警-定位-快速处理

    SLS 是阿里云研发针对日志类数据的一站式服务,其生命周期管理(TTL)以及极低的存储成本可以很好的解决海量数据带来的成本问题。实时计算 实时计算以数据采集的输出作为输入,负责对数据进行一轮预处理,包括链路数据...
    文章 2019-08-29 2751浏览量
  • 带你读《企业数据湖》之二:数据湖概念概览

    该机制的一种常见实现策略是通过构建企业级数据湖来提供统一的企业数据模型,在该机制中,数据湖负责捕获数据处理数据、分析数据,以及为消费者系统提供数据服务。数据湖能从以下方面帮助到企业: 实现数据治理...
    文章 2019-10-19 1278浏览量
  • 《Hadoop与大数据挖掘》一导读

    早在2012年,大数据(big data)一词已经被广泛提起,人们用它来描述和定义信息爆炸时代产生的海量数据,并命名与之相关的技术发展与创新。那时就有人预计,从2013年至2020年,全球数据规模将增长10倍,每年产生的...
    文章 2017-06-26 3220浏览量
  • 菜鸟+Hologres=智能物流

    2.更快的全链路处理速度(2亿记录端到端3分钟)全量数据处理所需的时间是非常重要的指标,设想某一天新发布的数据处理代码有bug,新产出的数据不可用,即使修复了代码,还得继续解决已经存在的错误数据,此时就要跑...
    文章 2020-08-10 6596浏览量
  • Delta Lake-数据湖的数据可靠性

    Delta Lake 提供了ACID事务、可伸缩的元数据处理以及统一的流和批数据处理。它运行在现有的数据湖之上,与 Apache Spark API完全兼容。因为 Michael 的演讲视频我也是粗略听过,到现在也忘记差不多了。不过,根据 ...
    文章 2020-03-05 2082浏览量
  • 数据的风险和现存问题

    对于海量数据数据的计算能力随着分布式缓存、基于MPP的分布式数据库、分布式文件系统、各种NoSQL分布式存储方案等新技术的普及可以解决,但这只是关于数据处理的第一步(甚至这种处理方式本身都存在很大风险),还并...
    文章 2017-04-03 1594浏览量
  • 《大数据管理概论》一2.4 数据融合技术

    对于新获取的3种知识所包含的实体、关系以及实体属性信息中可能包含大量冗余信息和错误信息,所以需要通过实体链接技术和冲突解决技术对实例和关系进行统一化处理以减少数据冗余;并且直接抽取的关系都是扁平化的...
    文章 2017-05-02 2153浏览量
  • 一个系统,搞定闲鱼服务端复杂问题告警-定位-快速处理

    SLS是阿里云研发针对日志类数据的一站式服务,其生命周期管理(TTL)以及极低的存储成本可以很好的解决海量数据带来的成本问题。实时计算 实时计算以数据采集的输出作为输入,负责对数据进行一轮预处理,包括链路数据...
    文章 2019-07-24 11743浏览量
  • Lambda plus:云上大数据解决方案

    最后我们将介绍如何结合云上存储、计算组件,实现更优的通用大数据架构模式,以及该模式可以涵盖的典型数据处理场景。大数据处理的挑战 现在已经有越来越多的行业和技术领域需求大数据分析系统,例如金融行业需要...
    文章 2019-05-29 2980浏览量
  • 什么是数据湖?有什么用?

    企业会在其多个业务系统中产生海量数据,随着企业体量增大,企业也需要更智能地处理这些横跨多个系统的数据。一种最基本的策略是采用一个单独的领域模型,它能精准地描述数据并能代表对总体业务最有价值的那部分数据...
    文章 2019-05-19 2453浏览量
  • 数据架构如何做到流批一体?

    今天,我们都会一一解读,并介绍如何结合云上存储、计算组件,实现更优的通用大数据架构模式,以及该模式可以涵盖的典型数据处理场景。大数据处理的挑战 现在已经有越来越多的行业和技术领域需求大数据分析系统,...
    文章 2019-07-01 4904浏览量
  • SLS:海量日志数据管理利器

    针对这些问题,我们最主要的解决方法是采用分布式、批处理以及多级索引技术。由于日志大部分情况下是连续流格式,所以我们对相邻日志进行切块,每块数据内部通过bitmap和linkedlist进行索引存储,而块则通过倒排索引...
    文章 2016-12-25 10204浏览量
  • 什么是数据湖,有什么用?

    企业会在其多个业务系统中产生海量数据,随着企业体量增大,企业也需要更智能地处理这些横跨多个系统的数据。一种最基本的策略是采用一个单独的领域模型,它能精准地描述数据并能代表对总体业务最有价值的那部分数据...
    文章 2019-08-04 792浏览量
  • 人工智能如何提升大数据存储与管理效率?

    现在,如果以神经元计算的话,那就是相当于2.5亿个人类大脑的海量数据。而且,相同的估计表明,全球总数据的90%是从2016年到2018年生成的。可以简单地说,每天生成越来越多的数据,这正增加了存储工作负载的规模和...
    文章 2020-10-27 7874浏览量
  • 双11数据大屏背后的秘密:大规模流式增量计算及应用

    这是个技术人的好时代,仅数据库领域热门DB就有300+,围绕着Hadoop生态圈的大数据处理技术更是繁花似锦。在云栖社区2017在线技术峰会大数据技术峰会上,阿里云大数据计算平台架构师钱正平做了题为《大规模流式增量...
    文章 2017-03-13 6084浏览量
  • 高精地图技术专栏|基于空间连续性的异常3D点云修复...

    本文会从MTA问题产生的原理、激光应对MTA的内部机制、数据处理算法三方面来介绍高精资料处理是如何解决这个问题的。图1 MTA问题数据2.MTA原理那么,MTA究竟是怎样产生的呢?这要从激光的测量原理说起。2.1 激光测距...
    文章 2021-03-16 5232浏览量
  • 《大数据系统构建:可扩展实时数据系统构建原理与最佳...

    你也许会很惊讶地发现,如果采取这种方法,在网络分区时,你会遇到海量数据丢失的情况。导致这种情况的原因是,分布式数据库通过保存所有被存储信息的多个副本来实现高可用性。当你保存了相同信息的多份副本时,即使...
    文章 2017-05-02 1402浏览量
1 2 3 4 ... 19 >

云产品推荐

视频直播 大数据计算服务 MaxCompute 国内短信套餐包 ECS云服务器安全配置相关的云产品 开发者问答 阿里云建站 新零售智能客服 万网 小程序开发制作 视频内容分析 视频集锦 代理记账服务 阿里云AIoT 阿里云科技驱动中小企业数字化