• 关于

    spark读取es数据库

    的搜索结果
  • Spark入门介绍

    前言 Spark自从2014年1.2版本发布以来,已成为大数据计算的通用组件。网上介绍Spark的资源也非常多,但是不利于用户快速入门,所以本文主要通从用户的角度来介绍Spark,让用户能快速的认识Spark,知道Spark是什么、能做什么、怎么去做。具体的概念可以参考spark社区的相关文章 S...

    文章 云hbase+spark 2019-06-22 2143浏览量

  • 【南京Meetup】在CloudEdge中,通过ES实践解决ElasticLog产品问题

    2018 Elastic Meetup南京交流会,由赵伟带来以“ElasticLog with ES in CloudEdge”为题的演讲。本文首先介绍了CloudEdge与ElasticLog是什么,其次介绍了产品的构架图以及ES的作用,最后介绍了ES在实践过程中需要设计Index、分配Shar...

    文章 黯灭_邓彬 2018-07-25 1437浏览量

  • Elasticsearch生态&技术峰会 | Elasticsearch基于Pipeline窗口函数实现实时聚合计算

    开源最大的特征就是开放性,云生态则让开源技术更具开放性与创造性,Elastic 与阿里云的合作正是开源与云生态共生共荣的典范。值此合作三周年之际,我们邀请业界资深人士相聚云端,共话云上Elasticsearch生态与技术的未来。本篇内容是力萌信息数据技术专家李猛带来的Elasticsearch基于...

    文章 工程师甲 2021-03-22 377浏览量

  • Quick BI 数据可视化分析平台

    2020年入选全球Gartner ABI魔力象限,为中国首个且唯一入选BI产品

    广告

  • 回顾《网易数据基础平台建设》

    分享嘉宾:蒋鸿翔 网易 数据科学中心 首席架构师内容来源:DataFun Talk《网易数据基础平台建设》 首先简单介绍一下网易杭州研究院情况简介,如下图所示: 我们公司主要从事平台技术开发和建设方面,工作的重点方向主要在解决用户在数据治理中的各种问题,让用户能更高效地管理自己的数据,进而产生...

    文章 开源大数据EMR 2020-02-05 358浏览量

  • 回顾《网易数据基础平台建设》

    分享嘉宾:蒋鸿翔 网易 数据科学中心 首席架构师内容来源:DataFun Talk《网易数据基础平台建设》 首先简单介绍一下网易杭州研究院情况简介,如下图所示: 我们公司主要从事平台技术开发和建设方面,工作的重点方向主要在解决用户在数据治理中的各种问题,让用户能更高效地管理自己的数据,进而产生...

    文章 开源大数据EMR 2020-02-04 192浏览量

  • 陆豪:云数据库HBase产品架构场景解析

    2018数据库直播大讲堂峰会HBase专场,阿里云技术专家陆豪带来云数据库HBase产品架构场景解析。本文主要谈及了云HBase产品架构,进而着重分享了云HBase应用场景解析和典型客户案例,接着介绍了云HBase内核优化及特性,最后对云HBase平台运维和稳定性保障作了简要分享。直播视频:htt...

    文章 云迹九州 2018-01-29 4501浏览量

  • CarbonData集群模式体验

    官方提供了一个快速上手的 Quick-Start ,不过是采用spark-shell local模式的。我这里在实际集群环境做了下测试,并且记录了下过程,希望对大家有所帮助。 前言 之前专门写过一篇CarbonData的文章;由CarbonData想到了存储和计算的关系。可惜碍于时间问题到现在才...

    文章 祝威廉 2016-09-11 4842浏览量

  • 结构化大数据分析平台设计

    前言  任何线上系统都离不开数据,有些数据是业务系统自身需要的,例如系统的账号,密码,页面展示的内容等。有些数据是业务系统或者用户实时产生的,例如业务系统的日志,用户浏览访问的记录,系统的购买订单,支付信息,会员的个人资料等。大多数企业对内,对外有很多这样的线上系统,这些数据是驱动业务发展,决策和...

    文章 宇珩 2019-09-25 14242浏览量

  • 结构化大数据分析平台设计

    前言  任何线上系统都离不开数据,有些数据是业务系统自身需要的,例如系统的账号,密码,页面展示的内容等。有些数据是业务系统或者用户实时产生的,例如业务系统的日志,用户浏览访问的记录,系统的购买订单,支付信息,会员的个人资料等。大多数企业对内,对外有很多这样的线上系统,这些数据是驱动业务发展,决策和...

    文章 宇珩 2019-09-20 1029浏览量

  • 进击的 Flink:网易云音乐实时数仓建设实践

    作者 | 汪磊(网易云音乐 / 数据平台开发专家)整理 | 杨涛(Flink 社区志愿者) 如何基于 Flink 的新 API 升级实时数仓架构? 背景介绍 网易云音乐从 2018 年开始搭建实时计算平台,到目前为止已经发展至如下规模: 机器数量:130+ 单 Kafka 峰值 QPS:400W...

    文章 阿里云实时计算Flink 2020-07-24 1583浏览量

  • 融合趋势下基于 Flink Kylin Hudi 湖仓一体的大数据生态体系

    本文由 T3 出行大数据平台负责人杨华和资深大数据平台开发工程师王祥虎介绍 Flink、Kylin 和 Hudi 湖仓一体的大数据生态体系以及在 T3 的相关应用场景,内容包括:湖仓一体的架构Flink/Hudi/Kylin 介绍与融合T3 出行结合湖仓一体的实践这个分享有三个部分,首先探讨湖仓一...

    文章 阿里云实时计算Flink 2021-04-19 15浏览量

  • 如何自行搭建一个威胁感知大脑 SIEM?| 硬创公开课

       近年来态势感知、威胁情报等等新词不断出现,其实万变不离其宗,它们都是利用已知的数据来判断风险,甚至预知未发生的威胁。这如同一个老练的探险者孤身穿行在原始丛林,他能轻巧自然地避开蛇虫鼠蚁,用脚印来预知猛兽的威胁。这一切都依赖于他那颗善于思考,经验丰富的大脑。 在网络安全的原始森林里,SIEM...

    文章 boxti 2017-08-03 886浏览量

  • 如何自行搭建一个威胁感知大脑 SIEM?| 硬创公开课

           近年来态势感知、威胁情报等等新词不断出现,其实万变不离其宗,它们都是利用已知的数据来判断风险,甚至预知未发生的威胁。这如同一个老练的探险者孤身穿行在原始丛林,他能轻巧自然地避开蛇虫鼠蚁,用脚印来预知猛兽的威胁。这一切都依赖于他那颗善于思考,经验丰富的大脑。 在网络安全的原始森林里,...

    文章 boxti 2017-08-09 1644浏览量

  • BIGO 实时计算平台建设实践

    BIGO 全球音视频业务对数据的实时能力要求越来越高,数据分析师希望多维度实时看到新增用户、活跃用户等业务数据以便尽快掌握市场动向,机器学习工程师希望实时拿到用户的浏览、点击等数据然后通过在线学习将用户偏好快速加入到模型中,以便给用户推送当前最感兴趣的内容,APP 开发工程师希望能够实时监控 AP...

    文章 阿里云实时计算Flink 2020-08-21 582浏览量

  • DB 与 Elasticsearch 混合应用之数据离线同步

    作者介绍 李猛,Elastic Stack 深度用户,通过 Elastic 工程师认证,2012年接触 Elasticsearch,对 Elastic Stack 技术栈开发、架构、运维等方面有深入体验,实践过多种大中型项目;为企业提供 Elastic Stack 咨询培训以及调优实施;多年实战经...

    文章 工程师甲 2020-06-03 807浏览量

  • MySQL 的 join 功能弱爆了?

    大家好,我是历小冰,今天我们来学习和吐槽一下 MySQL 的 Join 功能。 关于MySQL 的 join,大家一定了解过很多它的“轶事趣闻”,比如两表 join 要小表驱动大表,阿里开发者规范禁止三张表以上的 join 操作,MySQL 的 join 功能弱爆了等等。这些规范或者言论亦真亦假,...

    文章 程序员历小冰 2020-11-11 728浏览量

  • 谈谈互联网后端基础设施

    纵观整个互联网技术体系再结合公司的目前状况,个人认为必不可少或者非常关键的后端基础技术/设施如下图所示: Api网关 业务应用和后端基础框架 缓存、数据库、搜索引擎、消息队列 文件存储 统一认证中心 单点登录系统 统一配置中心 服务治理框架 统一日志服务 数据基础设施 故障监控 这里的...

    文章 jurassic_1 2016-12-09 4976浏览量

  • 阿里巴巴飞天大数据平台E-MapReduce 4.0最新特性

    本文作者:王晓平,阿里云智能计算平台事业部高级产品经理以下内容根据演讲视频以及PPT整理而成。本次的分享主要围绕以下三个方面:一、EMR产品概述二、EMR产品新特性三、EMR Road Map 一、产品概述 E-MapReduce(EMR)是什么E-MapReduce是阿里云上云原生的开源大数据平...

    文章 KB小秘书 2020-05-09 539浏览量

  • 在 EMR 中使用 Mongo-Hadoop

    在 EMR 中使用 Mongo-Hadoop Mongo-Hadoop 是 MongoDB 推出的用于 Hadoop 系列组件连接 MongoDB 的组件。其原理跟我们上一篇文章介绍的 ES-Hadoop 类似。EMR 中已经集成了 Mongo-Hadoop,用户不用做任何部署配置,即可使用 Mo...

    文章 xy_xind 2018-06-22 2217浏览量

  • 2020 年软件开发趋势预测,Java 将占主导,Python 将要吞噬世界。

    基础设施:条条道路通云端 对于云厂商来说,2019 年是硕果累累的一年。不仅初创公司在使用云计算,那些很注重安全的“保守派”公司(如政府机构、医疗保健机构、银行、保险公司,甚至是美国五角大楼)也在迁移到云端。这种趋势在 2020 年将会继续,大大小小的公司都将(或者至少有计划)迁移到云端。Gart...

    文章 开发者社区 2020-01-06 1035浏览量

  • 阿里云PB级实时数仓建设

    摘要 如今,数据和分析对于企业来说是不可或缺的。很多企业的数据工程师、数据分析师和开发人员都希望将数据仓库迁移到云上,以提高性能和降低成本。本文讨论了实现实时数据仓库的必要性和实时数据模型,介绍了基于AnalyticDB构建阿里云实时数据仓库解决方案的方法和优势。 为什么构建数据仓库 为什么要构...

    文章 悦畅 2019-04-20 12489浏览量

  • “数据湖”:概念、特征、架构与案例

    写在前面:最近,数据湖的概念非常热,许多前线的同学都在讨论数据湖应该怎么建?阿里云有没有成熟的数据湖解决方案?阿里云的数据湖解决方案到底有没有实际落地的案例?怎么理解数据湖?数据湖和大数据平台有什么不同?头部的云计算玩家都各自推出了什么样的数据湖解决方案?带着这些问题,我们尝试写了这样一篇文章,希...

    文章 skin778 2020-05-19 6901浏览量

  • E-MapReduce 4.0产品新特性

    演讲嘉宾:王晓平,花名子关,高级产品经理 视频回放地址:https://developer.aliyun.com/live/1402?spm=a2c6h.12873587.0.0.560314b8CiquAr 以下内容根据演讲视频以及PPT整理而成。本次的分享主要围绕以下三个方面: 一、EMR产...

    文章 开源大数据EMR 2019-10-23 4903浏览量

  • 谈谈互联网后端基础设施

    本文更新于2016.12.12, 加入了扩展章节 对于一个互联网企业,后端服务是必不可少的一个组成部分。抛开业务应用来说,往下的基础服务设施做到哪些才能够保证业务的稳定可靠、易维护、高可用呢?纵观整个互联网技术体系再结合公司的目前状况,个人认为必不可少或者非常关键的后端基础技术/设施如下图所示: ...

    文章 微wx笑 2018-01-15 1197浏览量

  • Hadoop和大数据:60款顶级开源工具

    虽然此文尽力做到全面,但难免遗漏,欢迎大家补充,点击文末右下角“写评论”,分享你的观点。 说到处理大数据的工具,普通的开源解决方案(尤其是Apache Hadoop)堪称中流砥柱。弗雷斯特调研公司的分析师Mike Gualtieri最近预测,在接下来几年,“100%的大公司”会采用Hadoop。...

    文章 小旋风柴进 2017-05-02 1433浏览量

  • 大数据环境下该如何优雅地设计数据分层

    发个牢骚,搞大数据的也得建设数据仓库吧。而且不管是传统行业还是现在的互联网公司,都需要对数据仓库有一定的重视,而不是谈一句自己是搞大数据的就很厉害了。数据仓库更多代表的是一种对数据的管理和使用的方式,它是一整套包括了etl、调度、建模在内的完整的理论体系。现在所谓的大数据更多的是一种数据量级的增大...

    文章 隐林 2017-07-20 38200浏览量

  • 日志分析:SLS vs ELK

    背景 提到日志实时分析,大部分人第一想到是社区很火ELK Stack(Elastic/Logstash/Kibana)。ELK方案上手难度小、开源材料众多、在社区中有大量的使用案例。阿里云日志服务(SLS/Log) 是阿里巴巴集团对日志场景的解决方案产品,前身是2012年初阿里云在研发飞天操作系统...

    文章 简志 2019-01-02 12147浏览量

  • 阿里云实时大数据解决方案,助力企业实时分析与决策

    性能高1倍,价格低3/4!数据库实时同步新选择! 实时分析决策的第一步就需要将数据实时同步到大数据计算引擎,DataWorks数据集成采用自研高性能引擎,在相同的机器规格情况下,RDS实时同步性能最高为其他数据同步方案的2倍,而价格可低至其1/4。通过DataWorks数据集成,企业可以进行高效、...

    文章 小攻云攻略 2020-12-23 581浏览量

  • 阿里云实时大数据解决方案,助力企业实时分析与决策

    简介: 2020年双11,云原生实时数仓首次在阿里巴巴双11核心数据场景落地,实现商业全链路实时化,毫秒级海量数据处理能力。搜索推荐业务数据开发效率提升4倍,菜鸟物流包裹数据链路从小时级优化到3分钟,考拉分钟及小时业务1分钟内完成,大数据的实时分析与决策在瞬息万变的市场竞争中成为了标品!今天,我们...

    文章 DataWorks团队 2020-12-24 3024浏览量

  • 实时离线融合在唯品会的进展:在实时技术、数据、业务中寻找平衡

    实时大数据分析是指对规模巨大的数据进行分析,利用大数据技术高效的快速完成分析,达到近似实时的效果,更及时的反映数据的价值和意义。 所有人都能理解数据的时效性对于数据的价值至关重要。以唯品会为例,唯品会已经有一整套非常成熟的离线数据仓库系统。这套系统对于业务有非常大的指导意义,但目前碰到的问题是如何...

    文章 玄学酱 2017-08-02 1770浏览量

1 2 >

云产品推荐

上海奇点人才服务相关的云产品 小程序定制 上海微企信息技术相关的云产品 国内短信套餐包 ECS云服务器安全配置相关的云产品 开发者问答 阿里云建站 自然场景识别相关的云产品 万网 小程序开发制作 视频内容分析 视频集锦 代理记账服务 阿里云AIoT