• 数据库设计

    编号,输入的数据流,输出的数据流,组成:{数据结构},数据量,存取频度,存取方式}处理过程={处理过程名,说明,输入:{数据流},输出:{数据流},处理:{简要说明}}概念结构设计概念结构设计是将系统需求分析得到...
    文章 2020-04-23 454浏览量
  • 《大数据、小数据、无数据:网络世界的数据学术》一 ...

    按照第1章中的分析,“何为数据”这一问题可以更好地诠释为“数据产生”问题数据在学术活动中扮演何种角色是个有趣而重要的问题,该问题阐释了将某些事物转化为数据的过程。个人、团队和社区如何创造、选择和使用...
    文章 2017-09-08 859浏览量
  • 数据架构如何做到批一体?

    结果视图如何支持 ad-hoc 查询分析,一个解决方案是在 Kappa 基础上衍生数据分析流程,如下图4,在基于使用Kafka+Flink 构建 Kappa 计算数据架构,针对Kappa 架构分析能力不足的问题,再利用 Kafka 对接组合 ...
    文章 2019-07-01 4982浏览量
  • 直播疑难杂症排查(7)—黑屏、花屏、闪屏问题

    很多直播 App,横屏直播和竖屏直播,使用的是不同的推尺寸,当主播由竖屏推改为横屏推,同时又不改变推地址的话,观众端拉到的会出现中间发生了视频尺寸的变化,比如:从 848 x 480 变成了 1280 x 720 ...
    文章 2017-11-27 3933浏览量
  • 软件工程之软件需求分析

    尽管工作人员的姓名也可 以用做其身份标识,但不同的工作人员有可能会出现姓名重复,因此有必要为工作人员设置一 个专门的身份标识码。(4)仓库以商品品种为基本单位进行管理,所有商品都要由计划部门按品种进行...
    文章 2018-08-19 1087浏览量
  • 数据库相关岗位面试准备建议

    filter,recheck 的区别,为什么会出现 数据库有哪些JOIN方法,分别适合什么场景,有什么约束,优化器如何选择使用什么方法,影响优化器选择的因素有哪些,以及每一种的JOIN原理 bloom filter在优化器中的应用有哪些 ...
    文章 2018-10-05 2261浏览量
  • 数据流被污染?数据质量不高?蚂蚁金服数据资产管理...

    当某个业务同学录入数据的时候出现一点错误,就造成数据的质量问题,比如把客户的行业信息填错或者打错了一个字都会造成数据质量问题,而这样的问题很容易出现。在基于传统数据库资产开发数据应用的时候,基本都是...
    文章 2019-02-27 3219浏览量
  • 从 Storm 迁移到 Flink,美团外卖实时数仓建设实践

    还有一个问题,同一个源,写了很多 SQL,每一次提交都会起一个数据流,比较浪费资源,我们的解决方案是,通过同一条流实现动态指标的生产,在不停服务的情况下可以动态添加指标。所以在实时平台建设过程中,更多考虑...
    文章 2020-10-21 9722浏览量
  • 美团外卖实时数仓建设实践

    还有一个问题,同一个源,写了很多 SQL,每一次提交都会起一个数据流,比较浪费资源,我们的解决方案是,通过同一条流实现动态指标的生产,在不停服务的情况下可以动态添加指标。所以在实时平台建设过程中,更多考虑...
    文章 2020-11-17 687浏览量
  • Lyft 基于 Flink 的大规模准实时数据分析平台(附FFA...

    对于 Flink 而言,因为平台的要求是达到准实时,而 Flink 的 Job 出现失效的时候可能超过一定的时间,当 Job 重新开始之后就形成两个数据流,主数据流总是从最新的数据开始往下执行,附加数据流则可以回溯到之前...
    文章 2019-12-17 813浏览量
  • Lyft 基于 Flink 的大规模准实时数据分析平台(附FFA...

    对于 Flink 而言,因为平台的要求是达到准实时,而 Flink 的 Job 出现失效的时候可能超过一定的时间,当 Job 重新开始之后就形成两个数据流,主数据流总是从最新的数据开始往下执行,附加数据流则可以回溯到之前...
    文章 2019-12-17 2425浏览量
  • 数据领域33个预测,开启未知的2016

    Kafka及其他流分析系统(比如Spark和Storm)补充数据库,成为跨应用程序和数据中心管理数据的整个企业堆栈的关键部分。大数据让娱乐更加“娱乐” 喜欢鼓乐?FirstFuel Software公司的首席数据科学家Badril ...
    文章 2017-05-02 1035浏览量
  • 海量数据下的舆情分析,该如何搭建?

    在一些极端情况下会出现数据不一致的问题,开源方案也很难做到跨系统的一致性比对。3.查询接口需要维护两套API,需要同时使用Hbase client和Solr client,索引中没有的字段需要主动反查Hbase,易用性较差。参考文献 ...
    文章 2019-07-26 1591浏览量
  • 《驾驭大数据》一3.2 多个行业:文本数据的价值

    产品首次发布,然后开始出现投诉,文本分析可以识别出客户在哪些方面存在问题。我们甚至可以做到在客服电话接二连三打进来之前,先把问题识别出来。这样我们就能更快地、更积极地做出响应。公司可以及时地做出反应,...
    文章 2017-05-02 1031浏览量
  • 花旗银行是如何借助大数据创造商业效益的

    西蒙尼认为,跟很多其它的行业一样,银行业和金融业将被实时流分析技术即将带来的进步彻底改变。“在我们目前所执行过的众多使用案例当中,”他说,“只有一小部分是实时分析的。从整个行业来看,我们将看到...
    文章 2017-07-03 1332浏览量
  • 数据分析在物联网发展中的重要性

    当我们谈论物联网时,我们脑海中闪现的第一件事就是巨大的数据流,它影响组织的数据存储。因此,必须准备数据存储以存储此额外数据量。由于物联网数据对存储基础架构的影响,许多公司正在向平台即服务(PaaS)模式...
    文章 2019-02-26 1478浏览量
  • 趣头条基于 Flink+ClickHouse 构建实时数据分析平台

    数据可回溯,方便异常排查:当日活下降,需要回溯排查是哪些指标口径的逻辑问题,比如是报的数据差异或是数据流 Kafka 掉了,或者是因为用户没有上报某个指标导致日活下降,而 Flink 则无法进行回溯。计算快,一个...
    文章 2020-04-02 3452浏览量
  • 企业部署大数据分析项目成功的秘诀

    出于其本身性质而言,大数据分析项目中我们遇到海量的数据集。但是海量数据并不代表一个企业的所有数据,也不是相关数据源中的所有信息都需要我们来进行分析。企业需要确定哪些数据具有战略价值,能够为分析服务。...
    文章 2017-09-01 1190浏览量
  • 基于MaxCompute的媒体大数据开放平台建设

    首先,由于媒体行业大部分数据都是非结构化的数据造成对单字段的容量要求比较大的问题。而且不同的平台和传输工具对于数据的字段大小的限制不同。在从不同平台做数据传输时,尤其需要关注这个问题。第二,能用...
    文章 2020-05-09 1487浏览量
  • DARTS 数据流图与数据词典

    为表达稍为复杂的实际问题需要按照问题的层次结构进行逐步分解,并以分层的数据流图反映这种结构关系。先把整个数据处理过程暂且看成一个加工,它的输入数据和输出数据实际上反映了系统与外界环境的接口。这就是分层...
    文章 2009-07-22 1046浏览量
  • 数据流

    数据流图(数据流程图 Data Flow Diagram):简称DFD,它从数据传递和加工角度,以图形方式来表达系统的逻辑功能、数据在系统内部的逻辑流向和逻辑变换过程,用于回答软件系统“做什么”的问题,是结构化系统分析...
    文章 2016-02-19 5664浏览量
  • Flink 在爱奇艺广告业务的实践

    另外,在做数据分析的时候,除了最新最稳定的实时数据之外,同时也实时+离线做分析查询,此外还包括数据跨源和查询性能等要求。1.2 实时数仓-挑战数据进度服务:需要在时效性和完整性之间做一个权衡。数据稳定性:...
    文章 2021-08-03 1303浏览量
  • 基于MaxCompute的媒体大数据开放平台建设

    首先,由于媒体行业大部分数据都是非结构化的数据造成对单字段的容量要求比较大的问题。而且不同的平台和传输工具对于数据的字段大小的限制不同。在从不同平台做数据传输时,尤其需要关注这个问题。第二,能用...
    文章 2019-02-19 5239浏览量
  • Flink在快手的应用实践与技术演进之路

    进一步对问题分析,发现:该场景下,Flink 内部基于 RocksDB State 状态存储时,获取某个 Join key 值某段范围的数据,是通过前缀扫描的方式获取某个 Join key 前缀的 entries 集合,然后再判断哪些数据在相应的时间...
    文章 2019-07-26 1224浏览量
  • 数据研究趋于商业化 回顾2016大数据领域成果|

    并且,2017年将会出现更多的基于这些大数据研究的应用项目,包括机器学习、认知计算以及预测分析等。不过,随着数据量的增加,应用项目的逐渐丰富,用户的数据安全问题也将变得日益严峻,这一点在2017年也不会有很大...
    文章 2018-04-23 889浏览量
  • 2016年大数据领域成果及趋势

    并且,2017年将会出现更多的基于这些大数据研究的应用项目,包括机器学习、认知计算以及预测分析等。不过,随着数据量的增加,应用项目的逐渐丰富,用户的数据安全问题也将变得日益严峻,这一点在2017年也不会有很大...
    文章 2017-08-01 1413浏览量
  • 美甲帮:玩转指甲上的大数据平台

    在稳定性方面,自己部署会碰到很多问题,例如数据会出现一些问题以致需要回滚,或者数据保存时会出现非常大的问题等等,而在阿里云上则不会出现这些问题,因此选择阿里云是一个比较稳健的选择;在可拓展性方面,阿里...
    文章 2017-02-20 5361浏览量
  • 数据科学与大数据分析——数据的发现 分析 可视化与...

    经理、董事和领导者们需要开始具备一定的数据专业专员的素质,这样他们才能拥有更宽阔的视野,知道哪些问题可以使用数据来解决。第3类:技术和数据支持人员。这类人才掌握的专业技术知识可以用于支持分析项目,例如...
    文章 2017-05-02 1849浏览量
  • Facebook的实时处理技术——Scuba是Facebook的一个...

    该图阐述了Facebook实时处理系统的数据流,数据从左侧的移动和Web产品中产生,然后被送入Scribe(一个分布式数据传输系统),而Puma、Stylus和Swift等实时流处理系统则从Scribe中读取数据并将处理结果写入Scribe。...
    文章 2017-11-15 1488浏览量
  • 快手QoE指标设计的分析初探

    QoE与QoS指标之间的关系,在大规模数据集下,规律是非常稳定的,但是在分析具体问题的时候,情况往往发生变化,因为实际影响QoE指标的因素太多,QoS指标只是其中一个因素,在QoS指标在短时间下降,没有差到无法...
    文章 2018-08-20 1669浏览量
1 2 3 4 ... 66 >

云产品推荐

视频直播 大数据计算服务 MaxCompute 国内短信套餐包 ECS云服务器安全配置相关的云产品 开发者问答 阿里云建站 新零售智能客服 万网 小程序开发制作 视频内容分析 视频集锦 代理记账服务 阿里云AIoT 阿里云科技驱动中小企业数字化