• AIoT设备上云最佳实践集锦【持续更新,建议收藏】

    设备原始数据无需适配物模型,在物联网平台云端通过脚本实现二进制数据转换为物模型JSON格式立即查看 7、LoRa环境监测设备接入IoT云平台 在运营商网络覆盖弱区域,环境监测设备通过LoRa通信接入物联网平台,实现数据...
    文章 2019-09-30 18380浏览量
  • 互联网】Ping+上云 打造百万级交易量的大数据平台

    目前有包括原始基础表、ETL 结果表、上层 ADM 应用数据集市表在内的共计 630+张数据表。2.大数据开发套件(DataIDE):使用其中的 DAG 调度系统支撑每天例行化运行 140+个节点;利用提供的日志功能、报警机制、重跑...
    文章 2020-03-16 1395浏览量
  • DataHub应用场景有哪些?

    3.1 数据总线替换传统数据库,构建实时数仓从Lambda架构到Kappa架构,通过数据总线搭建原始数据层,实时明细层和实时汇总层,打造实时数据仓库。3.2 收益 统一的Kappa架构传统Lambda架构的两条链路缩减为一条,大大...
    文章 2020-06-15 522浏览量
  • 【云栖号案例|互联网】小打卡:快速部署大数据计算...

    1)在DataWork控制台创建工作空间小打卡将原始数据的采集层和中间公共数据的加工层分别部署在独立的项目中。2)DataWorks平台中集成了数据集成和MaxCompute等大数据产品,可以一站式的开发。在DataStudio(大数据集成...
    文章 2020-02-28 1457浏览量
  • 云场景实践研究第26期:基云惠康

    要知道人全基因组测序的原始数据一般在300G左右,压缩为fastq格式也要60G左右,怎么快速低成本的分析这些数据是一个比较棘手的问题。后来由于“云”的大势所趋,经过综合分析对比AWS、腾讯云、百度云和阿里云,公司...
    文章 2018-02-05 2006浏览量
  • 服务器断电导致虚拟机数据丢失怎么恢复?

    为确保客户原始数据的安全必须先将客户的数据盘连接到恢复环境服务器上准备对数据进行镜像备份,这一步中需要准备超过客户硬盘总容量的存储空间将数据以底层扇区的方式进行镜像备份。在案例中分析底层数据发现Xen ...
    文章 2017-11-14 1506浏览量
  • 从 0 到 1 搭建数据平台之数据采集系统

    我们不能直接在原始的业务数据库上直接操作&xff0c;因为分析的一些复杂 SQL 查询会明显的影响业务数据库的效率&xff0c;导致业务系统不可用。所以我们通常通过数据库采集系统直接与企业业务后台数据库服务器结合&xff0c;...
    文章 2022-08-03 308浏览量
  • 陈奇:IBM大数据的战略和技术优势

    在此基础上,IBM全面整合内部资源,搭建了融软件、硬件、服务为一体的大数据平台,为企业提供易执行、低成本、高效率的大数据解决方案。在行业方面,IBM为行业企业量身定制的大数据解决方案优势充分凸显,大数据制胜...
    文章 2017-09-28 2283浏览量
  • 热议话题回顾:数据上云和迁移中可能会遇到哪些问题-...

    网友anderson_520:请问,云上 mysql 中的数据怎么迁移到 gp 中进行分析?曾文旌:参考:https://yq.aliyun.com/articles/59917?spm=5176.8091938.0.0.leKWpm 曾文旌:我们开源的工具 mysql2pgsql 也可以做到,请...
    文章 2016-11-21 2894浏览量
  • 星辰大海:阿里数据体验技术揭秘!

    规范分析是数据分析的最终阶段,它已经可以解决我们怎么做的问题,类同于人工智能的终极阶段。而可视化在之前的几个阶段都有一一匹配的能力,这也是可视化与大部分认知不同的地方,可视化远远不只是解决数据如何展示...
    文章 2020-07-23 967浏览量
  • 数据之美-为你揭秘数据体验技术

    规范分析是数据分析的最终阶段,它已经可以解决我们怎么做的问题,类同于人工智能的终极阶段。而可视化在之前的几个阶段都有一一匹配的能力,这也是可视化与大部分认知不同的地方,可视化远远不只是解决数据如何展示...
    文章 2020-07-27 868浏览量
  • 使用Databricks作为分析平台

    在这个阶段所存储的数据都是原始JSON数据,是没有schema的,这类数据对于数据分析师来说是很难进行使用的。因此,第二步我们要对数据进行一些格式转换和清理,比较典型的做法是将JSON文件转换成Bucket,这一步也自带...
    文章 2020-07-21 1511浏览量
  • 通过Copy Data Virtualization实现数据库备份和容灾...

    5、那个CBT,针对NAS的非结构化数据怎么做?答:对于NAS,Actifio Agent有CBT的功能。6、Merge操作耗费的时间怎么评估?答:看数据量大小,Rman日志里面有记录详细的merge时间。7、Agent是在driver驱动层还是在文件...
    文章 2017-05-02 1670浏览量
  • 数据蒋堂】第44期:谈谈临时性计算

    大量涉及多样性的原始外部数据:很多计算的涉及数据并不在数据库中,比如收集上来的Excel表格,从网上爬下来的文本等,这些数据还常常以原始形式出现;常常涉及多步骤的过程计算:本来分析处理类的运算就会步骤比较...
    文章 2018-02-28 3405浏览量
  • GoolgeAppEngine Web开发之单元测试环境的搭建

    看来只能使用最原始的方法了。新建main方法并执行。Oh,my god!竟然还是这个异常。这到底是怎么回事儿?将单元测试中代码全部注释掉,执行。没有异常,执行正常。于是乎一点点的排查,终于发现只要用到gae数据操作就...
    文章 2017-11-22 1011浏览量
  • 云场景实践研究第40期:网聚宝

    我们通过十几个,几十个数据采集服务,把这些原始数据采集到数据中心。数据采集同时也承担了数据清洗和格式化的工作,这对于数据是否可以顺利进入数据中心非常重要。数据中心: 包含了OLTP层,ETL层和OLAP层这三个...
    文章 2018-02-06 1813浏览量
  • 互联网】驻云科技基于MaxCompute搭建社交好友推荐系统

    在一个人与人之间的社交关系服务中,原始数据每条Record包含两个字段,即user和friends,use唯一表示一个用户,friends是该用户的好友。例如A与B 是好友,我们可以通过这五个方式画出来,让机器去分析这些数据,需要...
    文章 2020-04-06 871浏览量
  • WEB 三维引擎在高精地图数据生产的探索和实践

    其中工作量最大的部分在于数据预建模处理,因为原始数据的表达更加抽象,为了更加真实的还原世界,需要做很多的逻辑计算,例如斑马线/导流带数据表述中只有外边的边框轮廓,为了渲染的更真实,需要根据数据的长短边...
    文章 2021-06-25 277浏览量
  • 某企业WSUS服务实例介绍

    该目录中存放的就是下载下来的补丁,可以使用各种备份软件或Xcopy工具进行备份,然后到内网的WSUS服务器上进行恢复,注意不要更改该目录下的层级结构,此处选择最原始的方法直接复制一份。3.只复制WsusContent目录到...
    文章 2017-11-12 1579浏览量
  • 陈磊-大数据风控:拍拍信的AI视角

    幸而大数据和AI技术使得这一切变为可能,拍拍信一直在做这方面的探索,旨在整合数据资源、充分发掘数据潜在 价值,帮助金融机构伙伴搭建和优化风控系统,本次陈磊将分享相关的实践经验和落地案例。当前消费金融规模...
    文章 2017-10-25 2288浏览量
  • 基于阿里云数加MaxCompute的企业大数据仓库架构建设...

    数加大数据直播系列课程,主要以基于阿里云数加MaxCompute的企业大数据仓库架构建设思路为主题,分享阿里巴巴的大数据怎么演变以及怎样利用大数据技术构建企业级大数据平台。本次分享嘉宾是来自阿里云大数据的技术...
    文章 2017-08-23 9277浏览量
  • FFMPEG任意文件读取漏洞靶场搭建过程

    原始服务器IP为192.168.222.13。当站点被迁移到其他机器,服务器IP变更为192.168.222.133时候,你再访问http://192.168.222.133/便会出现如下情况:站点无法正常显示,而且很慢。访问后台地址...
    文章 2017-09-12 3198浏览量
  • 从零开始,构建数据化运营体系

    我强调过尽可能的收集数据,然而原始数据那么多,怎么才能指导我们的业务呢?这要求我们从庞大的数据中找出方向。这时我们就要建立指标,指标就是我们的方向,它是业务和原始数据的连接器。可以这样说,指标在数据化...
    文章 2017-08-01 1624浏览量
  • 数据工程师的日常

    把各种数据源清洗转换为可用的数据,然后再基于原始数据搭建起宽表层,一般为了节省开发成本和服务器资源,都是基于宽表层查询出业务数据)11 搭建数据仓(离线数仓和实时数仓)总之就是离不开写 SQL.
    文章 2022-08-04 8浏览量
  • 从0到1搭建车企数字化营销中台(5):用户标签

    特征工程:特征工程指的是把原始数据转变为模型的训练数据的过程,它的目的就是获取更好的训练数据特征,使得机器学习模型逼近这个上限;模型训练:根据相关算法使用样本进行模型训练,常用算法有分类(逻辑回归、...
    文章 2020-07-16 1363浏览量
  • 【转载】时隔一年多,我又用起了 Superset

    我深知它的价值,只要有原始数据未来就可以拿它们计算出我们需要的结果。但是我又无法辩驳过 CTO 市面上已有那么多成熟的第三方数据平台可用,为什么一定要大费周章的自建埋点体系。我抛出的每个具体的理由都因为...
    文章 2019-09-24 16335浏览量
  • 万达控股快钱:有了支付 4项武器搭建不同电商

    在线下应用场景、线上资源、品牌效应、购物大数据4个方面搭建了一个独特的万达电商。首先,作为万达电商公司的操盘者,万达集团拥有丰富的线下应用场景,且在今年客流量超过15亿。掌握了线下核心资源,这样一来,...
    文章 2018-02-27 1482浏览量
  • 日志分析:从 ELK 到 SLS

    我的自建 ELK 里面存储大量的数据,通过全方位对比,决定转向使用 SLS,我的这些历史数据怎么迁移到 SLS?其实 SLS 早有方案,3个命令即可解决: gt;pip install aliyun-log-python-sdk aliyun-log-cli-U-no-cache ...
    文章 2020-04-03 1596浏览量
  • EB级别体量之下的高效数据赋能 ——云栖大会阿里大...

    通过业务逻辑对原始数据的加工和编排,最后以服务化的方式,把数据开放给上层应用。了解思路之后,我们再来看一下整个平台的构建过程,它们分别是在应用端和在服务端的构建引擎。对于应用端的构建引擎,需要注意的...
    文章 2017-10-19 12279浏览量
  • 杭州公司大数据面试题汇总

    用于存储原始数据的hadoop高可用架构的主备namenode节点之间是怎么保证数据同步的&xff1f;4.为什么要将主节点的写操作对应的editlog文件放在共享文件中&xff0c;而不是直接让备节点去主节点中拉取文件同步呢&xff1f;5....
    文章 2022-02-12 40浏览量
1 2 3 4 ... 20 >

云产品推荐

视频直播 大数据计算服务 MaxCompute 国内短信套餐包 ECS云服务器安全配置相关的云产品 开发者问答 阿里云建站 新零售智能客服 万网 小程序开发制作 视频内容分析 视频集锦 代理记账服务 阿里云AIoT 阿里云科技驱动中小企业数字化