• 关于

    c# 存储 批量数据

    的搜索结果

回答

下面从用户和产品层面来理解两类计算方式的区别。 • 批量计算 批量计算是一种批量、高时延、主动发起的计算。目前绝大部分传统数据计算和数据分析服务均是基于批量数据处理模型:使用ETL系统或者OLTP系统进行构造数据存储,在线的数据服务(包括Ad-Hoc查询、DashBoard等)通过构造SQL语言访问上述数据存储并取得分析结果。这套数据处理的方法论伴随着关系型数据库在工业界的演进而被广泛采用。传统的批量数据处理模型如下图所示。 i. 装载数据 对于批量计算,用户需要预先将数据加载到计算系统,您可以使用ETL系统或者OLTP系统装载原始数据。系统将根据自己的存储和计算情况,对于装载的数据进行一系列查询优化、分析和计算。 ii. 提交请求 系统主动发起一个计算作业(例如MaxCompute的SQL作业,或Hive的SQL作业)并向上述数据系统进行请求。此时计算系统开始调度(启动)计算节点进行大量数据计算,该过程的计算量可能非常大,耗时长达数分钟乃至于数小时。由于数据累计处理不及时,上述计算过程中可能就会存在一些历史数据,导致数据不新鲜。 说明 您可以根据业务需要随时调整计算SQL后再次提交作业,您甚至可以使用AdHoc查询做到即时修改即时查询。 iii. 返回结果 计算作业完成后将数据以结果集形式返回给用户,由于保存在数据计算系统中的计算结果数据量巨大,需要用户再次集成数据到其他系统。一旦数据结果巨大,整体的数据集成过程就会漫长,耗时可能长达数分钟乃至于数小时。 • 实时计算 实时计算是一种持续、低时延、事件触发的计算作业。相对于批量计算,流式计算整体上还属于比较新颖的计算概念。由于当前实时计算的计算模型较为简单,所以在大部分大数据计算场景下,实时计算可以看做是批量计算的增值服务,实时计算更强调计算数据流和低时延。实时计算数据处理模型如下。 i. 实时数据流 使用实时数据集成工具,将实时变化的数据传输到流式数据存储(例如消息队列、DataHub)。此时数据的传输实时化,将长时间累积的大量数据平摊到每个时间点,不停地小批量实时传输,因此数据集成的时延得以保证。 源源不断的数据被写入流数据存储,不需要预先加载的过程。同时,流计算对于流式数据不提供存储服务,数据持续流动,在计算完成后就被立刻丢弃。 ii. 提交流式任务 批量计算要等待数据集成全部就绪后才能启动计算作业,而流式计算作业是一种常驻计算服务。实时计算作业启动后,一旦有小批量数据进入流式数据存储,流计算会立刻计算并得出结果。同时,阿里云流计算还使用了增量计算模型,将大批量数据分批进行增量计算,进一步减少单次运算规模并有效降低整体运算时延。 从用户角度,对于流式作业,必须预先定义计算逻辑,并提交到流式计算系统中。在整个运行期间,流计算作业逻辑不可更改。用户通过停止当前作业运行后再次提交作业,此时之前已经计算完成的数据是无法重新再次被计算。 iii. 实时结果流 不同于批量计算,结果数据需等待数据计算结果完成后,批量将数据传输到在线系统。流式计算作业在每次小批量数据计算后,无需等待整体的数据计算结果,会立刻将数据结果投递到在线/批量系统,实现计算结果的实时化展现。 使用实时计算的顺序如下: iv. 提交实时计算作业。 v. 等待流式数据触发实时计算作业。 vi. 计算结果持续不断对外写出。 计算模型差别对比。

LiuWH 2020-03-22 17:01:33 0 浏览量 回答数 0

问题

表格存储支持的操作有什么

云栖大讲堂 2019-12-01 20:54:13 1487 浏览量 回答数 0

问题

云数据库 HBase版的应用场景

云栖大讲堂 2019-12-01 21:31:12 1243 浏览量 回答数 0

Quick BI 数据可视化分析平台

2020年入选全球Gartner ABI魔力象限,为中国首个且唯一入选BI产品

问题

表格存储的 API 分为哪几类

云栖大讲堂 2019-12-01 20:55:27 1241 浏览量 回答数 0

回答

当然要批量导入啊。 excel转换成特定SQL文件然后导入数据库。 这里去重,可以考虑一张临时表。 然后插入数据可以使用如mysql的ignore : insert ignore into table_main(id,phone,other)  select id,phone,other from table_temp_uuid; ###### 引用来自“vvtf”的评论 当然要批量导入啊。 excel转换成特定SQL文件然后导入数据库。 这里去重,可以考虑一张临时表。 然后插入数据可以使用如mysql的 ignore : insert ignore into table_main(id,phone,other)  select id,phone,other from table_temp_uuid; 临时表方案靠谱。###### 首先,判断重复用数据库的uniq来做(程序里处理uniq的报错),而不是自己写代码另外去判断。 大数据量的导入建议用csv,读一行导一行,内存占用小。如果非要用excel,记得服务器内存要设置大点。 ######你说的那两个字段加入唯一约束 . 然后开启事务,循环插入,如果插入失败,则改为更新(或你自己的逻辑). 这样快,但肯定很消耗CPU. ######为什么不在list里面去重,再一次导入######这样数据库只需要批量插入的时候维护一次索引,如果修改的其他字段没建索引,那么update是不需要维护索引的######看能不能插入之前拆出2个list,一个是重复的,一个是不重复的(这样拆之前需要select……for update,防止其他事务修改数据)###### 引用来自“death_rider”的评论 为什么不在list里面去重,再一次导入 赞同。具体设计问题不明确不好给意见。不过系统和算法设计中有点是可以肯定的:逻辑处理和数据载入尽量分开。 在单纯的算法设计中,往往不会去考虑数据迁移的成本,这是比较理科的分析方式,而在系统开发过程中,数据迁移的成本是必须要考虑的,这是工程化的必然。 数据迁移,这里是广义上的,包括,数据的转移,从磁盘到外部存储(主板上所谓的内存),从外部存储到片内存储(soc,cpu的内部cache,差异在于无需外部总线);也包括,通过网络在不同处理设备之间的转移;同时还包括数据的结构调整,如数据清洗在逻辑层面的工作。 楼主应该考虑数据的预清洗或后处理。当然具体用哪种更合适,还要自己根据数据的来源,数据之间的关联性,数据处理的实时性等要求来判断。 哈,反正是个系统设计层面的工作。不是工具选择层面的事务。 ######回复 @首席打酱油 : 把需要比对的,做md5等散列数据,可把大概率数据测出来。只有命中时才进行比对。这些工作,需要额外的数据组织,同时需要额外的编程。这些数据过滤的算法,如果用c我看不出有啥太大计算量。######目测楼主说的不能重复不仅是指Excle中的数据不能重复,而且还要Excel中的数据和现有数据库中的数据不能重复,所以不能单纯的把Excle中的数据加载到List中内存去重###### 引用来自“vvtf”的评论 当然要批量导入啊。 excel转换成特定SQL文件然后导入数据库。 这里去重,可以考虑一张临时表。 然后插入数据可以使用如mysql的 ignore : insert ignore into table_main(id,phone,other)  select id,phone,other from table_temp_uuid; 一般怎么把EXCEL转换成SQL文件呢?######如果你的excel本来就是符合load data infile的文件格式, 都不需要解析的。######就是解析excel啊。所以这个方案的耗时也就是解析excel这里。当然这可能也浪费不了多少时间的。 我这里是对MySQL的方案。 解析成对应的MySQL能解析的。比如load data infile。 或者批量insert也行。 然后source。6W条瞬间插入的。######数据直接用com接口导出(服务器处理),分布式处理也行,但是不做任何处理,极限速度,10w体积很小的,1m?连1个高清png的大小都没有,数据也是可以压缩的,重复的数据会压缩很多,上传和带宽不是瓶颈,主要是数据逻辑处理和数据库瓶颈,你处理的时候解析到内存,一个瓶颈,倒入数据库又temp table,还是内存,数据库的内存,又一个瓶颈######你要懂服务器编程才行啊,很多处理单机导出数据还可以,服务器就不这么处理了,还有就是数据库,知道temp table,stor procedure,导入导出,那是数据库初级而已######主要问题在“ Excel文档转List花费4m”,只能异步了。

kun坤 2020-06-08 19:23:25 0 浏览量 回答数 0

回答

什么是 OSS 生命周期管理?如何利用生命周期管理来帮助降低 OSS 存储成本? 通过生命周期规则,您可以更高效的管理您存储的数据,节省大量人力及存储成本。您可以通过设置匹配特定前缀的规则,定期将非热门数据转换为低频访问或归档存储,将不再需要访问的数据删除。例如: 某医疗机构的医疗档案,上传至OSS后半年内需要偶尔访问,半年后基本不再访问。可以通过设置生命周期规则,将已上传180天的医疗档案转为归档存储。 某公司服务热线的录音文件,上传至OSS后2个月内,需要作为数据统计及核查的依据,2个月后偶尔访问,半年后基本不再访问,2年后数据不再需要存储。可以通过设置生命周期规则,设置录音文件上传60天后转为低频访问存储,180天后转为归档存储,730天后删除。 您也可以通过生命周期规则批量删除Bucket的数据。例如:存储空间内有大量文件需要全部删除,但是手动删除每次仅可以删除最多1000个文件,删除时比较麻烦。您可以配置一条匹配整个Bucket的生命周期规则,设置一天后删除所有文件。此Bucket内的数据会在第二天被全部删除。 关于生命周期的详细介绍和配置,请参见管理文件生命周期。 什么是 OSS 跨区域复制? 跨区域复制(Bucket Cross-Region Replication) 是跨不同 OSS 数据中心(地域)的 Bucket 自动、异步复制 Object,它会将 Object 的创建、更新和删除等操作从源存储空间复制到不同区域的目标存储空间。该功能能够很好的提供 Bucket 跨区域容灾或满足用户数据复制的需求。目标 Bucket 中的文件是源 Bucket 中文件的精确副本,它们具有相同的文件名、元数据以及内容,例如创建时间、拥有者、用户定义的元数据、Object ACL、文件内容等。

剑曼红尘 2020-03-26 17:49:33 0 浏览量 回答数 0

回答

基于阿里云存储的文档、图片、视频等多媒体数据,典型的应用场景有图片应用、网盘应用等,针对目前的架构进行如下场景分析。 场景分析1:图片应用 对于图片应用来说,它首先上传图片、视频到对象存储中;随着业务的不断发展和法规政策的监管需求,会增加鉴黄检测、标签检测、人脸检测、OCR 识别等 AI 分析功能,如下图所示。 图片社区 通常,图片应用会选择采用业务服务器安装不同厂家的 AI 分析能力,通过这些功能得到关键的元数据信息,然后保存到数据库中,从而更好的支撑元数据检索,支撑业务和监管的需求。 场景痛点 采用此方案,会存在如下的痛点: 接口不统一。因为有多厂家的选型,需要考虑不同厂家接口的兼容性。 资源浪费。同一张图片会被多次读取,甚至是传输到外部网络,浪费网络带宽。 无存量数据的低成本批量处理方案。采用厂商的同步处理价格高昂,需要提供存量数据的低成本批量处理方案,接受异步接口返回检测结果(比如针对存量的 OSS Bucket 里面的所有图片,进行打标处理)。 场景分析2:网盘 对于网盘应用来说,通常需要用户登录、目录服务、数据直传 OSS、AI 智能处理等功能。通过后端使用服务器和数据库,其架构如下图所示。 网盘 为了支撑网盘的数据管理,通常需要提供各类元数据管理,特别是在 AI 智能处理场景下,需要定义相关的存储格式,处理数据库的异常,这带来了较大的开发难度。 场景痛点 采用此方案,会存在如下的难点: 元数据表设计难度大。针对不同的元数据,需要分类设计各类表结构存储,有相当的技术门槛。 多维度元数据管理有挑战。需要组合多种元数据,进行关联查询处理,存在设计挑战。 维护元数据的的一致性难题。解决这些元数据在异常场景下的恢复处理,是系统级难题。 智能媒体管理产品优势 针对上述场景痛点的分析,智能媒体管理服务围绕 6 个关键点(海量数据、端云拉通、标准统一、智能分析、场景结合、一键处理)进行设计,从而提供基于场景的 AI 智能处理方案,如下图所示。 痛点 通过针对性的架构设计,使用智能媒体管理存在如下优势: 存储数据无缝贴合。与 OSS 云存储产品直接关联,自动处理云上数据。 丰富数据处理。结合业界优秀的识别、处理能力,为您的应用处理提供丰富的功能支持。 简化运维。提供 Serverless 化服务,无需关心业务运维。 场景化一站式解决方案。面向场景的构建快捷的元数据管理,快速实现应用。

1934890530796658 2020-03-31 14:54:11 0 浏览量 回答数 0

问题

为什么使用表格存储的过程中会有少量的500错误

云栖大讲堂 2019-12-01 21:03:57 1368 浏览量 回答数 0

回答

那好吧,明文保存,然后给数据库上把锁,放在一台不联网的机器上。######不要明文保存密码。 :)######用什么呢######请问你是做什么的?你准备把密码保存在哪里呢?######数据库######你这好像没法单向加密,只能用带解密的加密方法了,但这样又会被破解,得到密码。######就是这样。######可以这样,你点批量登录的时候,弹出一个输入框,输入你的解密key, 不把加密的key写死在程序里。######为每个客户生成密钥加密###### 参考这个知乎的回答: 互联网网站应该如何存储密码? 按第一个答案的意思,是:存储bcrypt, scrypt等算法输出的内容,不要用salted hash的方式存储密码,不要用加密的方式存储密码,当然,更不要明文存储。 ######嗯。文章我看了。可能这个问题不应该在密码上下功夫了。因为本来就必须可逆,不然我没有办法帮他挂QQ。######对于这种情况,越简单的加密越有效,例如ascii码+1

kun坤 2020-06-08 17:58:11 0 浏览量 回答数 0

回答

BatchCompute 整体架构,包括: BatchCompute 入口 批量计算服务提供基于 RESTful 风格的 API。在 API 之上,用户可以通过 SDK,命令行工具,控制台等方式使用批量计算。 您可以使用这些工具向 BatchCompute 提交作业,查询作业运行状态,并管理作业生命周期(比如停止已提交的作业,释放已完成的作业等)。 总体印象 运行环境 BatchCompute 允许用户通过自定义虚拟机镜像或者 Docker 的方式对运行环境进行高度定制,可以支持 Windows 和 Linux 操作系统。用户程序运行在隔离的虚拟化环境中,确保用户环境和用户数据的安全性。 持久化存储 BatchCompute可以使用对象存储 OSS 或者文件存储 NAS 作为输入输出数据的持久化存储。 用户的程序、自定义 Docker 镜像、作业的运行日志存储在 OSS 中。

1934890530796658 2020-03-28 20:40:49 0 浏览量 回答数 0

问题

OSS-功能概览

青衫无名 2019-12-01 21:34:25 831 浏览量 回答数 0

回答

不少用户在使用表格存储的过程中偶尔会接到一些500错误,主要错误码如下。 HTTPStatus ErrorCode ErrorMsg 503 OTSPartitionUnavailable The partition is not available. 503 OTSServerUnavailable Server is not available. 503 OTSServerBusy Server is busy. 503 OTSTimeout Operation timeout. 这是由于表格存储是一个纯分布式的NoSQL服务,服务端会根据数据分区的数据量、访问情况做自动的负载均衡,这样就突破了单机服务能力的限制,实现了数据规模和访问并发的无缝扩展。 如下图所示,表格存储会按照第一个主键的顺序,将实际数据划分到不同的数据分区中,不同的数据分区会调度到不同的服务节点提供读写服务。 当某个数据分区的数据量过大,或者访问过热,如下图的数据分区P1,表格存储的动态负载均衡机制能够检测到这种情况的发生,并将数据分区分裂成两个数据分区P1和P5,并将该两个数据分区调度到负载较低的服务节点上。 表格存储使用上述的自动负载均衡机制实现表数据规模和访问并发的自动扩展,全程无需人工介入, 当然在数据表新建立时,只有一个数据分区,该表上能够提供的读写并发有限,自动负载均衡机制也有一定的延时性,所以可以直接联系到我们的工程师,预先将数据表划分成多个数据分区。 表格存储使用共享存储的机制,数据分区为逻辑单位,所以在负载均衡的过程中,不会有实际数据的迁移,仅仅是数据表元信息的变更,在元信息变更的过程中,为了保证数据的一致性,涉及到的数据分区会有短暂的不可用时间, 正常情况下影响时间为百毫秒级别,在数据分区负载较大时,可能会持续到秒级别, 在这个时间内对该分区的读写操作就有可能接到上述的错误,一般重试即可解决。在官方的SDK中默认提供了一些重试策略,在初始化Client端时就可以指定重试策略。 同时,表格存储提供的也是标准Restful API协议,由于网络环境的不可控,所有的读写操作也都建议增加重试策略,能够对网络错误等有一定的容错能力。 说明 批量读写操作BatchWriteRow及BatchGetRow读写的数据可能属于多张表或者一张表的多个数据分区,有可能某一个分区正好在分裂,所以整个操作是非原子性的,只能够保证每个单行操作的原子性,该操作返回码为200时仍然需要检查response中的getFailedRows() 是否有失败的单行操作。

保持可爱mmm 2020-03-29 15:42:38 0 浏览量 回答数 0

回答

阿里云对象存储OSS,是阿里云提供的海量、安全、低成本、高可靠的云存储服务。本文将OSS与传统的自建存储进行对比,让您更好的了解OSS。 OSS与自建存储对比的优势 OSS具备的其他各项优势 方便、快捷的使用方式 提供标准的RESTful API接口、丰富的SDK包、客户端工具、控制台。您可以像使用文件一样方便地上传、下载、检索、管理用于Web网站或者移动应用的海量数据。 不限制存储空间大小。您可以根据所需存储量无限扩展存储空间,解决了传统硬件存储扩容问题。 支持流式写入和读出。特别适合视频等大文件的边写边读业务场景。 支持数据生命周期管理。您可以通过设置生命周期规则,将到期数据批量删除或者转储为更低成本的低频访问型存储或归档型存储。 强大、灵活的安全机制 灵活的鉴权,授权机制。提供STS和URL鉴权和授权机制、IP黑白名单、防盗链、主子账号等功能。 提供用户级别资源隔离机制和多集群同步机制(可选)。 数据冗余机制 OSS 采用数据冗余存储机制,将每个对象的不同冗余存储在同一个区域内多个设施的多个设备上,确保硬件失效时的数据可靠性和可用性。 OSS Object 操作具有强一致性,用户一旦收到了上传/复制成功的响应,则该上传的 Object 就已经立即可读,且数据已经冗余写入到多个设备中。 OSS 会通过计算网络流量包的校验和,验证数据包在客户端和服务端之间传输中是否出错,保证数据完整传输。 OSS 的冗余存储机制,可支持两个存储设施并发损坏时,仍维持数据不丢失。 当数据存入 OSS 后,OSS 会检测和修复丢失的冗余,确保数据可靠性和可用性。 OSS 会周期性地通过校验等方式验证数据的完整性,及时发现因硬件失效等原因造成的数据损坏。当检测到数据有部分损坏或丢失时,OSS 会利用冗余的数据,进行重建并修复损坏数据。 丰富、强大的增值服务 图片处理:支持jpg、png、bmp、gif、webp、tiff等多种图片格式的转换,以及缩略图、剪裁、水印、缩放等多种操作。 音视频转码:提供高质量、高速并行的音视频转码能力,让您的音视频文件轻松应对各种终端设备。 互联网访问加速:OSS提供传输加速服务,支持上传、下载加速,可优化跨洋、跨省数据上传、下载体验。详情请参见传输加速。 内容加速分发:OSS作为源站,搭配CDN进行内容分发,提升同一个文件,被大量重复下载的体验。

剑曼红尘 2020-03-26 17:33:33 0 浏览量 回答数 0

问题

比较Apache Hadoop生态系统中不同的文件格式和存储引擎的性能

anrui2016 2019-12-01 22:03:39 2706 浏览量 回答数 0

回答

来自:今日头条,作者:聚IT 链接:https://www.toutiao.com/i6752317753866060299/ 导读 在实际项目中Redis常被应用于做缓存,分布式锁、消息队列等。但是在搭建配置好Redis服务器后很多朋友应该会发现和有这样的疑问,为什么Redis默认建立了16个数据库,如下图所示。 椐调查发现:93.7%的程序员!竟然都不知道Redis为什么默认16个数据库? 一、16个数据库的由来 Redis是一个字典结构的存储服务器,一个Redis实例提供了多个用来存储数据的字典,客户端可以指定将数据存储在哪个字典中。这与在一个关系数据库实例中可以创建多个数据库类似(如下图所示),所以可以将其中的每个字典都理解成一个独立的数据库。 以MySQL实例为例 Redis默认支持16个数据库,可以通过调整Redis的配置文件redis/redis.conf中的databases来修改这一个值,设置完毕后重启Redis便完成配置。 客户端与Redis建立连接后会默认选择0号数据库,不过可以随时使用SELECT命令更换数据库。 # 切库 redis> SELECT 1 # 默认0号db,切换为1号db OK redis [1] > GET username # 从1号库中获取 username (nil) 在实际项目中则可以通过以Redis配置文件的形式指定数据库,如下图所示 二、正确理解Redis的“数据库”概念 由于Redis不支持自定义数据库的名字,所以每个数据库都以编号命名。开发者则需要自己记录存储的数据与数据库的对应关系。另外Redis也不支持为每个数据库设置不同的访问密码,所以一个客户端要么可以访问全部数据库,要么全部数据库都没有权限访问。但是,要正确地理解Redis的“数据库”概念这里不得不提到一个命令: # 清空一个Redis实例中所有数据库中的数据 redis 127.0.0.1:6379> FLUSHALL 该命令可以清空实例下的所有数据库数据,这与我们所熟知的关系型数据库所不同。关系型数据库多个库常用于存储不同应用程序的数据 ,且没有方式可以同时清空实例下的所有库数据。所以对于Redis来说这些db更像是一种命名空间,且不适宜存储不同应用程序的数据。比如可以使用0号数据库存储某个应用生产环境中的数据,使用1号数据库存储测试环境中的数据,但不适宜使用0号数据库存储A应用的数据而使用1号数据库B应用的数据,不同的应用应该使用不同的Redis实例存储数据。Redis非常轻量级,一个空Redis实例占用的内在只有1M左右,所以不用担心多个Redis实例会额外占用很多内存。 三、集群情况下是否支持一个实例多个db? 要注意以上所说的都是基于单体Redis的情况。而在集群的情况下不支持使用select命令来切换db,因为Redis集群模式下只有一个db0。再扩展一些集群与单机Reids的区别,感兴趣的朋友可以去查阅相关的资料深入理解,这里就不做讨论了。 key批量操作支持有限:例如mget、mset必须在一个slotKey事务和Lua支持有限:操作的key必须在一个节点key是数据分区的最小粒度:不支持bigkey分区不支持多个数据库:集群模式下只有一个db0复制只支持一层:不支持树形复制结构 四、总结 Redis实例默认建立了16个db,由于不支持自主进行数据库命名所以以dbX的方式命名。默认数据库数量可以修改配置文件的database值来设定。对于db正确的理解应为“命名空间”,多个应用程序不应使用同一个Redis不同库,而应一个应用程序对应一个Redis实例,不同的数据库可用于存储不同环境的数据。最后要注意,Redis集群下只有db0,不支持多db。

茶什i 2020-01-16 11:16:30 0 浏览量 回答数 0

问题

cStor——新型绿色环保存储中心

elainebo 2019-12-01 21:03:38 7780 浏览量 回答数 1

问题

【MaxCompute】的产品概述

玄学酱 2019-12-01 21:55:03 1428 浏览量 回答数 0

问题

分析型数据库如何使用DMS创建和管理表?

nicenelly 2019-12-01 21:25:01 1004 浏览量 回答数 0

问题

分析型数据库如何使用DMS创建和管理表?

nicenelly 2019-12-01 21:09:57 1190 浏览量 回答数 0

回答

什么是批量计算 批量计算(BatchCompute)是一种适用于大规模并行批处理作业的分布式云服务。BatchCompute 可支持海量作业并发规模,系统自动完成资源管理、作业调度和数据加载,并按实际使用量计费。 通俗的讲,就是您可以提交一个任意的计算机程序,让它在阿里云的多个 VM 实例上同时运行,然后把结果写入到指定的持久化存储位置(如阿里云对象存储 OSS 或者文件存储 NAS),然后您可以去指定的位置查看结果。 a

1934890530796658 2020-03-28 20:40:32 0 浏览量 回答数 0

问题

日志服务怎么计费?

轩墨 2019-12-01 21:50:58 1559 浏览量 回答数 1

回答

我也有这方面的需求,我想放弃使用OSS,无奈只有续费和升级选项 以下答案是我在提交工单那找到的。 考虑到一键关闭会导致客户的业务受到影响,因此OSS暂时没有提供此功能。 如果您确实不想再使用OSS服务,可以删除存储空间(Bucket)下的所有对象(Object)、因分片上传或断点续传产生的碎片(Part)、以及LiveChannel,再删除Bucket,即可在下一个账期(OSS按量付费一小时出一次账单)不产生扣费信息。推荐您通过对象生命周期功能来自动批量删除Object。 如果您长时间(超过30天)不需要使用OSS上的数据,又不想将这些数据删除,建议您通过对象生命周期功能将标准存储转换成低频访问或者归档存储,可以节省约50%到80%的费用。有关低频访问和归档存储类型,请您参见存储类型介绍和OSS详细价格信息 。

游客lqb4jxc3bfv6e 2020-06-05 17:32:57 0 浏览量 回答数 0

问题

批量计算

望海悦人 2019-12-01 21:15:56 4183 浏览量 回答数 2

问题

分析型数据库如何使用DMS创建和管理表?

nicenelly 2019-12-01 21:09:36 1074 浏览量 回答数 0

问题

分析型数据库如何使用DMS创建和管理表?

nicenelly 2019-12-01 21:24:57 952 浏览量 回答数 0

回答

智能媒体管理服务(IMM)围绕 6 个关键点:海量数据、端云拉通、标准统一、智能分析、场景结合、一键处理 设计,采用如下的分层架构。 智能媒体管理架构图 产品架构 基于架构图的描述,IMM 服务有依赖的上下文,架构包含 3 层:处理引擎、元数据管理、场景化封装。 智能媒体管理架构依赖上下文 对下依赖阿里云的对象存储、文件存储等服务,通过安全的机制访问里面存储的非结构化数据(例如图片、视频),提取价值信息。 对上基于场景理解,进行封装,支撑视频网盘、手机相册、社交图库、家庭监控等图片、视频应用场景,为它们产生新的价值。 处理引擎层 基于阿里云存储,提供就近构建计算框架,该框架支持批量异步处理、准实时同步处理,在一键关联云存储(例如,指定 OSS Bucket 的目录前缀、指定 OSS Bucket 的某个对象)后,实现快速的自动数据处理,通过整合业界领先的数据处理算法,目前处理引擎提供如下功能: 文档格式转换。支持将包括 OFFICE 在内的 48 种文档转换为 JPG、PNG、PDF、VECTOR 格式,从而更好的支持文档预览功能。 内容识别。通过 AI 技术,识别图片中的物品标签,从而实现机器的制动打标,更好的支撑推荐应用。 人脸识别。通过 AI 技术,识别图片中的人脸,检测出人脸框,判断人脸姿势、年龄、性别等属性。 元数据管理层 基于处理引擎提供的功能,通过对场景的深入理解和梳理,IMM 封装了场景的元数据设计,对外提供场景的元数据访问接口,简化场景应用的设计难度、无须关注元数据索引数据库的运维工作,目前支持如下的元数据索引: 人脸聚类索引。构建元数据集合,然后调用人脸分组的接口分析图片,把得到的元数据加入到该元数据集合中,从而可以得到该集合中相似的人脸。通过该索引,可以快速的支撑网盘的人脸相册、家庭监控的陌生人检测、甚至新零售的顾客管理等场景。 标签分组索引。构建元数据集合,然后调用标签分组的索引接口分析图片,把得到的元数据加入到该元数据集合中,从而可以根据标签搜索图片。通过该索引,可以快速的支撑网盘的场景相册、家庭监控的宠物跟踪、甚至暴力、恐怖、色情图片等标签的搜索。 场景封装层 通过阿里云对场景的支撑,把 处理引擎层 和 元数据管理层 的功能进行包装,并按照资源包方式提供出来,从而简化使用,方便应用快速的接入,实现 AI 和场景的紧密结合,目前支持如下的场景实例: 文档标准型。把文档相关的格式转换、预览整合,让你快速实现文档的智能管理能力。 图片标准型。把内容识别(标签检测)、人脸检测的 AI 功能整合,让你快速实现图片的智能管理能力。 图片专业型。把内容识别(标签检测)、人脸检测、内容搜索、人脸聚类的 AI 功能整合,让你快速实现图片的智能管理能力。

1934890530796658 2020-03-31 14:54:06 0 浏览量 回答数 0

问题

MaxCompute常见问题:数据通道问题

行者武松 2019-12-01 22:09:52 1066 浏览量 回答数 0

回答

阿里云提供基于函数计算(Function Compute)处理数据并分发的解决方案。阿里云函数计算是一款基于Serverless架构的轻计算高弹性的产品。 使用函数计算处理数据并分发有以下优势: 便捷:函数计算与表格存储产品对接配置简便,通过控制台上简单配置即可完成产品间的数据对接。弹性:表格存储间隔1秒将更新的数据批量透传给函数计算,如果函数计算一秒内处理不完请求,函数计算会启动新的执行环境来处理后续的请求,实现自动弹性伸缩。业务逻辑:业务逻辑编写到函数计算里,处理好数据后,通过接口调用直接把数据发送给移动推送、消息通道等产品。经济:函数计算是按照触发来计费,业务低谷期的费用非常低廉,不需要额外维护一些服务环境。

剑曼红尘 2020-03-23 15:07:53 0 浏览量 回答数 0

问题

典型应用-大数据分析

李沃晟 2019-12-01 21:36:01 610 浏览量 回答数 0

回答

大数据是指无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合。大数据技术,是指从各种各样类型的数据中,快速获得有价值信息的能力。适用于大数据的技术,包括大规模并行处理(MPP)数据库,数据挖掘电网,分布式文件系统,分布式数据库,云计算平台,互联网,和可扩展的存储系统。   大数据有四个基本特征:一、数据体量巨大(Vomule),二、数据类型多样(Variety),三、处理速度快(Velocity),四、价值密度低(Value)。   在大数据的领域现在已经出现了非常多的新技术,这些新技术将会是大数据收集、存储、处理和呈现最强有力的工具。大数据处理一般有以下几种关键性技术:大数据采集、大数据预处理、大数据存储及管理、大数据分析及挖掘、大数据展现和应用(大数据检索、大数据可视化、大数据应用、大数据安全等)。   大数据处理之一:采集。大数据的采集是指利用多个数据库来接收发自客户端(Web、App或者传感器形式等)的数据,并且用户可以通过这些数据库来进行简单的查询和处理工作。比如,电商会使用传统的关系型数据库MySQL和Oracle等来存储每一笔事务数据,除此之外,Redis和MongoDB这样的NoSQL数据库也常用于数据的采集。   在大数据的采集过程中,其主要特点和挑战是并发数高,因为同时有可能会有成千上万的用户来进行访问和操作,比如火车票售票网站和淘宝,它们并发的访问量在峰值时达到上百万,所以需要在采集端部署大量数据库才能支撑。并且如何在这些数据库之间进行负载均衡和分片的确是需要深入的思考和设计。   大数据处理之二:导入和预处理。虽然采集端本身会有很多数据库,但是如果要对这些海量数据进行有效的分析,还是应该将这些来自前端的数据导入到一个集中的大型分布式数据库,或者分布式存储集群,并且可以在导入基础上做一些简单的清洗和预处理工作。也有一些用户会在导入时使用来自Twitter的Storm来对数据进行流式计算,来满足部分业务的实时计算需求。   导入与预处理过程的特点和挑战主要是导入的数据量大,每秒钟的导入量经常会达到百兆,甚至千兆级别。   大数据处理之三:统计和分析。统计与分析主要利用分布式数据库,或者分布式计算集群来对存储于其内的海量数据进行普通的分析和分类汇总等,以满足大多数常见的分析需求,在这方面,一些实时性需求会用到EMC的GreenPlum、Oracle的Exadata,以及基于MySQL的列式存储Infobright等,而一些批处理,或者基于半结构化数据的需求可以使用Hadoop。   统计与分析这部分的主要特点和挑战是分析涉及的数据量大,其对系统资源,特别是I/O会有极大的占用。   大数据处理之四:挖掘。与前面统计和分析过程不同的是,数据挖掘一般没有什么预先设定好的主题,主要是在现有数据上面进行基于各种算法的计算,从而起到预测(Predict)的效果,从而实现一些高级别数据分析的需求。比较典型算法有用于聚类的Kmeans、用于统计学习的SVM和用于分类的NaiveBayes,主要使用的工具有Hadoop的Mahout等。该过程的特点和挑战主要是用于挖掘的算法很复杂,并且计算涉及的数据量和计算量都很大,常用数据挖掘算法都以单线程为主。   整个大数据处理的普遍流程至少应该满足这四个方面的步骤,才能算得上是一个比较完整的大数据处理。   大数据的处理方式大致分为数据流处理方式和批量数据处理方式两种。数据流处理的方式适合用于对实时性要求比较高的场合中。并不需要等待所有的数据都有了之后再进行处理,而是有一点数据就处理一点,更多地要求机器的处理器有较快速的性能以及拥有比较大的主存储器容量,对辅助存储器的要求反而不高。批量数据处理方式是对整个要处理的数据进行切割划分成小的数据块,之后对其进行处理。重点在于把大化小——把划分的小块数据形成小任务,分别单独进行处理,并且形成小任务的过程中不是进行数据传输之后计算,而是将计算方法(通常是计算函数——映射并简化)作用到这些数据块最终得到结果。   当前,对大数据的处理分析正成为新一代信息技术融合应用的节点。移动互联网、物联网、社交网络、数字家庭、电子商务等是新一代信息技术的应用形态,这些应用不断产生大数据。通过对不同来源数据的管理、处理、分析与优化,将结果反馈到上述应用中,将创造出巨大的经济和社会价值。大数据也是信息产业持续高速增长的新引擎。面对大数据市场的新技术、新产品、新业态会不断涌现。在硬件与集成设备领域,大数据将对芯片、存储产业产生重要影响,还将催生一体化数据存储处理服务器、内存计算等市场。在软件与服务领域,大数据将引发数据快速处理分析、数据挖掘技术和软件产品的发展。大数据利用将成为提高核心竞争力的关键因素。各行各业的决策正在从“业务驱动”转变为“数据驱动”。对大数据的分析可以使零售商实时掌握市场动态并迅速做出应对;可以为商家制定更加精准有效的营销策略提供决策支持;可以帮助企业为消费者提供更加及时和个性化的服务;在医疗领域,可提高诊断准确性和药物有效性;在公共事业领域,大数据也开始发挥促进经济发展、维护社会稳定等方面的重要作用。大数据时代科学研究的方法手段将发生重大改变。例如,抽样调查是社会科学的基本研究方法。在大数据时代,可通过实时监测,跟踪研究对象在互联网上产生的海量行为数据,进行挖掘分析,揭示出规律性的东西,提出研究结论和对策。   目前大数据在医疗卫生领域有广为所知的应用,公共卫生部门可以通过覆盖全国的患者电子病历数据库进行全面疫情监测。5千万条美国人最频繁检索的词条被用来对冬季流感进行更及时准确的预测。学术界整合出2003年H5N1禽流感感染风险地图,研究发行此次H7N9人类病例区域。社交网络为许多慢性病患者提供了临床症状交流和诊治经验分享平台,医生借此可获得院外临床效果统计数据。基于对人体基因的大数据分析,可以实现对症下药的个性化治疗。   在医药研发方面,大数据的战略意义在于对各方面医疗卫生数据进行专业化处理,对患者甚至大众的行为和情绪的细节化测量成为可能,挖掘其症状特点、行为习惯和喜好等,找到更符合其特点或症状的药品和服务,并针对性的调整和优化。在医药研究开发部门或公司的新药研发阶段,能够通过大数据技术分析来自互联网上的公众疾病药品需求趋势,确定更为有效率的投入产品比,合理配置有限研发资源。除研发成本外,医药公司能够优化物流信息平台及管理,更快地获取回报,一般新药从研发到推向市场的时间大约为13年,使用数据分析预测则能帮助医药研发部门或企业提早将新药推向市场。   在疾病诊治方面,可通过健康云平台对每个居民进行智能采集健康数据,居民可以随时查阅,了解自身健康程度。同时,提供专业的在线专家咨询系统,由专家对居民健康程度做出诊断,提醒可能发生的健康问题,避免高危病人转为慢性病患者,避免慢性病患者病情恶化,减轻个人和医保负担,实现疾病科学管理。对于医疗卫生机构,通过对远程监控系统产生数据的分析,医院可以减少病人住院时间,减少急诊量,实现提高家庭护理比例和门诊医生预约量的目标。武汉协和医院目前也已经与市区八家社区卫生服务中心建立远程遥控联系,并将在未来提供“从医院到家”的服务。在医疗卫生机构,通过实时处理管理系统产生的数据,连同历史数据,利用大数据技术分析就诊资源的使用情况,实现机构科学管理,提高医疗卫生服务水平和效率,引导医疗卫生资源科学规划和配置。大数据还能提升医疗价值,形成个性化医疗,比如基于基因科学的医疗模式。   在公共卫生管理方面,大数据可以连续整合和分析公共卫生数据,提高疾病预报和预警能力,防止疫情爆发。公共卫生部门则可以通过覆盖区域的卫生综合管理信息平台和居民信息数据库,快速监测传染病,进行全面疫情监测,并通过集成疾病监测和响应程序,进行快速响应,这些都将减少医疗索赔支出、降低传染病感染率。通过提供准确和及时的公众健康咨询,将会大幅提高公众健康风险意识,同时也将降低传染病感染风险。   在居民健康管理方面,居民电子健康档案是大数据在居民健康管理方面的重要数据基础,大数据技术可以促进个体化健康事务管理服务,改变现代营养学和信息化管理技术的模式,更全面深入地从社会、心理、环境、营养、运动的角度来对每个人进行全面的健康保障服务,帮助、指导人们成功有效地维护自身健康。另外,大数据可以对患者健康信息集成整合,在线远程为诊断和治疗提供更好的数据证据,通过挖掘数据对居民健康进行智能化监测,通过移动设备定位数据对居民健康影响因素进行分析等等,进一步提升居民健康管理水平。   在健康危险因素分析方面,互联网、物联网、医疗卫生信息系统及相关信息系统等普遍使用,可以系统全面地收集健康危险因素数据,包括环境因素(利用GIS系统采集大气、土壤、水文等数据),生物因素(包括致病性微生物、细菌、病毒、真菌等的监测数据),经济社会因素(分析经济收入、营养条件、人口迁徙、城镇化、教育就业等因素数据),个人行为和心理因素,医疗卫生服务因素,以及人类生物遗传因素等,利用大数据技术对健康危险因素进行比对关联分析,针对不同区域、人群进行评估和遴选健康相关危险因素及制作健康监测评估图谱和知识库也成为可能,提出居民健康干预的有限领域和有针对性的干预计划,促进居民健康水平的提高。 答案来源于网络

养狐狸的猫 2019-12-02 02:15:59 0 浏览量 回答数 0
阿里云大学 云服务器ECS com域名 网站域名whois查询 开发者平台 小程序定制 小程序开发 国内短信套餐包 开发者技术与产品 云数据库 图像识别 开发者问答 阿里云建站 阿里云备案 云市场 万网 阿里云帮助文档 免费套餐 开发者工具 企业信息查询 小程序开发制作 视频内容分析 企业网站制作 视频集锦 代理记账服务 企业建站模板