• 关于 原生云搭建 的搜索结果

回答

云原生架构,我的理解是在云基础设施之上搭建的项目架构都应该称之为云原生架构。每个项目所搭建的云原生架构可能是不同的,不同之处在于项目的具体需求。有些项目是单体,有些项目是微服务,有些项目需要解决部署问题,有些项目需要解决容器编排问题,而这些不同的需求则产生了不同的云原生架构。

饭娱咖啡 2020-06-23 13:51:50 0 浏览量 回答数 0

问题

搭建代码自动化部署平台

Atom 2020-04-25 16:28:39 3 浏览量 回答数 2

问题

云虚拟主机可以部署php框架吗(比如CodeIgniter)

waldenlan 2019-12-01 19:26:04 2152 浏览量 回答数 1

海外云虚拟主机包年25元/月起

海外独享虚拟主机全面上线,助力构建海外网站,提升公司国际形象;全球有效覆盖,超高性价比;建站入门首选,助力出口,适合跨境贸易企业。

回答

一般而言不要将Docker作为轻量级VM来使用,那样会丧失很多Docker交付和运维的优势。OpenStack的docker nova driver并不是一个成功的样例,现在随着Docker自身网络、存储和编排技术的提升,应该选择更加原生的Docker技术方案来搭建容器云。Docker Swarm, Kubernetes和Mesos都是可以选择的技术方向。如果您在公有云上希望体验容器云技术,可以考虑阿里云容器服务 https://www.aliyun.com/product/containerservice它提供了Docker Swarm兼容的方式来管理Docker集群,支持Docker Compose和Docker 镜像,简化了您搭建容器云的复杂性,也提供了很多特性简化web应用,微服务应用和DevOps.https://yq.aliyun.com/teams/11 是我们的团队博客,您能看到很多实例和文档来帮助您使用容器服务

易立 2019-12-02 01:41:05 0 浏览量 回答数 0

回答

SOFAStack™(Scalable Open Financial Architecture Stack)包含构建金融级云原生架构所需的各个组件,也是在金融场景里锤炼出来的最佳实践。提供项目管理、微服务应用开发、部署发布、监控运维、容灾高可用等全栈式解决方案,并兼容 Dubbo、Spring Cloud 等微服务运行环境,助力客户各类应用轻松转型分布式架构。 金融分布式架构SOFAStack(Scalable Open Financial Architecture Stack)的名称来自蚂蚁内部发展十多年的金融级分布式中间件SOFA(Service Oriented Fabric Architecture),代表着从支付宝创立之初就开始在关键金融交易系统锤炼出来的分布式架构实践。 SOFAStack所有的产品技术都经过蚂蚁金服自身严苛金融场景验证,为金融交易技术在保证风险安全的同时,帮助业务需求敏捷迭代,同时满足异地容灾、低成本快速扩容的需求,解决传统集中式架构转型的困难,打造大规模高可用分布式系统架构,支撑金融业务创新。为满足金融业务发展和严苛场景考验,让云计算更懂金融,SOFAStack有三大核心价值主张:开放、金融级、云原生。 • 全栈开放、开源共建 —- 源自蚂蚁金服实践演进沉淀,金融交易技术完整领域开放。技术向下兼容,实现与经典架构的融合,开放技术标准,拥抱开源生态。技术栈全面开源共建、保存社区中立、兼容社区和开源生态,组件可插拔,与其它开源组件可相互集成或替换。更多详情,请见 SOFAStack 开源官网。 • 满足资金安全、无损容灾的金融级要求 —- 包含构建金融级云原生架构所需的各个组件,让用户更加专注于业务开发,满足用户场景的现状和未来需求,经历过大规模场景的锤炼,特别是严苛的金融场景,保证在分布式架构下承受高并发交易,在系统扩展、容灾恢复、更新发布时确保数据无损,服务可用。 • 以异地多活、无限扩展为目标构建云原生架构 —- 基于SOFAStack可快速搭建云原生微服务体系,快速开发更具可靠性和扩展性、更加易于维护的云原生应用。在宏观架构层面,提供单机房向同城双活、两地三中心、异地多活架构演进路线,使系统容量能在多个数据中心内任意扩展和调度,充分利用服务器资源,提供机房级容灾能力,保证业务连续性。

LiuWH 2020-03-24 22:18:07 0 浏览量 回答数 0

回答

首先推荐阿里云容器服务 https://www.aliyun.com/product/containerservice/ 兼容swarm api,整合了负载均衡、日志、监控、存储等功能。如果是自己搭建集群,可以使用swarm或者kubernetes,docker 1.12支持原生编排,也可以考虑

管理贝贝 2019-12-02 03:09:17 0 浏览量 回答数 0

问题

在maxcompute下提交原生pyspark任务 报错odps-0420031 具体情况如下

游客v5iscfxtv4tju 2019-12-01 19:41:29 394 浏览量 回答数 0

回答

Re阿里云搭建OA服务器:思道OA篇 ------------------------- 回2楼dns2008的帖子 思道OA正式版公开下载,无需注册支持不限用户,30天试用,可注册正版。 微软高端.NET平台 64位,性能强劲,谁与争锋,原生64位支持高达128G内存。

anyoffice 2019-12-01 23:12:36 0 浏览量 回答数 0

回答

容器服务 Kubernetes 版基于原生 Kubernetes 进行适配和增强,简化集群的搭建和扩容等工作,整合阿里云虚拟化、存储、网络和安全能力,打造云端最佳的 Kubernetes 容器化应用运行环境。本文档为您介绍阿里云容器服务平台的产品架构。 架构 产品特性 特性说明 多Kubernetes集群形态 融合阿里云虚拟化技术,容器服务Kubernetes版支持Dedicated、Managed和Serverless三种集群形式。 Dedicated:可使用ECS、EGS、神龙服务器作为集群节点,实例规格灵活配置,支持丰富的插件。 Managed:在Dedicated的基础上,新增托管Master节点的功能,具备简单、低成本、高可用、无需运维的特点。 Serverless:提供免服务器管理的Kubernetes serverless 服务,简化底层资源管理,灵活扩容,降低资源开销。 阿里云Kubernetes集群管控服务 支持强大的网络、存储、混合集群管理、水平扩容、应用扩展等特性。 阿里云Kubernetes管理服务 支持安全镜像和Helm工具,与阿里云RAM、KMS、日志、监控等产品高度集成,提供一个安全合规的Kubernetes解决方案,为您提供混合云、容器安全、CI/CD、DevOps等增强能力。 便捷、高效的使用方式 容器服务Kubernetes版提供Web Console 和API&SDK。

1934890530796658 2020-03-26 11:24:00 0 浏览量 回答数 0

回答

你好,容器服务(Container Service)提供了高性能可伸缩的容器应用管理服务,支持在一组云服务器(ECS)上通过Docker容器来进行应用生命周期管理。容器服务极大简化了用户对容器管理集群的搭建工作,无缝整合了阿里云虚拟化、存储、网络和安全能力,打造Docker云端最优化的运行环境。容器服务提供了多种应用发布方式和流水线般的持续交付能力,原生支持微服务架构,助力用户无缝上云和跨云管理。 可以参考 https://www.aliyun.com/product/containerservice。 在容器服务立可以一键创建出容器集群(会自动进行云服务器ECS等资源的申请及容器的相关的配置)。可以在容器服务创建集群的时候可以指定云服务器ECS的配置(cpu,内存等)及实例数量。你可以根据自己的业务需要选择。关于镜像构建,我们容器服务有提供容器hub, 支持自动构建(也支持海外构建),你可以参考https://dev.aliyun.com/search.html.包年包月、按量看你的使用场景,如果是长期使用可以用包年包月,如果是短时间使用可以使用按量ECS,当然也可以将包年包月按量组合来使用。ECS的价格可以参考 https://www.aliyun.com/price/product#/ecs/detail5 容器服务的计费,主要包括所使用资源(云服务器、负载均衡等)的费用和容器集群的管理费用,目前小集群的管理费用免费,只收取所使用资源(云服务器、负载均衡等)的费用。可以参考:https://help.aliyun.com/knowledge_detail/39869.html。

长海长歌 2019-12-01 23:35:24 0 浏览量 回答数 0

问题

手机直播APP又在升温,直播开发功能很重要

daimeng1 2019-12-01 22:10:14 3310 浏览量 回答数 2

回答

混合云备份服务(Hybrid Backup Recovery,简称HBR) 是一种高效、安全、低成本的全托管式云备份存储服务。您可以使用混合云备份将企业数据中心的数据、分支机构数据,或云上资源备份到混合云备份的云上备份仓库。 混合云备份架构图 在本地数据中心部署HBR客户端后,用户可以通过专线、VPN或者公网将指定需要备份的本地文件、NAS文件、VMWare虚拟机以及SQL Server数据库备份到阿里云上的备份库中。同时,通过高等级加密以及高效的重删压缩技术,确保了数据传输的高效性和安全性。 此外,针对阿里云上各个类型的数据,包括ECS的文件、SQL Server、SAP HANA、NAS服务、以及OSS服务上的数据,HBR提供了简单易用的原生数据保护功能。 为什么选择混合云备份 相比于在自建的数据中心搭建备份系统或自行搭建云上备份系统,混合云备份具有以下优势: 对比项 手工备份 混合云备份服务 权限管理 无 手工备份没有严格的权限管理功能,容易出现数据误删除等操作。 有 混合云备份服务使用RAM服务为操作人员划分等级权限,限制其访问被授权的资源。 重删压缩 无 重复备份的数据会增加大量的存储成本,且备份速度低。 有 混合云备份服务采用阿里云自研的重删(重复数据删除)、压缩技术,可有效减少I/O传输量和云备份存储量,从而提高备份速度,节省成本。 备份报警 无 一旦出现备份失败,不通过人工跟踪无法感知。有些只有在恢复备份时,才发现备份失败。 有 混合云备份服务的备份报警功能可以在备份失败或客户端与服务器连接断开时,向备份人员发送报警通知。 备份数据生命周期 手动管理 自动管理 数据恢复 需手动整合多个恢复副本。 混合云备份服务的备份版本展示清晰,方便恢复时选择,还可以设置恢复规则。 管理成本 高 手工备份需要人工写脚本、需要相应的管理人员,整体运维复杂、难度较大、资源利用率低、管理成本高。 低 使用混合云备份服务,您只需将备份数据托管到我们的云上备份仓库,无需担心硬件预置、配置、集群扩展、安全等问题。 数据加密 需自建 全自动,支持AES256加密、AK授权加密、HTTPS传输加密。 混合云备份支持备份哪些数据源 数据源 系统 备份客户端 本地数据中心 文件目录 Windows/Windows Server/Linux 文件客户端 VMware vSphere中的虚拟机镜像 Windows/Windows Server/Linux 虚机客户端 SAP HANA Linux 文件客户端 SQL Server Windows Server 文件客户端 MySQL Windows Server/Linux 文件客户端 MongoDB Windows Server/Linux 文件客户端 阿里云ECS ECS中的文件目录 Windows Server/Linux ECS备份客户端 部署在ECS上的SAP HANA Windows Server/Linux ECS备份客户端 部署在ECS上的SQL Server Windows Server ECS备份客户端 云存储网关 部署在阿里云上的文件网关 不涉及 云存储网关客户端 阿里云文件存储NAS 保存在阿里云文件存储NAS的数据 不涉及 不涉及 阿里云对象存储OSS 保存在阿里云对象存储OSS的数据 不涉及 不涉及 相关概念 名称 描述 备份源 需要备份的数据所在的机器,例如服务器、虚拟机或者ECS实例。 客户端 客户端安装在备份源上。您可以通过客户端进行备份和恢复等操作。不同的备份源系统和平台需要安装相应的客户端。 客户端支持断点续传、定时重试等方式确保备份稳定性,在网络短时抖动情况下依然可以完成备份。 地域 地域是指阿里云物理的数据中心。资源创建成功后不能更换地域。更多参见地域和可用区。 备份仓库 备份仓库是HBR的云上备份仓库,用于存储您备份在云上的数据。多个客户端可以备份到同一个仓库,帮助您更高效的管理备份数据,减小管理时间和成本。 备份仓库支持的客户端数和存储容量没有限制,按需订阅,按需扩容,同时备份库提供12个9的数据可靠性。 备份仓库有地域属性,选择合理的备份仓库地域可以帮助您提高备份性能,布局容灾。备份仓库创建成功后不能更换地域。数据的重删压缩都以备份仓库为单位。 镜像仓库 镜像仓库是备份仓库的异地镜像,镜像仓库可以帮助您实现异地容灾,您还可以使用异地镜像仓库实现跨区域恢复。 图形化中转机 如果您需要备份Linux系统中的文件目录,且该Linux系统未安装图形化界面,需要将HBR的客户端下载到一台有图形化界面的中转机上,然后部署到被保护机器。您可以在中转机登录客户端界面。

1934890530796658 2020-03-30 14:04:31 0 浏览量 回答数 0

问题

阿里云服务器搭建OA服务器

qinfang 2019-12-01 21:06:09 9764 浏览量 回答数 6

问题

关于服务发布

Atom 2020-04-25 16:07:06 0 浏览量 回答数 1

问题

阿里云搭建OA服务器:思道OA篇

anyoffice 2019-12-01 21:56:47 9241 浏览量 回答数 3

回答

没必要吧,用 cat 不就可以了,你就想看出错日志么,搞个cat ,支持消息树,如果真要搞,建议走kafka,别直接给es,还有,es 很吃机器,水比较深,慎重,es 对 cpu 和内存/磁盘要求很高的,不是说能用就可以了的,那么多日志的推送,你没个几十核 的 集群机器,别想玩起来,elk ,能搭建起来的很容易,能发挥价值的,不多。 来源:云原生后端社区 https://www.yuque.com/server_mind/answer

Atom 2020-04-25 16:05:36 0 浏览量 回答数 0

回答

外卖app,我用美团来举例子吧:美团APP是目前国内最牛的一款聚合了吃、住、行、游、购、娱为一体的综合服务类APP,为消费者提供本地生活一站式O2O服务,覆盖电影、美食、酒店、外卖等多种品类。由于美团打造这样一个平台是由几百上千人研发团队,经过几年的反复迭代才得以完成的,总的研发投入少则几千万,多则会上亿元人民币,那么对于一个创业团队如果想要打造一款类似美团的APP软件,需要投入多少资金呢?如果采用常规的原生开发模式,至少需要配备云端后台开发工程师、Android开发工程师,iOS开发工程师、项目经理、产品经理、UI设计师以及测试人员等8-10人软件研发团队,估计开发周期至少需要6-12个月,如果平均工资按2.0万元/人月计算,至少开发费用也需要96-240万元人民币。因此采用原生开发模式从零开始开发这样一款APP至少需要上百万的资金投入,即使您有充足的资金可以投入,但是如果您的开发团队没有丰富的O2O移动电商APP的开发经验,也会存在很大的开发失败风险,导致您的前期研发投入打水漂,那么是否还有更好的方法可以低成本零风险地快速搭建类似美团的APP平台哪?答案是肯定的,目前在国内有一个长期专注O2O中间件平台研发的团队,已经成功推出了一款名为:O2O商圈的新零售移动电商中间件平台,它可以快速搭建吃、住、行、游、购、娱各种品类的本地生活服务和新零售移动电商的APP应用,速度快成本低,开发周期从原本的几个月缩短到1-2周时间,开发成本降到传统开发模式的1/10,大幅提升了开发效率,也大幅度降低了创业者的试错成本和前期风险,利用这种高科技的新零售移动电商中间件产品,可以助力传统中小实体企业零门槛低风险快速地转型新零售,快速搭建起属于自己品牌的新零售移动电商应用,避免企业重复投入造成浪费,解决传统实体企业转型新零售过程中的人才和技术匮乏的痛点,助力传统企业快速转型成功,为每个企业都可以节省几十万到上百万的APP研发成本,同时还可以节省业务转型过程中的时间成本和试错成本,让每个团队或企业都能快速找到适合自己的方法和路径,实现自己的创业梦想!文章参考:http://www.kmyunruan.com/

yangxuruio 2019-12-02 01:51:43 0 浏览量 回答数 0

问题

阿里云中间件是什么

搞么罗 2019-12-01 21:51:58 1418 浏览量 回答数 0

回答

招募集合贴 | 有需求即随时更新 职责描述: 1、负责研发日常工作任务跟进; 2、负责公司系统新功能的开发,以及原有功能的维护; 3、根据需求文档完成相应的文档以及相应的开发; 4、协助产品部完成系统的规划,需求分析; 5、协助前端设计师完成系统的前端设计; 6、协助架构设计师完成系统的总体; 7、负责某个具体模块的设计、开发、单元测试、维护; 8、配合其他软件工程师共同完成某个模块或多个模块的设计、开发、单元测试、维护。 职位要求: 1、计算机相关专业本科及以上学历,4年以上的J2SE/J2EE实际开发经验;(全日制统招,学信网可查) 2、有一定的项目架构设计能力,能协助架构师搭建架构; 3、能独立封装组件、设计服务能力、并且能协助同事设计与开发; 4、熟练掌握OO的编程思想; 5、熟悉Java设计模式,以及UML的设计; 6、熟练掌握Spring,springBoot springCloud,myBatis/iBatis等开源框架;(主要使用springboot微服务框架) 7、熟练使用Eclipse Java IDE开发工具,熟悉 Tomcat,Resin等Web Server; 8、熟悉关系型数据库,有使用Oracle,Mysql的实际经验; 工作地点:蛇口网谷(2号线水湾) 工作时间:周末双休,早九晚六 薪酬:18-23K,十三薪,提供两餐 邮箱:hr.tech@ascend-global.com 阿里巴巴2020春季实习生求职意向表 一份好的工作,从实习开始,想要和大神一起共事,闲来无事一起探讨技术二三事吗?想要一毕业就就能拿出优秀的简历,让各个大厂争相送你offer吗?想要接受良好工作环境、实习期甩开同学们吗? 阿里2020春招实习生~值得申请 https://survey.aliyun.com/apps/zhiliao/jztLGve0?spm=a2c6h.14062461.J_1935739830.1.585b33e1EEaMqr 阿里校招+社招 业务团队-淘系技术部–多媒体算法团队-视频语义理解算法工程师/专家 我们团队依托淘系数十亿级的视频数据,有丰富的业务场景和技术方向! 我们持续以技术驱动产品和商品创新,不断探索和衍生颠覆型互联网新技术,技术成果获得国家科技进步二等奖! 我们不断吸引机器学习、视觉算法、音视频通信、端侧智能等领域人才加入,让科技引领面来未来的商业创新和进步! 岗位详情信息请查看https://tianchi.aliyun.com/forum/postDetail?spm=a2c6h.12873639.0.0.332bb953TEhTTr&postId=94418 简历请发送至andy.ybm@alibaba-inc.com,主题请注明社招/校招 饿了吗本地生活招聘了哦 阿里巴巴淘宝搜索推荐算法团队急招,绿色通道,直接面试 划重点:本人来自阿里巴巴淘宝搜索推荐算法团队,是整个阿里集团非常核心的团队,由于现在要启动大项目,实习hc特别多!!!有兴趣的朋友赶紧把简历投过来,保证1小时内回复!实习生有机会直接转正 岗位详情信息查看:https://tianchi.aliyun.com/forum/postDetail?spm=a2c6h.12873639.0.0.332bb953pkKhYQ&postId=88676 简历投递邮箱:xuming.panxm@alibaba-inc.com,格式【实习/校招-姓名】 阿里集团-阿里云智能事业群-阿里云-基础设施事业部-天基-集群智能运维团队校招 团队使命:为集团各大规模分布式服务和Web应用运维提供统一的基础架构、技术和人工智能服务。团队专注于提供一站式,自动化,智能化的资源服务开通,管控和运维能力。通过采用先进的人工智能系统和算法,实时监控和分析各类系统数据,并联动各相关系统进行运维操作,形成数据分析和反馈的完整闭环链路,持续优化集团资源运营和服务运维决策。天基团队的使命是为阿里巴巴各业务场景提供智能,快速,高效,稳定的DevOps平台,支撑和保障阿里巴巴全球化发展战略。 岗位详情信息查看:https://tianchi.aliyun.com/forum/postDetail?spm=a2c6h.12873639.0.0.332bb953zJzaiJ&postId=94133 投递邮箱:jiongzhou.ljz@alibaba-inc.com, mars.ly@alibaba-inc.com 阿里巴巴达摩院-语言技术实验室 [校招+实习生招聘] 我们是阿里巴巴达摩院语言技术实验室基础技术团队,致力于研究词法、句法、多语言、知识库建设等基础技术,并应用到文本挖掘技术(分类、聚类、情感、问答)以及相关业务(搜索、推荐、客服机器人、国际化等)中,全面支持阿里经济体相关应用的需求,提供的nlp服务目前每日调用超过万亿次。我们努力提升技术、驱动商业,目标是成为最有价值的商业自然语言基础技术团队。 我们在寻找自然语言处理相关校招生和实习生,一起深入探索文本背后的含义,挑战业界难题,提升阿里巴巴产品体验,服务亿万用户。 岗位详情信息查看:https://tianchi.aliyun.com/forum/postDetail?spm=5176.12282029.0.0.424425d0xxSL3d&&postId=94412 投递邮箱: chuanqi.tcq@alibaba-inc.com 阿里安全-智能认知/NLP团队招聘[校招+实习生] 自2009年成立集团安全部​以来,阿里安全就在随着业务升级和拓展,不断探索创新的安全技术能力,以及世界级的安全风险防御体系,保护阿里巴巴经济体内消费者和整个生态伙伴的安全。https://s.alibaba.com我们 智能认知团队 每天需要处理阿里经济体中海量商品、海量内容的各种风险,以及保障各业务中的数据安全,正在招聘此方向的优秀人才。 岗位详情信息:https://tianchi.aliyun.com/forum/postDetail?spm=5176.12282029.0.0.424425d0xxSL3d&&postId=94494 投递邮箱:stone.zhangr@alibaba-inc.com 阿里云-云原生应用平台基础技术中台招聘-社招-21届校招 云原生应用平台致力于打造稳定、标准、先进的云原生平台,推动行业面向云原生技术升级与革命。在这里,你将与来自云计算、大数据领域的顶尖技术专家亲密合作,在全球独一无二的场景与规模中从事 Kubernetes、Service Mesh、Serverless、Open Application Model(OAM)、Cloud Native Microservices 、OpenMessaging、Event Streaming等云原生生态核心基础技术及 Apache Dubbo,Apache RocketMQ, Nacos,Arthas 等顶级开源项目的研发与落地工作。在标杆级的平台上,既服务阿里巴巴全球经济体,更服务全世界的开发者用户。 岗位详情介绍:https://tianchi.aliyun.com/forum/postDetail?spm=5176.12282029.0.0.424425d0xxSL3d&&postId=94430 请以附件的方式发送pdf版简历至 xiangsheng.gh@alibaba-inc.com 邮件标题:云原生应用平台简历-{姓名} 阿里云-弹性计算招聘-社招-2020届校招 今年阿里云弹性计算实习生内推即将启动,我们是阿里云智能最核心的部门,在这里你将体验极致性能和架构的挑战,海量的数据,最前沿的算法问题挑战,简历亲自review,保障专人跟进,请对弹性计算感兴趣的同学发送简历给我们,直接内推进入系统。邮箱:chao.qianc@alibaba-inc.com 岗位详情信息:https://tianchi.aliyun.com/forum/postDetail?spm=5176.12282029.0.0.424425d0xxSL3d&postId=94508 阿里云-数据智能-基础产品研发-社招/2021届校招 基础产品研发团队为部门提供数据中台技术与产品,利用AI平台、数据分析与决策、数据可视化、知识图谱等技术为用户和ISV提供先进、高效的产品与工具,为“智能+”战略的落实提供卓越的基础设施。 作为后端研发专家,你将主要负责阿里云数据中台服务器端的研发工作,内部包括AI平台、数据分析与决策、数据可视化、知识图谱等多个领域方向的技术创新的研发工作,在这里你将致力于让“数据智能”普惠到各行各业,让行业用户也能拥有阿里巴巴强大的基于数据的分析、决策、展现能力。加入我们,共创产业AI, 让各行各业拥有智慧的大脑! 招聘岗位: Java后端工程师、前端工程师、大数据开发工程师、算法工程师 投递邮箱:jianxun.zxl@taobao.com 岗位详情请查看:https://tianchi.aliyun.com/forum/postDetail?spm=5176.12282029.0.0.424425d0xxSL3d&&postId=94734 2020淘宝技术部消息中台团队校招火热 岗位详情信息,请查看:https://tianchi.aliyun.com/forum/postDetail?spm=5176.12282029.0.0.424425d0xxSL3d&postId=94370 【阿里巴巴】【2021校招】【极速响应】【100%转正】阿里云-大数据&AI-团队直招 岗位详情信息,请查看:https://tianchi.aliyun.com/forum/postDetail?spm=a2c6h.12873639.0.0.332bb953ymPQtN&postId=94935

问问小秘 2020-04-01 18:18:22 0 浏览量 回答数 0

问题

概述直播平台搭建两步走直播系统源码三步搭建法

qq2954023423 2019-12-01 21:00:00 1587 浏览量 回答数 0

回答

本文档介绍如何将开源HDFS的数据平滑地迁移到文件存储HDFS。 背景信息 当前业界有很多公司是以Hadoop技术构建数据中心,而越来越多的公司和企业希望将业务顺畅地迁移到云上。文件存储HDFS可以帮助您实现将开源HDFS的数据迁移到云上,并允许您在云上就像在Hadoop分布式文件系统中管理和访问数据。 适用范围 非阿里云Hadoop集群中的数据迁移到文件存储HDFS。 阿里云ECS自建Hadoop集群中的数据迁移到文件存储HDFS。 准备工作 在阿里云ECS创建Hadoop集群。 如果您目前的Hadoop集群是搭建在阿里云VPC网络上的阿里云ECS集群,则无需在阿里云ECS上创建新的Hadoop集群。 创建和挂载文件系统至阿里云ECS上的Hadoop集群,并将文件存储HDFS设置为fs.defaultFS,详情请参见文件存储HDFS快速入门。 验证文件系统和计算节点之间的连通性。 执行以下命令,在文件存储HDFS上创建目录(如:/dfs_links)。 hadoop fs -mkdir /dfs_links 执行以下命令,验证连通性。 hadoop fs -ls dfs://f-xxxxxxxxxxxxxxx.cn-xxxxxxx.dfs.aliyuncs.com:10290/dfs_links 其中f-xxxxxxxxxxxxxxx.cn-xxxxxxx.dfs.aliyuncs.com为文件存储HDFS挂载点域名,请根据您的实际情况进行修改。 如果命令正常执行无输出结果,则表示连通成功。如果连通失败,请参见创建文件系统实例后,为什么无法访问文件存储HDFS?进行排查。 准备迁移工具。 您可以通过Hadoop社区标准的Distcp工具实现全量或增量的HDFS数据迁移,详细的Distcp工具使用说明请参见Hadoop Distcp 工具官方说明文档。 说明 使用Distcp命令将旧集群数据迁移至文件存储HDFS时,请注意文件存储HDFS不支持以下参数,其它参数使用和Hadoop Distcp 工具官方说明文档一致。文件存储HDFS及命令行存在限制的详细信息请参见使用限制。 参数 描述 状态 -p[rbpax] r:replication,b:block-size,p:permission,a:ACL,x:XATTR 不可用 非阿里云自建Hadoop集群数据迁移 非阿里云自建Hadoop集群数据迁移到文件存储HDFS包括以下两种情况。 非阿里云自建Hadoop集群与文件存储HDFS可以实现网络互通时, 请按照以下方法进行数据迁移。 使用阿里云高速通道产品建立原集群和文件存储HDFS所在VPC网络的连通,详情请参见专线上云方案介绍。 新旧集群实现网络互通后,执行以下命令迁移数据。 hadoop distcp -m 1000 -bandwidth 30 hdfs://oldclusterip:8020/user/hive/warehouse dfs://f-xxxxxxxxxxxxxxx.cn-xxxxxxx.dfs.aliyuncs.com:10290/user/hive/warehouse 其中oldclusterip为原自建Hadoop集群namenode的IP地址或者域名,f-xxxxxxxxxxxxxxx.cn-xxxxxxx.dfs.aliyuncs.com为文件存储HDFS挂载点域名,请根据您的实际情况进行修改。 说明 为减轻现有集群资源压力,建议确保新旧集群网络连通后,在新挂载文件系统的阿里云Hadoop集群上执行数据迁移命令。 非阿里云自建Hadoop集群与文件存储HDFS无法实现网络互通时,请按照以下方法进行数据迁移。 将非阿里云自建Hadoop集群数据迁移到对象存储OSS,详情请参见离线迁移教程。 将对象存储OSS数据迁移到文件存储HDFS,详情请参见文件存储HDFS和对象存储OSS双向数据迁移。 阿里云ECS自建Hadoop集群数据迁移 阿里云ECS自建Hadoop集群数据迁移到文件存储HDFS时,包括以下两种情况: 阿里云ECS自建Hadoop集群处于经典网络环境时,请按照以下方法进行数据迁移。 通过阿里云ECS的ClassicLink建立ClassicLink连接,详情请参见建立 ClassicLink 连接。 执行以下命令迁移数据。 hadoop distcp -m 1000 -bandwidth 30 hdfs://oldclusterip:8020/user/hive/warehouse dfs://f-xxxxxxxxxxxxxxx.cn-xxxxxxx.dfs.aliyuncs.com:10290/user/hive/warehouse 其中oldclusterip为原自建Hadoop集群namenode的IP地址或者域名,f-xxxxxxxxxxxxxxx.cn-xxxxxxx.dfs.aliyuncs.com为文件存储HDFS挂载点域名,请根据您的实际情况进行修改。 阿里云ECS自建Hadoop集群处于VPC网络环境时,请按照以下方法进行数据迁移。 阿里云ECS自建Hadoop集群处于VPC网络环境时,可以直接通过VPC网络迁移数据到文件存储HDFS。迁移命令如下所示: hadoop distcp -m 1000 -bandwidth 30 hdfs://oldclusterip:8020/user/hive/warehouse dfs://f-xxxxxxxxxxxxxxx.cn-xxxxxxx.dfs.aliyuncs.com:10290/user/hive/warehouse 其中oldclusterip为原自建Hadoop集群namenode的IP或者域名,f-xxxxxxxxxxxxxxx.cn-xxxxxxx.dfs.aliyuncs.com为文件存储HDFS挂载点域名,请根据您的实际情况进行修改。 常见问题 整体迁移速度受Hadoop集群与文件存储HDFS之间的带宽、集群规模影响。同时文件越多,checksum需要的时间越长。如果迁移数据量大,建议先尝试迁移几个目录评估下整体时间。如果只能在指定时间段内迁移数据,可以将目录切为几个小目录,依次迁移。 一般全量数据同步时,需要一个短暂的业务停写过程,用来启用双写双算或直接将业务切换到新集群上。 迁移过程出现异常提示:Cannot obtain block length for LocatedBlock。 从原生的HDFS往对象存储OSS/文件存储HDFS迁移数据时,可能会遇到这个问题。遇到该问题时,请执行hdfs fsck / –openforwrite命令,检查当前是否有文件处于写入状态尚未关闭。 如果有处于写入状态的文件时,需判断文件是否有效。 如果文件无效,则直接删除文件。 hdfs rm 如果文件有效,则不能直接删除,请考虑恢复问题文件租约。 hdfs debug recoverLease -path -retries

1934890530796658 2020-03-31 02:36:06 0 浏览量 回答数 0

回答

不保证 exactly once 语义,即不保证只消费一次,需要业务自己做幂等。RocketMQ 发送方的默认重试次数刚好是 3 次。发送一条消息时,超时时间内,如果失败了,会自动重试。第一次发送,加上 2 次重试,总共是 3 次。3 秒内,如果第一次发送失败,则进行重试,最多重试 2 次。如果 3 秒内成功了,不会抛出异常。所以虽然看起来调用了一次,实际上可能不止一次。每次重试可能是发送到不同的 broker,比较难查,如果是线上业务,一直有数据发送的话,更不容易确定。如果只是自己搭建个 broker,写个 demo 玩的话,可以通过 console,看一下发送一条消息,有几个 partition 的 offset 增加了。正常只会有一个 partition 的 offset 增加 1,这个时候说明,只发送了一次,生产者没有重复发送。以为默认大家都说的使用 consumer group。使用 consumer group 的情况下,消费者判断消息是否重复发送,可以根据 UNIQ_KEY 来判断,如果消息内容相同,UNIQ_KEY 不同,则说明可能是重复发送了。 来源:云原生后端社区

Atom 2020-04-25 14:47:26 0 浏览量 回答数 0

问题

【阿里云产品公测】ACE的NodeJS环境试用问题汇总

橘子 2019-12-01 21:14:05 12111 浏览量 回答数 3

问题

Redis 4.0、codis 、云数据库 Redis 版集群对比分析

云栖大讲堂 2019-12-01 21:20:41 1050 浏览量 回答数 0

回答

Web应用托管服务Web+具有广泛的应用场景,既可以部署普通Web应用、小程序移动应用和开源应用,又可以与其他阿里云服务集成提供丰富的应用托管方案。 普通Web应用 Web+支持多种Web应用部署方式。可以是极简配置的单机部署,适用于小规模的测试场景;也可以是复杂配置的分布式部署,适合大规模的生产场景。 单机部署模式下,反向代理、用户的应用程序和数据库等均部署在一台主机上,最大限度的解决资源和成本问题。 分布式部署模式下,用户的应用可以使用弹性能力方便的进行横向扩展,再通过SLB对请求进行负载均衡;数据库将被部署到RDS上,以保证服务的高性能和高可用;最后应用所使用的静态资源将通过CDN服务进行分发,以加快资源的访问速度。 普通Web应用 灵活的应用部署方式 用户应用在不同的部署环境上可能有不同的配置要求,开发和测试环境对系统性能和可用性的要求较低,可以使用更简单的单机部署来节约成本;而预发和线上环境则会按照服务能力要求进行分布式部署。Web+可以灵活支持这两种场景下的部署方式。 自动化的全托管环境 用户无需关心底层基础设施的管理与配置,系统会按照用户提交的配置请求对系统资源和软件环境进行自动管理。包括但不限于购买、变配、扩缩容和释放等。 深度整合阿里云的各项服务 依托于阿里云提供的各项基础设施服务(如ECS、RDS、OSS、SLB、云监控和CDN等),用户能够通过Web+快速搭建一套具有云原生能力的Web应用系统。 推荐产品:ECS、OSS、RDS、SLB、CDN 小程序移动应用 Web+支持部署小程序移动应用。小程序移动应用的前后端是严格分离的,前端程序运行在宿主应用中,后端程序运行在云厂商提供的基础设施服务之上。使用Web+可以轻松运维小程序移动应用的后端部分。在组织内部,通过共享配置模板或将配置模板提交到代码仓库进行版本管理,团队内部成员可以使用这些配置模板快速创建一个相同配置的部署环境。 小程序移动应用 使用多语言开发后端应用 Web+提供的多语言支持能力可以让用户使用多种主流的开发语言开发小程序后端应用,包括但不限于Java、Python、Node.js、PHP、Ruby和Go,同时用户还可以使用Docker镜像或插件扩展自己的运行时环境。 基础设施即代码(Infrastructure as Code) Web+开放格式的资源描述文件(Wpfile)可以随应用代码一起管理和分发,通过命令行工具或控制台,任何有权限获取该文件的用户都可以通过其创建一套相同配置的部署环境。 部署环境按需创建 开发和测试过程中的部署环境通常非常不稳定,出现问题后将相关服务推倒重来可能是最经济的解决办法。使用Web+用户可以随时重建部署环境,或创建新的部署环境,而且在非频繁使用期可以随时释放并销毁资源,以节约资源占用成本。 推荐产品:ECS、OSS、RDS、SLB、日志服务 开源应用 在开发过程中,通过命令行工具与CI/CD系统集成,开发者可以快速构建、测试、验收并发布开源软件。在发布过程中,通过分发资源描述文件(Wpfile),维护者可以帮助用户进行系统配置和初始化工作。由于运行应用所需的运行时环境各不相同,在Web+插件体系的支撑下,开源应用将可以按需依赖任何第三方组件,而无需等待Web+产品对此进行官方支持。 开源应用 从研发到交付的全流程整合 无论是从代码到产出交付物,还是从交付物到最终可运行的系统,Web+都可以在其中帮助开发人员、测试人员、发布人员和最终用户解决环境的部署问题。 更灵活的组件依赖 开源应用维护者可以通过Web+提供的插件能力,扩展应用所需的资源和运行时环境。这些扩展插件可以是私有的,也可以作为新的开源项目贡献给社区。 打造开源应用支持生态 在Web+官方、开源应用维护者和整个社区的共同参与下,Web+致力于打造一个快速体验开源应用的开放生态环境。 推荐产品:ECS、OSS、RDS、SLB、云效

1934890530796658 2020-03-23 13:42:36 0 浏览量 回答数 0

回答

多集成 • 身份认证与访问控制 KMS借助于身份认证机制(AccessKey)来鉴别请求的合法性,KMS还通过与访问控制(RAM)集成,允许您配置多样化的自定义策略,满足不同的授权场景。任何请求仅由合法用户发起且满足RAM对权限的动态检测(基于属性的访问控制,简称ABAC),才能被KMS接受。详情请参见使用RAM实现访问控制。 • 审计密钥的使用 KMS通过与操作审计(ActionTrail)集成,可以查看近期KMS的使用状况,也可以将KMS使用情况存储到OSS等其他云服务中,满足更长周期的审计需求。详情请参见使用ActionTrail记录操作事件。 • 控制云产品集成加密 KMS和阿里云ECS、RDS、OSS等多个产品无缝集成。通过一方集成,您可以很容易的使用KMS主密钥加密和控制您存储在这些服务中的数据,帮助您保持对云上计算和存储环境的控制,而您只需要付出密钥的管理成本,无需实现复杂的加密能力。同时集成加密解决了其他云产品中原生数据的加密保护问题。详情请参见服务端集成加密概述和服务端集成加密的云产品。 易使用 • 轻松实现加密 KMS提供简单的密码运算API,简化和抽象了密码学概念,让您可以轻松的使用API完成数据的加解密。对于需要密钥层次结构的应用,KMS提供了方便的信封加密能力,快速实现密钥层次结构:生成一个数据密钥,并将主密钥(CMK)用作密钥加密密钥(Key Encryption Key,简称KEK)来保护数据密钥。详情请参见什么是信封加密? • 集中的密钥托管 密钥管理服务为您提供对密钥的集中化托管与控制。 o 您可以随时创建新的用户主密钥,并通过访问控制(RAM)轻松管理谁可以访问该密钥 o 您可以通过操作审计(ActionTrail)审核密钥的使用情况。 o 您可以从线下密钥管理基础设施(KMI)或在阿里云加密服务中创建的HSM里将密钥导入到KMS。无论在KMS内创建的密钥还是外部导入的密钥,密钥中的机密信息或者敏感数据都会被阿里云上的其他云产品用于加密保护。 • 支持自带密钥(BYOK) KMS支持自带密钥(Bring Your Own Key,简称BYOK)。您可以将密钥租借给KMS用作云上数据的加密保护,从而更好的管理密钥。可租借的密钥包括以下两种: o 线下密钥管理基础设施(Key Management Infrastructure,简称KMI)里的密钥 o 在阿里云加密服务中自主管理的HSM中的密钥 说明 通过安全合规的密钥交换算法,导入到KMS的托管密码机中的密钥不会被任何机制所导出,密钥明文不会被操作者或任何第三者查看。详情请参见导入密钥材料和保持对密钥的控制。 • 自定义密钥轮转策略 KMS允许您根据所需的安全策略来自动轮转对称加密密钥。您只需要为主密钥(CMK)配置一个自定义的轮转周期,KMS会自动为您生成新的加密密钥版本。一个主密钥可以有多个密钥版本,其中每个版本可以被用来解密对应的密文数据,而最新的密钥版本(称为主版本)是活跃加密密钥,用于加密当前传入的数据。详情请参见自动轮转密钥。 高可靠、高可用、可伸缩 作为全托管的分布式服务,KMS在每个地域构建了多可用区冗余的密码计算能力,保证阿里云上各个产品和您的自定义应用向KMS发起的请求可以得到低延迟处理。您可以根据需要,在不同地域的KMS创建足够的密钥,而不必担心底层设施的扩容或缩容。 安全与合规能力 KMS经过严格的安全设计和审核,保证您的密钥在阿里云得到最严格的保护。 • KMS仅提供基于TLS的安全访问通道,并且仅使用安全的传输加密算法套件,符合PCI DSS等安全规范。 • KMS提供了监管机构许可和认证的密码设施。根据地域分布,分别提供了经国家密码管理局检测和认证的硬件密码设备,取得了FIPS 140-2第三级认证和运行在FIPS许可的第三级模式下的密码设备。详情请参见合规。 • KMS使用硬件安全模块来托管密钥,从而达到更高的安全标准,详情请参见托管密码机简介。 低成本 使用KMS,您可以按需使用和付费。 • 您无需支付采购硬件密码设备的初始成本以及对硬件系统进行运维、修补、老旧替换的持续开销。 • KMS为您节省了搭建具有可用性和可靠性密码设备集群,以及自建密钥管理设施的研发成本和维护开销。 • KMS与其他产品的集成为您节省了研发数据加密系统的开销,仅需通过管理密钥而获得可控的云上数据加密的能力。 密钥管理服务(Key Management Service,简称KMS) 阿里云提供的密钥管理服务可以提供密钥的安全托管及密码运算等服务。KMS内置密钥轮转等安全实践,支持其它云产品通过一方集成的方式对其管理的用户数据进行加密保护。借助KMS,您可以专注于数据加解密、电子签名验签等业务功能,无需花费大量成本来保障密钥的保密性、完整性和可用性。 用户主密钥(Customer Master Key,简称CMK) 用户主密钥主要用于加密保护数据密钥并产生信封,也可直接用于加密少量的数据。您可以调用KMS的API CreateKey创建一个用户主密钥。 信封加密(Envelope Encryption) 当您需要加密业务数据时,您可以调用KMS的API GenerateDataKey或GenerateDataKeyWithoutPlaintext生成一个对称密钥,同时使用指定的用户主密钥加密该对称密钥(被密封的信封保护)。在传输或存储等非安全的通信过程中,直接传递被信封保护的对称密钥。当您需要使用该对称密钥时,打开信封取出密钥即可。详情请参见什么是信封加密? 数据密钥(Data Key,简称DK) 数据密钥为加密数据使用的明文数据密钥。 说明 您可以调用KMS的API GenerateDataKey生成一个数据密钥,同时使用指定用户主密钥加密该数据密钥,返回数据密钥的明文(DK) 和密文(EDK)。 信封数据密钥(Enveloped Data Key/Encrypted Data Key,简称EDK) 信封数据密钥为通过信封加密技术保密后的密文数据密钥。 说明 如果暂时不需要数据密钥的明文,您可以调用KMS的API GenerateDataKeyWithoutPlaintext仅返回数据密钥密文。 硬件安全模块(Hardware Security Module,简称HSM) 硬件安全模块也称为密码机,是一种执行密码运算、安全生成和存储密钥的硬件设备。KMS提供的托管密码机可以满足监管机构的检测认证要求,为用户在KMS托管的密钥提供更高的安全等级保证。详情请参见托管密码机简介。 加密上下文(Encryption Context) 加密上下文是KMS对可认证加密(Authenticated Encryption with Associated Data,简称AEAD)的封装。KMS将传入的加密上下文作为对称加密算法的额外认证数据(Additional Authenticated Data,简称AAD)进行密码运算,从而为加密数据额外提供完整性(Integrity)和可认证性(Authenticity)的支持。详情请请见EncryptionContext说明。

LiuWH 2020-03-26 10:00:05 0 浏览量 回答数 0

问题

阿里云推出RDS只读实例 分担数据库读写压力

bendchen 2019-12-01 21:09:05 11157 浏览量 回答数 3

回答

传统应用微服务改造 通过微服务产品将传统金融业务系统拆分为模块化、标准化、松耦合、可插拔、可扩展的微服务架构,可缩短产品面世周期,快速上架,抢占市场待机,不仅可确保客户服务的效率,也降低了运营成本。 • 开发简单 提供高性能微服务框架,轻松构建原生云应用,具备快速开发,持续交付和部署的能力。 • 管理简单 框架自带服务治理能力,使用门槛低,可轻松管理成千上万个服务实例,保障服务高质量运行。 • 接入门槛低 完全托管的 SaaS 服务,轻资产,且无需自己部署及运维,有效降低投入成本。 高并发业务快速扩展 通过微服务产品开发互联网金融业务可提高研发效率,更灵活地响应业务变化,快速迭代创新产品,并针对热点模块进行快速扩展来提高处理能力,轻松应对突发流量,同时提高用户体验,为更多小微客户提供个性化的金融产品和交易成本较低的便捷金融服务。 • 高性能 提供基于事件驱动的架构以及自研二进制通信协议,轻松搭建低延迟、高吞吐的服务。 • 可扩展性强 支持无限水平扩展,无性能、容量瓶颈,在蚂蚁金服内部已支撑数万个节点规模的分布式应用架构。 • 可视化管理 在分布式系统中,面对爆发式增长的应用数量和服务器数量,提供图形化的集中式管理平台,简单易用,学习成本低。 多数据中心异地多活 通过微服务产品可快速构建高可扩展、高性能的金融级分布式核心系统,拥有弹性扩容和异地多活的能力,实现技术安全自主可控,突破业务发展瓶颈,并减少开发及运维成本。实现轻型银行,助力业务快速发展和持续创新。 • 异地多活 支持同城双活/异地多活架构,具备异地容灾能力。 • 弹性扩容 支持应用级,数据库级,机房级、地域级的快速扩展。 • 自主可控 基于支付宝的业务迭代衍生完全自主研发,产品拥有完全自主知识产权,自身开源开放,并兼容开源生态。

LiuWH 2020-03-24 22:35:22 0 浏览量 回答数 0

回答

前言 随着计算机技术和 Internet 的日新月异,视频点播技术因其良好的人机交互性和流媒体传输技术倍受教育、娱乐等行业青睐,而在当前, 云计算平台厂商的产品线不断成熟完善, 如果想要搭建视频点播类应用,告别刀耕火种, 直接上云会扫清硬件采购、 技术等各种障碍,以阿里云为例: image 这是一个非常典型的解决方案, 对象存储 OSS 可以支持海量视频存储,采集上传的视频被转码以适配各种终端,CDN 加速终端设备播放视频的速度。此外还有一些内容安全审查需求, 比如鉴黄、鉴恐等。 而在视频点播解决方案中, 视频转码是最消耗计算力的一个子系统,虽然您可以使用云上专门的转码服务,但在很多情况下,您会选择自己搭建转码服务。比如: 您已经在虚拟机/容器平台上基于 FFmpeg 部署了一套视频处理服务,能否在此基础上让它更弹性,更高的可用性? 您有并发处理大量视频的需求。 您有很多超大的视频需要批量快速处理完, 比如每周五定期产生几百个 4G 以上的 1080P 大视频, 但是希望当天几个小时后全部处理完。 您有更高级的自定义处理需求,比如视频转码完成后, 需要记录转码详情到数据库, 或者在转码完成后, 自动将热度很高的视频预热到 CDN 上, 从而缓解源站压力。 自定义视频处理流程中可能会有多种操作组合, 比如转码、加水印和生成视频首页 GIF。后续为视频处理系统增加新需求,比如调整转码参数,希望新功能发布上线对在线服务无影响。 您的需求只是简单的转码需求,或是一些极其轻量的需求,比如获取 OSS 上视频前几帧的 GIF、获取视频或者音频的时长,自己搭建成本更低。 各种格式的音频转换或者各种采样率自定义、音频降噪等功能 您的视频源文件存放在 NAS 或者 ECS 云盘上,自建服务可以直接读取源文件处理,而不需要将它们再迁移到 OSS 上。 如果您的视频处理系统有上述需求,或者您期望实现一个 弹性、高可用、低成本、免运维、灵活支持任意处理逻辑 的视频处理系统,那么本文则是您期待的最佳实践方案。 Serverless 自定义音视频处理 在介绍具体方案之前, 先介绍两款产品: 函数计算 :阿里云函数计算是事件驱动的全托管计算服务。通过函数计算,您无需管理服务器等基础设施,只需编写代码并上传。函数计算会为您准备好计算资源,以弹性、可靠的方式运行您的代码,并提供日志查询、性能监控、报警等功能。 函数工作流:函数工作流(Function Flow,以下简称 FnF)是一个用来协调多个分布式任务执行的全托管云服务。您可以用顺序,分支,并行等方式来编排分布式任务,FnF 会按照设定好的步骤可靠地协调任务执行,跟踪每个任务的状态转换,并在必要时执行用户定义的重试逻辑,以确保工作流顺利完成。 免费开通函数计算,按量付费,函数计算有很大的免费额度。 免费开通函数工作流,按量付费,函数工作流有很大的免费额度。 函数计算可靠的执行任意逻辑, 逻辑可以是利用 FFmpeg 对视频任何处理操作, 也可以更新视频 meta 数据到数据库等。函数工作流对相应的函数进行编排, 比如第一步的函数是转码, 第二步的函数是转码成功后,将相应 meta 数据库写入数据库等。 至此,您应该初步理解了函数计算的自定义处理能力 + 函数工作流编排能力几乎满足您任何自定义处理的需求,接下来,本文以一个具体的示例展示基于函数计算和函数工作流打造的一个弹性高可用的 Serverless 视频处理系统,并与传统方案进行性能、成本和工程效率的对比。 Simple 视频处理系统 假设您是对视频进行单纯的处理, 架构方案图如下: image 如上图所示, 用户上传一个视频到 OSS, OSS 触发器自动触发函数执行, 函数调用 FFmpeg 进行视频转码, 并且将转码后的视频保存回 OSS。 OSS 事件触发器, 阿里云对象存储和函数计算无缝集成。您可以为各种类型的事件设置处理函数,当 OSS 系统捕获到指定类型的事件后,会自动调用函数处理。例如,您可以设置函数来处理 PutObject 事件,当您调用 OSS PutObject API 上传视频到 OSS 后,相关联的函数会自动触发来处理该视频。 Simple 视频处理系统示例工程地址 强大的监控系统: 您可以直接基于示例工程部署您的 Simple 音视频处理系统服务, 但是当您想要处理超大视频(比如 test_huge.mov ) 或者对小视频进行多种组合操作的时候, 您会发现函数会执行失败,原因是函数计算的执行环境有最大执行时间为 10 分钟的限制,如果最大的 10 分钟不能满足您的需求, 您可以选择: 对视频进行分片 -> 转码 -> 合成处理, 详情参考:fc-fnf-video-processing, 下文会详细介绍; 联系函数计算团队(钉钉群号: 11721331) 或者提工单: 适当放宽执行时长限制; 申请使用更高的函数内存 12G(8vCPU) 为了突破函数计算执行环境的限制(或者说加快大视频的转码速度), 进行各种复杂的组合操作, 此时引入函数工作流 FnF 去编排函数实现一个功能强大的视频处理工作流系统是一个很好的方案。 视频处理工作流系统 image 如上图所示, 假设用户上传一个 mov 格式的视频到 OSS,OSS 触发器自动触发函数执行, 函数调用 FnF,会同时进行 1 种或者多种格式的转码(由您触发的函数环境变量DST_FORMATS 参数控制)。 所以您可以实现如下需求: 一个视频文件可以同时被转码成各种格式以及其他各种自定义处理,比如增加水印处理或者在 after-process 更新信息到数据库等。 当有多个文件同时上传到 OSS,函数计算会自动伸缩, 并行处理多个文件, 同时每次文件转码成多种格式也是并行。 结合 NAS + 视频切片, 可以解决超大视频(大于 3G )的转码, 对于每一个视频,先进行切片处理,然后并行转码切片,最后合成,通过设置合理的切片时间,可以大大加速较大视频的转码速度。 所谓的视频切片,是将视频流按指定的时间间隔,切分成一系列分片文件,并生成一个索引文件记录分片文件的信息 视频处理工作流系统示例工程地址 示例效果: gif 函数计算 + 函数工作流 Serverless 方案 VS 传统方案 卓越的工程效率 自建服务 函数计算 + 函数工作流 Serverless 基础设施 需要用户采购和管理 无 开发效率 除了必要的业务逻辑开发,需要自己建立相同线上运行环境, 包括相关软件的安装、服务配置、安全更新等一系列问题 只需要专注业务逻辑的开发, 配合 FUN 工具一键资源编排和部署 并行&分布式视频处理 需要很强的开发能力和完善的监控系统来保证稳定性 通过 FnF 资源编排即可实现多个视频的并行处理以及单个大视频的分布式处理,稳定性和监控交由云平台 学习上手成本 除了编程语言开发能力和熟悉 FFmpeg 以外,可能使用 K8S 或弹性伸缩( ESS ),需要了解更多的产品、名词和参数的意义 会编写对应的语言的函数代码和熟悉 FFmpeg 使用即可 项目上线周期 在具体业务逻辑外耗费大量的时间和人力成本,保守估计大约 30 人天,包括硬件采购、软件和环境配置、系统开发、测试、监控报警、灰度发布系统等 预计 3 人天, 开发调试(2人天)+ 压测观察(1 人天) 弹性伸缩免运维,性能优异 自建服务 函数计算 + 函数工作流 Serverless 弹性高可用 需要自建负载均衡 (SLB),弹性伸缩,扩容缩容速度较 FC 慢 FC系统固有毫秒级别弹性伸缩,快速实现底层扩容以应对峰值压力,免运维,视频处理工作流系统 (FnF + FC) 压测;性能优异, 详情见下面的转码性能表 监控报警查询 ECS 或者容器级别的 metrics 提供更细粒度的 FnF 流程执行以及函数执行情况, 同时可以查询每次函数执行的 latency 和日志等, 更加完善的报警监控机制 函数计算 + 函数工作流 Serverless 方案转码性能表 实验视频为是 89s 的 mov 文件 4K 视频: 4K.mov,云服务进行 mov -> mp4 普通转码需要消耗的时间为 188s, 将这个参考时间记为 T 视频切片时间 FC转码耗时 性能加速百分比 45s 160s 117.5% 25s 100s 188% 15s 70s 268.6% 10s 45s 417.8% 5s 35s 537.1% 性能加速百分比 = T / FC转码耗时 从上表可以看出,设置的视频切片时间越短, 视频转码时间越短, 函数计算可以自动瞬时调度出更多的计算资源来一起完成这个视频的转码, 转码性能优异。 更低的成本 具有明显波峰波谷的视频处理场景(比如只有部分时间段有视频处理请求,其他时间很少甚至没有视频处理请求),选择按需付费,只需为实际使用的计算资源付费。 没有明显波峰波谷的视频处理场景,可以使用预付费(包年包月),成本仍然具有竞争力。 函数计算成本优化最佳实践文档。 假设有一个基于 ECS 搭建的视频转码服务,由于是 CPU 密集型计算, 因此在这里将平均 CPU 利用率作为核心参考指标对评估成本,以一个月为周期,10 台 C5 ECS 的总计算力为例, 总的计算量约为 30% 场景下, 两个解决方案 CPU 资源利用率使用情况示意图大致如下: image 由上图预估出如下计费模型: 函数计算预付费 3CU 一个月: 246.27 元, 计算能力等价于 ECS 计算型 C5 ECS 计算型 C5 (2vCPU,4GB)+云盘: 包月219 元 函数计算按量付费占整个计算量的占比 <= 10%,费用约为 3×864×10% = 259.2 元,(3G 规格的函数满负载跑满一个月费用为:0.00011108×3×30×24×3600 = 863.8,详情查看计费) ITEM 平均CPU利用率 计算费用 总计 函数计算组合付费 >=80% 998(246.27×3+259.2) <= 998 按峰值预留ECS <=30% 2190(10*219) >=2190 在这个模型预估里面,可以看出 FC 方案具有很强的成本竞争力,在实际场景中, 基于 ECS 自建的视频转码服务 CPU 利用甚至很难达到 20%, 理由如下: 可能只有部分时间段有视频转码请求 为了用户体验,视频转码速度有一定的要求,可能一个视频转码就需要 10 台 ECS 并行处理来转码, 因此只能预备很多 ECS 因此,在实际场景中, FC 在视频处理上的成本竞争力远强于上述模型。 即使和云厂商视频转码服务单价 PK, 该方案仍有很强的成本竞争力 我们这边选用点播视频中最常用的两个格式(mp4、flv)之间进行相互转换,经实验验证, 函数内存设置为3G,基于该方案从 mp4 转码为 flv 的费用概览表: 实验视频为是 89s 的 mp4 和 flv 格式的文件视频, 测试视频地址: 480P.mp4 720P.mp4 1080P.mp4 4K.mp4 480P.flv 720P.flv 1080P.flv 4K.flv 测试命令: ffmpeg -i test.flv test.mp4 和 ffmpeg -i test.flv test.mp4 mp4 转 flv: 分辨率 bitrate 帧率 FC 转码耗费时间 FC 转码费用 某云视频处理费用 成本下降百分比 标清 640480 889 kb/s 24 11.2s 0.003732288 0.032 88.3% 高清 1280720 1963 kb/s 24 20.5s 0.00683142 0.065 89.5% 超清 19201080 3689 kb/s 24 40s 0.0133296 0.126 89.4% 4K 38402160 11185 kb/s 24 142s 0.04732008 0.556 91.5% flv 转 mp4: 分辨率 bitrate 帧率 FC 转码耗费时间 FC 转码费用 某云视频处理费用 成本下降百分比 标清 640480 712 kb/s 24 34.5s 0.01149678 0.032 64.1% 高清 1280720 1806 kb/s 24 100.3s 0.033424 0.065 48.6% 超清 19201080 3911 kb/s 24 226.4s 0.0754455 0.126 40.1% 4K 38402160 15109 kb/s 24 912s 0.30391488 0.556 45.3% 成本下降百分比 = (某云视频处理费用 - FC 转码费用)/ 云视频处理费用 某云视频处理,计费使用普通转码,转码时长不足一分钟,按照一分钟计算,这里计费采用的是 2 min,即使采用 1.5 min 计算, 成本下降百分比基本在10%以内浮动 从上表可以看出, 基于函数计算 + 函数工作流的方案在计算资源成本上对于计算复杂度较高的 flv 转 mp4 还是计算复杂度较低的 mp4 转 flv, 都具有很强的成本竞争力。 根据实际经验, 往往成本下降比上表列出来的更加明显, 理由如下: 测试视频的码率较高, 实际上很多场景绝大部分都是标清或者流畅视频的转码场景, 码率也比测试视频低,这个时候计算量变小, FC 执行时间短, 费用会降低, 但是通用的云转码服务计费是不变的. 很多视频分辨率在通用的云转码服务是计费是有很大损失的, 比如转码的视频是 856480 或者 1368768, 都会进入云转码服务的下一档计费单价, 比如856480 进入 1280720 高清转码计费档,1368768 进入 19201080 超清转码计费档, 单价基本是跨越式上升, 但是实际真正的计算量增加可能还不到30%, 而函数计算则是真正能做到按计算量付费. 操作部署 免费开通函数计算,按量付费,函数计算有很大的免费额度。 免费开通函数工作流,按量付费,函数工作流有很大的免费额度。 免费开通文件存储服务NAS, 按量付费 详情见各自示例工程的 README Simple 视频处理系统示例工程地址 视频处理工作流系统示例工程地址 总结 基于函数计算 FC 和函数工作流 FnF 的弹性高可用视频处理系统天然继承了这两个产品的优点: 无需采购和管理服务器等基础设施,只需专注视频处理业务逻辑的开发,大幅缩短项目交付时间和人力成本 提供日志查询、性能监控、报警等功能快速排查故障 以事件驱动的方式触发响应用户请求 免运维,毫秒级别弹性伸缩,快速实现底层扩容以应对峰值压力,性能优异 成本极具竞争力 相比于通用的转码处理服务: 超强自定义,对用户透明, 基于 FFmpeg 或者其他音视频处理工具命令快速开发相应的音视频处理逻辑 原有基于 FFmpeg 自建的音视频处理服务可以一键迁移 弹性更强, 可以保证有充足的计算资源为转码服务,比如每周五定期产生几百个 4G 以上的 1080P 大视频, 但是希望当天几个小时后全部处理完 各种格式的音频转换或者各种采样率自定义、音频降噪等功能, 比如专业音频处理工具 aacgain 和 mp3gain 可以和 serverless 工作流完成更加复杂、自定义的任务编排,比如视频转码完成后,记录转码详情到数据库,同时自动将热度很高的视频预热到 CDN 上, 从而缓解源站压力 更多的方式的事件驱动, 比如可以选择 OSS 自动触发(丰富的触发规则), 也可以根据业务选择 MNS 消息(支持 tag 过滤)触发 在大部分场景下具有很强的成本竞争力相比于其他自建服务: 毫秒级弹性伸缩,弹性能力超强,支持大规模资源调用,可弹性支持几万核.小时的计算力,比如 1 万节课半个小时完成转码 只需要专注业务逻辑代码即可,原生自带事件驱动模式,简化开发编程模型,同时可以达到消息(即音视频任务)处理的优先级,可大大提高开发运维效率 函数计算采用 3AZ 部署, 安全性高,计算资源也是多 AZ 获取, 能保证每个用户需要的算力峰值 开箱即用的监控系统, 如上面 gif 动图所示,可以多维度监控函数的执行情况,根据监控快速定位问题,同时给用户提供分析能力, 比如视频的格式分布, size 分布等 在大部分场景下具有很强的成本竞争力, 因为在函数计算是真正的按量付费(计费粒度在百毫秒), 可以理解为 CPU 的利用率为 100% 最后一一回答一下之前列出的问题: Q1: 您已经在虚拟机/容器平台上基于 FFmpeg 部署了一套视频处理服务,能否在此基础上让它更弹性,更高的可用性? A: 如工程示例所示,在虚拟机/容器平台上基于 FFmpeg 的服务可以轻松切换到函数计算, FFmpeg 相关命令可以直接移值到函数计算,改造成本较低, 同时天然继承了函数计算弹性高可用性特性。 Q2:您的需求只是简单的转码需求,或是一些极其轻量的需求,比如获取 OSS 上视频前几帧的 GIF 等。 自己搭建成本更低。 A: 函数计算天生就是解决这些自定义问题, 你的代码你做主, 代码中快速执行几个 FFmpeg 的命令即可完成需求。典型示例: fc-oss-ffmpeg Q3: 您有更高级的自定义处理需求,比如视频转码完成后, 需要记录转码详情到数据库, 或者在转码完成后, 自动将热度很高的视频预热到 CDN 上, 从而缓解源站压力。 A: 详情见视频处理工作流系统(函数计算 + 函数工作流方案),after-process 中可以做一些自定义的操作, 您还可以基于此流程再做一些额外处理等, 比如: 再增加后续流程 最开始增加 pre-process Q4: 您有并发同时处理大量视频的需求。 A: 详情见视频处理工作流系统(函数计算 + 函数工作流方案), 当有多个文件同时上传到 OSS, 函数计算会自动伸缩, 并行处理多个文件。详情可以参考 视频处理工作流系统 (FnF + FC) 压测 Q5:您有很多超大的视频需要批量快速处理完, 比如每周五定期产生几百个 4G 以上的 1080P 大视频, 但是希望当天几个小时后全部处理完。A: 详情可以参考视频处理工作流系统 (FnF + FC) 压测, 可以通过控制分片的大小, 可以使得每个大视频都有足够多的计算资源参与转码计算, 大大提高转码速度。 Q6: 自定义视频处理流程中可能会有多种操作组合, 比如转码、加水印和生成视频首页 GIF,后续为视频处理系统增加新需求,比如调整转码参数,希望新功能发布上线对在线服务无影响。 A: 详情见视频处理工作流系统(函数计算 + 函数工作流方案), FnF 只负责编排调用函数, 因此只需要更新相应的处理函数即可,同时函数有 version 和 alias 功能, 更好地控制灰度上线, 函数计算版本管理 Q7: 您的视频源文件存放在 NAS 或者 ECS 云盘上,自建服务可以直接读取源文件处理,而不需要将他们再迁移到 OSS 上。 A: 函数计算可以挂载 NAS, 直接对 NAS 中的文件进行处理

1934890530796658 2020-03-27 18:21:36 0 浏览量 回答数 0

回答

详细解答可以参考官方帮助文档 对于数据可靠性有强需求的业务场景或是有监管需求的金融业务场景,RDS 提供异地灾备实例,帮助用户提升数据可靠性。 背景介绍 RDS 通过数据传输服务(DTS)实现主实例和异地灾备实例之间的实时同步。主实例和灾备实例均搭建主备高可用架构,当主实例所在区域发生突发性自然灾害等状况,主节点(Master)和备节点(Slave)均无法连接时,可将异地灾备实例切换为主实例,在应用端修改数据库链接地址后,即可快速恢复应用的业务访问。 灾备实例可通过 DTS 管理控制台实现同步对象变更、同步速度设置、延迟报警等同步链路原生功能,详细信息请参见 DTS 产品文档。 灾备实例拓扑图如下图所示。 灾备实例还有以下功能特点: 提供独立的数据库连接地址,由用户应用端自助控制连接。 使用主备高可用架构。 支持按小时计费,即开即用,即停即止。 提供独立的白名单配置,账号管理。 计费说明 RDS 灾备实例与主实例配置完全相同,且 RDS 通过数据传输实现主实例和异地灾备实例之间的实时同步。因此,创建灾备实例会同时产生 RDS 和 DTS 两种费用,价格详情请分别参见云数据库 RDS 详细价格信息和数据传输详细价格信息。 前提条件 当前灾备实例只支持数据库类型为 MySQL 的 RDS 实例。 要创建灾备实例,主实例要求 MySQL 5.6 及以上版本。在升级主实例版本前,请做好兼容性测试;或者新建一个 MySQL 5.6 的实例,将数据从主实例复制到新建实例,再在新建实例上创建灾备实例。 创建灾备实例的主实例必须要有内网地址。 功能限制 灾备实例有以下功能限制: 出于同步链路自身稳定性的需要,灾备实例仅支持创建只读权限的账号。 不支持备份设置、备份恢复、数据迁移、数据库管理、申请外网访问地址、修改连接地址功能。 操作步骤 登录 RDS 管理控制台,选择目标实例。 选择菜单中的 基本信息,单击 实例分布中的 添加灾备实例,如下图所示。 在 创建同步作业 页面单击 立即购买实例,购买灾备实例,如下图所示。 参数说明如下: 同步作业名称:同步作业任务名称,可以保持默认 实例 ID(本地实例信息):本地实例的 ID。系统自动关联当前实例 ID,您也可通过单击 其他阿里云账号下的RDS实例,填写 RDS 实例 ID、数据库账号和对应的 密码 实例 ID(目标实例信息):灾备实例的 ID。单击 立即购买实例 购买灾备实例 在 目标RDS实例购买 窗口选择实例所在地域,单击 立即购买,如下图所示。 购买灾备实例暂仅支持选择地域,其余设置信息默认与主实例一致。若有灾备实例升级需求,可在创建成功后在 RDS 管理控制台 对灾备实例进行变更配置。 说明 创建灾备实例需要数分钟时间,在此期间请勿关闭该窗口,否则灾备实例可能会创建失败。 灾备实例购买成功后,实例 ID 自动添加到目标实例 ID 中,单击 授权白名单并进入下一步,如下图所示。 系统自动创建迁移账号,创建完成后,单击 下一步,如下图所示。 说明 灾备实例上会自动生成名称为 dtssyncwriter 的账号供 DTS 同步使用,请勿对该账号进行任何修改或删除操作,否则将引起同步异常。 在 源库对象 中选择要迁移的对象,单击 >将要迁移的对象放入 已选择对象中,单击 下一步,如下图所示。 选择 同步初始化 类型并设置 同步速度,单击 预检查并启动,如下图所示。 参数说明如下: 同步初始化:将本地实例中同步对象的结构及数据迁移一份到灾备实例中,作为后续增量同步数据的基础。同步初始化有结构初始化和全量数据初始化可选,首次同步数据时,两者均需选择。 同步速度:设置主实例和灾备实例间的同步速率,保护主实例的正常业务,单位为 TPS。如果保持默认不填,则同步速度为数据传输服务的性能上限。 说明 以下以预检查不通过为例进行描述,如果预检查通过,请直接参见步骤 12。 系统显示预检查结果,如下图所示。 单击 检测结果 为失败的检测项后的 !,查看失败详细信息,根据失败详细信息完成错误排查。 错误排查完毕后,在 同步作业列表页面,单击当前同步任务后的 启动同步,如下图所示。 系统预检查通过后,单击 确定,自动启动同步任务,如下图所示。 在 DTS 数据同步列表页面可以查询创建的同步任务,并可以对同步任务进行修改同步对象、设置监控报警、修改同步速度等操作,详情请参见 DTS 产品文档。 说明 为保障灾备实例数据的实时性,请不要暂停同步灾备实例的同步任务。

2019-12-01 22:57:11 0 浏览量 回答数 0
阿里云大学 云服务器ECS com域名 网站域名whois查询 开发者平台 小程序定制 小程序开发 国内短信套餐包 开发者技术与产品 云数据库 图像识别 开发者问答 阿里云建站 阿里云备案 云市场 万网 阿里云帮助文档 免费套餐 开发者工具 云栖号物联网 小程序开发制作 视频内容分析 企业网站制作 视频集锦 代理记账服务 2020阿里巴巴研发效能峰会 企业建站模板 云效成长地图 高端建站 云栖号弹性计算 阿里云云栖号 云栖号案例 云栖号直播