• Fluid+JindoFS 助力微博海量小文件模型训练速度提升 ...

    HDFS 上数据的访问和缓存加速能力,并且可以利用 FUSE 的 POSIX 文件系统接口实现可以像本地磁盘一样轻松使用 HDFS 上的海量文件,pytorch 等深度学习训练工具可利用 POSIX 文件接口读取训练数据。针对海量小文件的...
    文章 2021-06-04 935浏览量
  • 将视觉深度学习模型应用于非视觉领域

    一个由2000张图片组成的相对较小的训练数据集。在对基于VGG16网络的一个已修改结构进行了2分钟的训练之后,系统能够以80%以上的准确度识别出这两个类;2. 用户的个人分类。该任务是为一个给定的用户预测出是真实用户...
    文章 2019-01-29 1499浏览量
  • 还不知道AIOps嘛?阿里这么火的智能运维,你不能不...

    对某些受众来说,比起故障原因更关心这个故障的影响面,这也会实时展现,包括影响的应用及其功能点列表。三. AIOps智能运维解决方案 1. 核心功能 上述内容给大家介绍了在故障发现和原因分析中引入机器学习算法和...
    文章 2018-05-30 12117浏览量
  • 拓扑数据分析与机器学习的相互促进

    随机森林分类器是一个组合学习方法,在训练过程中,建立大量的决策树并在这些“森林”(决策树集合)的基础上使用“多数规则”对非训练数据进行分类。尽管建立树的过程相当有趣并且也很灵活,但它们没有相关的细节。...
    文章 2017-05-02 1563浏览量
  • 阿里巴巴DevOps实践指南(二十一)|全景监控

    基于对阿里巴巴内部大量多样化业务指标的训练和专家经验标注,让平台对不同类型的业务波动能优雅地在算法中体现出来,算法可以很好地适配数据曲线中的波动毛刺及随业务产生的高低起伏,可一键接入各类业务监控数据;...
    文章 2021-07-06 240浏览量
  • 如何运用结构化思维进行故障处理

    数据库出现故障时,务必和运维、开发、产品等其他团队保持高效沟通。DBA在遇到故障时,一定不要忘了沟通的重要性,即使时间紧迫,简要的沟通往往也能带来事半功倍的效果。从长远来看,也有利于培养和其他人、其他...
    文章 2019-10-15 5190浏览量
  • 超全总结|阿里如何应对电商故障?神秘演练细节曝光

    今天的分享,主要还是回归故障发生的本质,故障原因角度切入。看是否有一些方法论和通用性的手段可以沉淀出来。希望可以对大家有所帮助。今天演讲的主要包括两个部分:第一部分会从分布式系统经典依赖故障出发,剖析...
    文章 2017-06-19 3724浏览量
  • 已经不需要司机的Waymo无人车,何时才能摆脱后座待命...

    最终,Waymo发布的商业化服务可能会在更安全的地域进行,收集数据是为了训练和进一步提升服务。比如亚利桑那州的钱德勒位于凤凰城市郊,拥有良好的天气、简单的道路以及有限的政府监管,看上去就是一个非常适宜路测...
    文章 2018-01-11 719浏览量
  • 蚂蚁金服共享智能技术实践:如何降低数据共享的难度?

    此外,针对有一些数据提供方不希望数据出域的场景,蚂蚁还提供了使用 TEE 对训练过程中的参数信息进行加密的技术方案,篇幅原因,就不在这里展开了。基于 MPC 的共享学习 蚂蚁基于 MPC 的共享学习框架分为三层: ...
    文章 2020-03-05 311浏览量
  • 从技术到落地,详解蚂蚁金服共享智能实践

    此外,针对有一些数据提供方不希望数据出域的场景,蚂蚁还提供了使用TEE对训练过程中的参数信息进行加密的技术方案,篇幅原因,就不在这里展开了。基于MPC的共享学习 蚂蚁基于MPC的共享学习框架分为三层: 安全技术...
    文章 2020-03-04 581浏览量
  • 机器学习从业人员到底做什么?

    但是,根据我的经验,清理数据集和训练模型的过程通常是交织在一起的:我经常在模型训练中发现导致我返回并改变输入数据的预处理的问题。有必要去处理杂乱和不一致的数据 训练深度学习模型是脆弱且困难的 训练模型的...
    文章 2018-07-17 4071浏览量
  • 阿里:千亿交易背后的0故障发布

    我们针对阿里的故障产生原因做了统计,其中很大一部分都是线上变更引起的,相信在座各位也会遇到或者制造过故障,开发和运维的同学对故障都是很敬畏的。故障大家都遇到过,但是故障的影响差异会比较大。有些故障可能...
    文章 2018-04-20 5075浏览量
  • 无人值守时代,运维如何保障发布质量?

    我们针对阿里的故障产生原因做了统计,其中很大一部分都是线上变更引起的,相信在座各位也会遇到或者制造过故障,开发和运维的同学对故障都是很敬畏的。故障大家都遇到过,但是故障的影响差异会比较大。有些故障可能...
    文章 2018-04-18 3758浏览量
  • 机器学习到底是什么?

    此过程允许你防止过度拟合,但这种情况仅发生在学习算法运行良好同时又与你的训练数据相关的情况下。优化:该模型针对目标应用程序内的集成进行了优化,以确保其效率。是否有不同类型的机器学习?在机器学习中可以...
    文章 2018-07-23 5264浏览量
  • 深度学习与人工智能革命:part III

    许多深度学习算法使用检验点作为故障发生时恢复训练数据的一种方法。然而,频繁设置的检查点需要大量的系统开销。另一种方法是利用驻留在分割节点上的多个数据副本,这些副本提供冗余和数据可用性,而无需消耗系统主...
    文章 2018-03-11 1684浏览量
  • 《写给程序员的数据挖掘实践指南》——

    实际上,他感觉如果保留原始的词性标注算法并且单纯增大训练数据的规模,所带来的提高会高于新提出的算法所带来的进步。尽管如此,他也说,只是搜集更多的数据无法获得博士学位,但是通过开发出一个具有少量性能提高...
    文章 2017-05-02 1370浏览量
  • 负载均衡故障排错指南(5)

    因此,通过抓包工具来追踪数据流的处理过程,对于故障排查排查和分析来说,也是一个非常有效的方法。配置比较法 有时候,如果怀疑配置可能有变化,那么,与原来备份的配置进行一些比较,也许也能够找到一些线索。...
    文章 2017-11-23 1219浏览量
  • 面向失败的设计-故障与攻防演练锤炼容灾应急能力

    引言阿里巴巴经过多年...故障模型训练:有针对性的制造一些故障,给做故障定位的系统制造数据故障突袭、联合演练:通过蓝军、红军的方式锻炼队伍,以战养兵,提升DevOps能力。文章来源:AlibabaTechQA开发者社区整理
    文章 2019-11-08 1254浏览量
  • 不知道这些AI知识,可能你就out了!

    它从训练数据中积累知识,之后利用学到的知识对新数据做出决策。一方面,我们可以直接利用机器学习的训练结果让决策过程更智能、更准确。另一方面,我们也可以对其他领域的机器学习的结果进行分析、改进,使其适合...
    文章 2017-10-16 2796浏览量
  • 人工智能如何改变制造业和工业物联网?

    在AI工程师开始训练他们的机器学习模型之前,他们通常只花费75%的时间来简单地处理起始数据。请记住,要训练在IIoT设备上运行的机器学习模型,必须具有一个或多个数据集,以反映应用上线时的实际条件。创建数据集的...
    文章 2021-02-25 226浏览量
  • AIOps智能监控在阿里巴巴故障管理工作中的成功实践

    对于AIOps来说,算法是必不可少的,而算法底层需要数据为其进行训练及复发,在有了算法及数据之后,GOC团队同样需要一些运维的场景进行算法效率的验证并发挥系统智能的价值。基于此,GOC团队选取了一些典型的运维...
    文章 2018-06-26 6088浏览量
  • 手把手教你从零搭建深度学习项目(附链接)

    在本文的第 2 部分中,我们将探讨创建优质训练数据集的核心问题。1.公开及学术数据集 对于研究项目,可以搜索已建立的公开数据集。这些数据集可以提供更整齐的样本和基线模型性能。如果你有多个可用的公开数据集,请...
    文章 2018-05-14 6257浏览量
  • 机器学习之于IOT浅见

    深度学习最近在软件应用领域取得了成功,主要是因为技术部件的成熟,比如硬件中的计算能力增强,大量的训练数据被标记,学习算法和网络初始化方面的突破,以及开放源码软件框架的可用性。下面是用深度学习系统的主要考虑...
    文章 2018-05-14 759浏览量
  • 机器学习中的大数据

    但我们也会发现,大量的训练数据对深度学习模型的成功起着至关重要的作用。就拿Resnet来说,这种图像分类结构在2015年的ILSVRC分类竞赛中获得了第一名,比先前的技术水平提高了约50%。图1:近年来ILSVRC的顶级模型...
    文章 2019-06-19 1829浏览量
  • 智能诊断-人工智能在云平台上的新玩法

    所谓的数据在线,就是云计算平台能够在线上实时采集到不涉及到用户业务数据的系统行为与用户行为数据,包括IT系统运行时健康数据、系统故障数据、负载特征、配置变更数据、特定用户行为数据。有了实时在线的数据,...
    文章 2017-12-08 5245浏览量
  • 嵌入式系统与人工智能

    深度学习算法能够自动地从训练数据中学习特定的区别特征,例如纹理,颜色以及灰度等级,并根据相关性对它们进行加权。通常,这项任务必须由经过培训的机器视觉专家手动执行,这使得它非常耗时且成本高昂。对象特征...
    文章 2019-02-28 6901浏览量
  • 深度学习与人工智能革命:part III

    许多深度学习算法使用检验点作为故障发生时恢复训练数据的一种方法。然而&xff0c;频繁设置的检查点需要大量的系统开销。另一种方法是利用驻留在分割节点上的多个数据副本&xff0c;这些副本提供冗余和数据可用性&xff0c;...
    文章 2018-01-28 7771浏览量
  • 线上问题如何排查处理?这篇全搞定|开发者社区精选...

    本文详细总结工作中的经验,从服务器、Java应用、数据库、Redis、网络和业务六个层面分享线上故障排查的思路和技巧。gt;gt;点击了解全文每日精选电子书&课程推荐《CDN排坑指南》本书详细介绍CDN原理及快速入门、...
    文章 2021-08-02 133浏览量
  • 深度|大数据算法应用的测试发展之路

    实验预跑法,设计特别的模型和训练数据,15 分钟内训练完毕。可以快速发现和定位训练平台的问题,在大规模的生产模型正式训练之前就发现问题。Model on Model 的模型验证法,把模型生产的中间数据指标(除 auc 之外...
    文章 2020-04-30 7805浏览量
  • 人工智能和机器学习的进步 需要一个更加开源的世界

    当两辆由两个独立的AI引擎(由不同的公司用不同的训练数据和功能,以及独立配置的偏好和情境信息打造而成)驱动和运作的汽车遇到停车标志,或者将要发生碰撞时,会发生什么事情呢?这些系统在响应类似的情境时,即便...
    文章 2017-06-07 1295浏览量
1 2 3 4 ... 9 >

云产品推荐

视频直播 大数据计算服务 MaxCompute 国内短信套餐包 ECS云服务器安全配置相关的云产品 开发者问答 阿里云建站 新零售智能客服 万网 小程序开发制作 视频内容分析 视频集锦 代理记账服务 阿里云AIoT 阿里云科技驱动中小企业数字化