工程数据处理挂掉的原因

  • Google MapReduce架构设计

    前情回顾 Google MapReduce到底解决什么问题? Google MapReduce是Google产出的一个编程模型,同时Google也给出架构实现,它能够解决“能用分治法解决的问题”。 ---- Google MapReduce有啥巧妙优化? 分区函数:保证不同map输出的相同ke...

    文章 初商 2019-08-08 335浏览量

  • 666IDC高防服务器 全年24小时30秒售后回复 有问题找我

    独立经营福州,福州,福州,电信高防机房高防服务器咨询QQ:97533879 TEL:17689221416 服务器“异常”的几个可能性预警请重视!提到服务器宕机检测,大家会想到,宕机能够很快知道,这个有什么可做的?实际上,很多时候服务器宕机,并不总是被及时感知。服务器宕机,ping或者ssh这是...

    文章 游客t4xr6n5tdnato 2020-05-14 364浏览量

  • 徐葳:生物医学影像处理、分布式系统与数据共享平台

    徐葳:谢谢组织者的邀请,我不是做图形图像的,我是做分布式系统的,这是我的简要经历。 我一方面在做科研,另一方面在做实践,我现在管着300台服务器,我的一些设计、想法都使得这些设备的运维变得更加容易。 首先看一个图,我们做计算机系统的人脑海中存在的系统是长成这个样子的。 今天讲影像我完全是客串...

    文章 小旋风柴进 2017-05-02 972浏览量

  • Quick BI 数据可视化分析平台

    2020年入选全球Gartner ABI魔力象限,为中国首个且唯一入选BI产品

    广告

  • 使用消息队列的 10 个理由

    过去几年中,我们一直在使用、构建和宣传消息队列,我们认为它们是很令人敬畏的,这也不是什么秘密。我们相信对任何架构或应用来说,消息队列都是一个至关重要的组件,下面是十个理由: 1. 解耦 在项目启动之初来预测将来项目会碰到什么需求,是极其困难的。消息队列在处理过程中间插入了一个隐含的、基于数据的接口...

    文章 孤剑 2013-08-21 543浏览量

  • 阿里工程师开发弹幕新玩法,网友不淡定了……

    喜欢用优酷看视频发弹幕的同学应该已经发现,最新版本上很多剧都上线了全新的基于AI人脸识别的跟随弹幕,以往的普通弹幕或高级弹幕都是在播放器顶端自右向左以跑马灯式的效果展示,而这种跟随弹幕是以气泡样式挂在人物头像旁边,随着人物移动而移动。这种跟随弹幕可玩性更高,有才网友可发挥余地更大,下面就列举几个例...

    文章 檸,铮 2020-02-12 8751浏览量

  • 阿里工程师开发弹幕新玩法,网友不淡定了……

    喜欢用优酷看视频发弹幕的同学应该已经发现,最新版本上很多剧都上线了全新的基于 AI 人脸识别的跟随弹幕,以往的普通弹幕或高级弹幕都是在播放器顶端自右向左以跑马灯式的效果展示,而这种跟随弹幕是以气泡样式挂在人物头像旁边,随着人物移动而移动。这种跟随弹幕可玩性更高,有才网友可发挥余地更大,下面就列举几...

    文章 机器智能技术 2020-02-12 149浏览量

  • 从/0开始:聊聊异常

    是的,没有打错,标题中是/0而不是0。那么问题就来了:除以0会发生什么? 限定条件是必须的:在CS领域,*nix | win操作系统下任意编程语言中,整数除法运算中除数为零的情况。 答案并不是固定的,在不同的操作系统,不同的编程语言,甚至不同的编译器下,答案都可能是不同的。 除0异常 譬如, 在O...

    文章 墨航 2016-11-16 3664浏览量

  • ETCD系列之一:简介

    1. ETCD是什么 ETCD是用于共享配置和服务发现的分布式,一致性的KV存储系统。该项目目前最新稳定版本为2.3.0. 具体信息请参考[项目首页]和[Github]。ETCD是CoreOS公司发起的一个开源项目,授权协议为Apache。 提供配置共享和服务发现的系统比较多,其中最为大家熟知的...

    文章 丰茂 2016-03-27 68227浏览量

  • Apache Spark3.0什么样?一文读懂Apache Spark最新技术发展与展望

    2019阿里云峰会·上海开发者大会于7月24日盛大开幕,在本次峰会的开源大数据专场上,阿里巴巴高级技术专家李呈祥带来了《Apache Spark 最新技术发展和3.0+ 展望》的全面解析,为大家介绍了Spark在整体IT基础设施上云背景下的新挑战和最新技术进展,同时预测了Spark 3.0即将重磅...

    文章 阿里云E-MapReduce团队 2019-08-02 2541浏览量

  • Apache Spark3.0什么样?一文读懂Apache Spark最新技术发展与展望

    2019阿里云峰会·上海开发者大会于7月24日盛大开幕,在本次峰会的开源大数据专场上,阿里巴巴高级技术专家李呈祥带来了《Apache Spark 最新技术发展和3.0+ 展望》的全面解析,为大家介绍了Spark在整体IT基础设施上云背景下的新挑战和最新技术进展,同时预测了Spark 3.0即将重磅...

    文章 开源大数据EMR 2019-08-02 3925浏览量

  • Apache Spark3.0什么样?一文读懂Apache Spark最新技术发展与展望

    2019阿里云峰会·上海开发者大会于7月24日盛大开幕,在本次峰会的开源大数据专场上,阿里巴巴高级技术专家李呈祥带来了《Apache Spark 最新技术发展和3.0+ 展望》的全面解析,为大家介绍了Spark在整体IT基础设施上云背景下的新挑战和最新技术进展,同时预测了Spark 3.0即将重磅...

    文章 社区助手 2019-08-01 2332浏览量

  • 预防宕机靠RAC,和力记易说那就OUT了

       “宕机”是计算机术语,是根据英文down翻译过来的,是指系统无法从一个系统错误中恢复过来,或系统硬件层面出问题,以致系统长时间无响应,而不得不重启动系统的现象。日常生活中我们遇到的电脑“蓝屏”就是宕机的一种常见表现,此外,专业IT机房里的服务器也会因为数据库死锁、某些服务挂掉等发生宕机。 ...

    文章 boxti 2017-08-09 768浏览量

  • TensorFlow在工程项目中的应用 公开课视频+文字转录(下) | AI 研习社

    本周四,雷锋网 AI 研习社邀请了跨国 IT 巨头 ThoughtWorks 的资深数据架构师白发川,主讲线上公开课,为大家讲解 TensorFlow 在工程项目中的应用。 讲师 白发川:自我介绍一下,我是 ThoughtWorks 白发川,之前一直从事大数据,后来我们开始做人工智能方向的一些尝试...

    文章 玄学酱 2017-08-02 1669浏览量

  • Amazon Aurora 读后感

            几个月前,AWS在SIGMOD 17上发表了《Amazon Aurora: Design Considerations for High Throughput Cloud-Native Relational Databases》,详细解读了Aurora的背景、设计思想以及效果。即使...

    文章 raymondshiquan 2017-10-23 2547浏览量

  • 阿里李运华:异地多活有哪些Impossible Mission?

    《碟中谍》系列电影中,汤姆克鲁斯主演的亨特特工,无论什么情况,什么环境下都能够有惊无险的完成那些看似不可能的任务。 对于技术人员来说,如果也能像汤姆克鲁斯那样,不管什么mission impossible最后都能解决,那迎娶白富美,当上CTO,走向人生巅峰都不是问题! “异地多活”看起来就是...

    文章 华仔爱技术 2016-11-29 5916浏览量

  • Facebook TSDB论文翻译

    本文为Facebook官方论文的翻译,原文地址http://www.vldb.org/pvldb/vol8/p1816-teller.pdf 概要 大型互联网服务一般以出现故障及时响应和保持高可用性为目标。为了提供正常稳定的服务,通常要每秒从大量系统中监控和分析数以千万计的数据(性能数据和业务数...

    文章 焦先 2017-08-18 1784浏览量

  • ElasticDL: Kubernetes-native 弹性分布式深度学习系统

    9月11日,蚂蚁金服在 Google Developer Day Shanghai 2019 上宣布开源了基于 TensorFlow 2.0 eager execution 的分布式深度学习系统 ElasticDL。基于 TensorFlow 的支持弹性调度的深度学习系统,据我们所知,Elasti...

    文章 缪克卢汉 2019-09-12 6105浏览量

  • (课程)基于HBase做Storm 实时计算指标存储

    Hi,大家好!我是祝威廉,本来微博也想叫祝威廉的,可惜被人占了,于是改名叫·祝威廉二世。然后总感觉哪里不对。目前在乐视云数据部门里从事实时计算,数据平台、搜索和推荐等多个方向。曾从事基础框架,搜索研发四年,大数据平台架构、推荐三年多,个人时间现专注于集群自动化部署,服务管理,资源自动化调度等方向。...

    文章 祝威廉 2016-09-07 2430浏览量

  • 【转载】低成本和高性能的MySQL云数据库的实现淘宝 MySQL

    低成本和高性能的MySQL云数据库的实现 作者: 鸣嵩/曹伟(集团技术专家) 本文刊登于《程序员》杂志2012年12期上,转载请注明         UMP(Unified MySQL Platform)系统是淘宝核心系统数据库团队开发的低成本和高性能的MySQL云数据方案,关...

    文章 摩云飞 2016-05-11 3473浏览量

  • ElasticDL:蚂蚁金服开源基于TensorFlow的弹性分布式深度学习系统

    9 月 11 日,蚂蚁金服在2019谷歌开发者大会上海站上开源了 ElasticDL 项目,这是业界首个基于 TensorFlow 实现弹性深度学习的开源系统。 开源地址为:elasticdl.org 开源中国采访了ElasticDL项目负责人王益,对该深度学习系统的技术细节进行了全面介绍。 ...

    文章 缪克卢汉 2019-09-11 808浏览量

  • 推荐系统那点事

    推荐系统的误区 回想起来,我也算是国内接触推荐系统较早的人之一了,最近和人聊天,觉得不少人对推荐系统有所误解,以为需要多么高大上的算法才能搭建起来的,我只想说我经常说的那句话【不是这样的】,所以有了这篇文章。 第一次接触【推荐系统】是在两年前在某高校的互联网信息处理实验室的时候,那时候,【机器学...

    文章 小旋风柴进 2017-05-02 1985浏览量

  • 常见Serialize技术探秘(ObjectXXStream、XML、JSON、JDBC byte编码、Protobuf)

    目前业界有各种各样的网络输出传输时的序列化和反序列化方案,它们在技术上的实现的初衷和背景有较大的区别,因此在设计的架构也会有很大的区别,最终在落地后的:解析速度、对系统的影响、传输数据的大小、可维护性及可阅读性等方面有着较大的区别,本文分享一些我在一些常见序列化技术的分析和理解: 文章分成3个部分...

    文章 钟隐 2018-10-29 1046浏览量

  • 万级TPS亿级流水-中台账户系统架构设计

    背景 业务模型 应用层设计 数据层设计 日切对账 背景 我们需要给所有前台业务提供统一的账户系统,用来支撑所有前台产品线的用户资产管理,统一提供支持大并发万级TPS、亿级流水、数据强一致、风控安全、日切对账、财务核算、审计等能力,在万级TPS下保证绝对的数据准确性和数据溯源能力。 注:资金类系统...

    文章 王清培 2020-06-20 115浏览量

  • 基于JindoFS+OSS构建高效数据湖

    为什么要构建数据湖 大数据时代早期,Apache HDFS 是构建具有海量存储能力数据仓库的首选方案。随着云计算、大数据、AI 等技术的发展,所有云厂商都在不断完善自家的对象存储,来更好地适配 Apache Hadoop/Spark 大数据以及各种 AI 生态。由于对象存储有海量、安全、低成本、高...

    文章 阿里云E-MapReduce团队 2020-09-14 4438浏览量

  • 《淘宝技术这十年》读书笔记 (二).Java时代的脱胎换骨和坚若磐石

            马云说过“一个好的东西往往是是说不清楚的”,姑且不论这句话的对与错。但我真的很佩服《淘宝技术这十年》这本书的作者子柳,能够通过淘宝的一些故事,按照时间顺序和IT发展的各种技术描述清楚,而且过程中读起来非常有意思。         该读书笔记中参杂了很多原文的知识,因为我实在无法割舍...

    文章 eastmount 2015-04-22 2148浏览量

  • 企业级数据可视化应用有哪些机遇与挑战?

    作者 | 林峰 在前不久的上海外滩大会上,蚂蚁集团资深技术专家林峰分享了企业级数据可视化应用的机遇与挑战,以及蚂蚁是如何实践的,我们将内容整理出来与大家分享。 大家好,很荣幸有机会能在这给大家做个分享,今天准备的主题叫做“企业级数据可视化应用的机遇与挑战”,偏向于设计体验和工程实现,主要来自于过...

    文章 温柔的养猫人 2020-11-04 349浏览量

  • 还不知道AIOps嘛?阿里这么火的智能运维,你不能不知道!

    摘要:业务通过产品技术发挥价值的一个必要条件就是可以在线上稳定持续的运行,这一直是运维人员的终极目标。相信大家在使用天猫、淘宝、支付宝时几乎没有遇到过无法使用的情况,阿里是如何做到的呢?AIOps又是什么?本文主要关注线上业务的研发和运维流程,由阿里云高级技术专家向大家介绍如何将机器学习算法引入运...

    文章 聒小小噪 2018-05-30 10148浏览量

  • 蚂蚁金服轻量级监控分析系统解析 | SOFAChannel#6 直播整理

    ,有趣实用的分布式架构频道。本文根据 SOFAChannel#6 直播分享整理,主题《轻量级监控分析系统 SOFALookout 原理讲解和功能演示》。 回顾视频以及 PPT 查看地址见文末。欢迎加入直播互动钉钉群:23195297,不错过每场直播。 大家好,我是来自蚂蚁金服响风,SOFALo...

    文章 初商 2019-07-31 550浏览量

  • 虎嗅:四年覆盖9成互联网企业中高层的网站架构演变

    直播视频:                                                                                 (点击图片观看)  幻灯片下载地址:https://oss-cn-hangzhou.aliyuncs.com/yqfiles...

    文章 阿里云头条 2016-05-16 12998浏览量

  • 蚂蚁金服轻量级监控分析系统解析 | SOFAChannel#6 直播整理

    蚂蚁金服轻量级监控分析系统解析 | SOFAChannel#6 直播整理 SOFA:Channel/,有趣实用的分布式架构频道。本文根据 SOFAChannel#6 直播分享整理,主题:轻量级监控分析系统 SOFALookout 原理讲解和功能演示。回顾视频以及 PPT 查看地址见文末。欢迎加入直...

    文章 s潘潘 2019-06-28 1000浏览量

1 2 3 4 ... 7 >

云产品推荐

阿里云大学 云服务器ECS com域名 网站域名whois查询 开发者平台 小程序定制 小程序开发 国内短信套餐包 开发者技术与产品 云数据库 图像识别 开发者问答 阿里云建站 阿里云备案 云市场 万网 阿里云帮助文档 免费套餐 开发者工具 企业信息查询 小程序开发制作 视频内容分析 企业网站制作 视频集锦 代理记账服务 企业建站模板