• 蚂蚁金服 Service Mesh 大规模落地系列-控制面篇

    周期性自动巡检,一般使用抽样巡检;SRE 主动触发检查机制;Citadel 安全方案 证书方案 Sidecar 基于社区 SDS 方案(Secret Discovery Service),支持证书动态发现和热更新能力。同时蚂蚁金服是一家金融科技公司,...
    文章 2019-12-27 645浏览量
  • 【Redis】线上7000w+keys&16G内存100%的排查修复经历

    好在我们都是keyPrefix+数字id这样的格式,这里抽样100W下比例, redis-cli-h xxx.redis.rds.aliyuncs.com -a xxx scan 0 count 1000000 |awk-F '[0-9]' '{s=NF>0?1:$0;print s}'|sort|uniq-c|sort-n 找开发同学...
    文章 2018-10-21 3581浏览量
  • 月薪30000的大数据技能,都在这里了~

    学好Linux对你快速掌握大数据相关技术会有很大的帮助,能让你更好的理解hadoop、hive、hbase、spark等大数据软件的运行环境和网络环境配置,能少踩很多坑,学会shell就能懂脚本这样能更容易理解和配置大数据集群。...
    文章 2019-04-02 1434浏览量
  • Storm-源码分析-Stats(backtype.storm.stats)

    抽样的比例在storm-conf,TOPOLOGY_STATS_SAMPLE_RATE,配置 为什么统计时每次加rate,而不是加1?因为这里的统计是抽样的,所以如果抽样比例是10%,那么发现一个,应该加1/(10%),10个 (defn sampling-rate[conf] (->gt;...
    文章 2017-05-02 1145浏览量
  • 移动极速交付体系

    但客户端不行,因为客户端不知道谁再用,也不可能把所有的用户日志全部记录下来,只能采用抽样的方式,去抽取一些核心指标。因此,一旦新功能上线之后,在客户端功能是不敢轻易下线的,进而导致手淘安装包的大小一直...
    文章 2017-02-14 2362浏览量
  • 网络安全老兵座谈:云安全审计(评估)应该怎么做?

    本文讲的是网络安全老兵座谈:云安全审计(评估)应该怎么做?最近国内的云建设如火如荼,且1元、0.01元甚至0元中标的千万级云平台建设项目一个接一个冲击着我们的视野。作为一个有10多年网络安全从业经验的老兵,...
    文章 2017-09-13 2180浏览量
  • 阿里云ECS服务器CPU总是100%跑满该怎么排查?

    看看哪个进程消耗资源较多,用户态、内核态、内存、IO……同时sar-b查io的历史定时抽样。2)统计tcp连接数,看看有没有DDOS攻击。netstat-anp|grep tcp|wc-l。用iftop-i eth1看看通讯。同时用tail-n 1200/var/log/...
    文章 2020-09-28 2045浏览量
  • 干货|深度学习模型超参数搜索实用指南

    那么,从训练过程中获得的参数,以及从数据中获得的变量应该怎么考虑呢?这被称为模型参数。我们将把它们排除在超参数集之外。让我们来举个例子。请下图,用一个例子说明了深度学习模型中变量的不同分类。变量分类...
    文章 2018-09-26 8974浏览量
  • 2020最新 阿里云ECS的CPU100%排查

    看看哪个进程消耗资源较多,用户态、内核态、内存、IO……同时sar-b查io的历史定时抽样。2)统计tcp连接数,看看有没有DDOS攻击。netstat-anp|grep tcp|wc-l。用iftop-i eth1看看通讯。同时用tail-n 1200/var/log/...
    文章 2020-07-05 405浏览量
  • 天猫二面:内存耗尽后 Redis 会发生什么?

    那么客户端继续执行 set 等命令时 Redis 会怎么处理呢&xff1f;Redis 当中提供了不同的淘汰策略来处理这种场景。首先 Redis 提供了一个参数 maxmemory 来配置 Redis 最大使用内存&xff1a;maxmemory<bytes>或者也...
    文章 2022-01-26 1浏览量
  • 大数据时代:基于微软案例数据库数据挖掘知识点总结...

    同样我们右键“浏览数据”,我们选择随机抽样抽样数据为5000行。具体方法这里不赘述,具体方法可参考前篇文章,我们直接图 这里面有几列数据,其实内容挺简单的,我们来,有自行车品牌和地区、时间线、销售...
    文章 2014-11-02 983浏览量
  • 《Spark大数据分析:核心概念、技术及实践》一3.5 ...

    之前的章节已经介绍了怎么创建它。parallelize 这个方法用于从本地Scala集合创建RDD实例。它会对Scala集合中的数据重新分区、重新分布,然后返回一个代表这些数据的RDD。这个方法很少用在生产上,但是使用它有助于...
    文章 2017-05-02 1547浏览量
  • 如何为智能投顾打造对话系统?这有一份指南可供参考

    在这个基础上我们可以去看看怎么去生成日志舆情。基本思路就是我们从搜索日志中可以找到和证券实体相关的搜索词,通过搜索词的状态构建一个正负舆情打分的模型,在这个基础上对证券的收益进行拟合。对日志的大量数据...
    文章 2018-01-08 911浏览量
  • 20 万网络节点背后的数据创新应用

    所有的数据都可以表达为原子数据列表,比如一行数据的第几个字段,数据名称是什么、数据值是什么,把这个成为原始单元,然后去过滤、聚合和转发,对这四类操作进行抽样处理,最终依赖的其实是Storm数据传输能力。...
    文章 2018-08-02 1117浏览量
  • 从Oracle迁移到MySQL的各种坑及自救方案

    接下来我们来一下其它对象怎么迁移。1、view 在MySQL里view是不可以嵌套子查询的: create view v_test as select*from(select*from test)t;ERROR 1349(HY000):View's SELECT contains a subquery in the FROM ...
    文章 2017-05-17 2840浏览量
  • 实用教程:使用Netflow分析网络异常流量

    从系统捕获数据包的过程来Nfdump这一过程至关重要,它由nfcpad、fddump、nfprofile和nfreplay这4个进程组成,功能见表2所示。表2 nfdump工具组成 6.分布式环境数据流处理 本节内容是对上述知识点的总结,下面这个...
    文章 2017-07-05 4210浏览量
  • 从Oracle迁移到MySQL的各种坑及自救方案

    接下来我们来一下其它对象怎么迁移。1、view 在MySQL里view是不可以嵌套子查询的: create view v_test as select*from(select*from test)t;ERROR 1349(HY000):View's SELECT contains a subquery in the FROM ...
    文章 2017-11-13 1562浏览量
  • AI 时代下的海量业务智能监控实践

    首先,关联规则怎么获取?取历史告警数据,分析A告警与B告警之间的关联。当A,B再同时告警时,直接展示关联关系,聚焦到根因模调,解决即可。因数据仅基于告警,历史上很少告警的模块关联关系是获取不到的,也是后续...
    文章 2018-04-08 3561浏览量
  • ADB日志分析最佳实践

    然后在DataHub上,可以看到抽样数据如下 配置ADB 先到ADB的控制台去创建一个新的集群,数据库的名字取nginx_logging。需要注意的是,当ADB创建好之后,在控制台那边不到数据库的名字,转而变成了集群名称。目前...
    文章 2019-07-17 1508浏览量
  • IT职场新人选python,go还是java?...

    说到分析,那我们要先拿到数据,这次的数据还是来自我们的爬虫好伙伴,拉勾网,我们各抓取了这三种语言的市场行情数据来分析,话不多说,我们看看怎么去爬取数据和分析。首先来说老套路,右击网页->检查->...
    文章 2019-05-15 1685浏览量
  • 如何用Python和深度神经网络寻找近似图片?

    在全连接层(Fully Connected Layer)之前,你可能进行了多次的卷积、抽样、卷积、抽样……这些中间层次,帮我们描绘了图片的一些基本特征,例如边缘大概是个什么形状,某个区块主要的颜色是哪些等。到了全连接层,...
    文章 2018-01-13 1299浏览量
  • 你还记得windows workflow foundation吗

    很少有看到专门使用wf进行开发的场景,好用与否,在小众的群体里抽样得出结论也就显得不怎么可靠了。似乎wf在sharepoint环境中用起来比较协调,由于博主对sharepoint没有研究过,所以对此不好评论。如若在纯代码环境...
    文章 2015-11-23 987浏览量
  • Hadoop大数据面试题(全)

    如果事先根本不知道数据的分布规律,利用随机抽样抽样后生成partition策略再处理 16.hadoop框架怎么来优化 答: 可以从很多方面来进行:比如hdfs怎么优化,mapreduce程序怎么优化,yarn的job调度怎么优化,hbase...
    文章 2018-05-22 3831浏览量
  • 如何利用大数据做金融风控?硬创公开课

    这个情况如果存在,是怎么协调,权重么?董骝焕:如果传统的方法,这些维度,比如几千个维度经过模型变量的筛选,有些变量是值越高越正面,有些是值越低越正面,就是WOE是不同的方向,这种情况下可以通过建模的...
    文章 2017-08-01 1803浏览量
  • 致敬赵雷:基于TensorFlow让机器生成赵雷曲风的歌词

    生成模型的构建其实就是一个抽样的过程,给定种子序列,选好特定的抽样方法,即可生成无限多个汉字组成的序列。为了了解训练过程中的误差更新趋势,我们还需要建立日志记录以及日志可视化的部分,这样以便于我们做...
    文章 2017-08-02 974浏览量
  • 重磅长文|提高深度学习性能的四种方式

    抽样调查一系列可行的方法,来看看哪些还不错,哪些不理想。首先尝试评估一些线性方法,例如逻辑回归(logistic regression)和线性判别分析(linear discriminate analysis)。评估一些树类模型,例如CART,随机...
    文章 2017-06-05 1605浏览量
  • 一次 Java 内存泄漏排查过程,涨姿势

    同时,我检查了我们的配置,发现 ZooKeeper 连接的超时时间是秒级的。很明显,ZooKeeper 全挂了,由于其他服务也在使用它,这意味着问题非常严重。我给其他几个团队发了消息,他们显然还不知道这事儿。ZooKeeper ...
    文章 2018-12-20 1031浏览量
  • 五分钟学后端技术:一篇文章告诉你什么是云计算!

    在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》[1]中大数据指不用随机分析法(抽样调查)这样捷径,而采用所有数据进行分析处理。大数据的5V特点(IBM提出):Volume(大量)、Velocity(高速)、...
    文章 2020-04-02 2555浏览量
  • 再谈GC3:GC调优思路与常用工具

    看看是否满足需求:每分钟内总的暂停时间不得超过6000毫秒(6秒)。Capacity(系统容量) 系统容量(Capacity)需求,是在达成吞吐量和延迟指标的情况下,对硬件环境的额外约束。这类需求大多是来源于计算资源或者预算方面的...
    文章 2018-07-19 1490浏览量
  • 《Spark大数据分析:核心概念、技术及实践》Spark ...

    先来看看几个术语的定义。shuffle操作。shuffle操作是指在集群节点上对数据进行重新分配。这是一个耗时操作,因为它涉及在网络间传输数据。需要注意的是,shuffle操作不是对数据进行随机重新分配,它按照某些标准将...
    文章 2017-05-19 3795浏览量
1 2 3 >

云产品推荐

视频直播 大数据计算服务 MaxCompute 国内短信套餐包 ECS云服务器安全配置相关的云产品 开发者问答 阿里云建站 新零售智能客服 万网 小程序开发制作 视频内容分析 视频集锦 代理记账服务 阿里云AIoT 阿里云科技驱动中小企业数字化