• 技本功丨甲方大人来了之运维数据分析平台搭建实战

    坚持看到这里就是真爱了,贴上一张系统架构图,图中左方是数据采集层,easymanager是公司自研的自动部署神器(不用想了,没有开源),右边是数据展示端,把应用、主机、数据库、日志数据统一展示在一张大屏上,废话...
    文章 2018-12-28 2371浏览量
  • 关于水厂的物联网技术解决方案的初步讨论

    答:这个一般要分你要干啥,就跟我前面说的,数据模型;这个很重要,要分析这个;数据采集也有区别,你是主动采集,还是定时上报?这两个对于终端模组的要求不一样,因为直接影响功耗的。比如他定时上报,那就很省电...
    文章 2018-09-11 992浏览量
  • 【干货】徐葳:如何数据和人工智能让云更聪明?

    首先,系统监控一定要做,如果觉得它太贵,我们可以详细优化每一个细节,是不是做了压缩,是不是做了所有可能的事情,来减少数据采集的开销。第二系统监控数据,系统跟你说的话不是自然语言,这些语言不是给你分析的...
    文章 2017-04-03 926浏览量
  • 清华徐葳:如何数据和人工智能让云更聪明?

    首先,系统监控一定要做,如果觉得它太贵,我们可以详细优化每一个细节,是不是做了压缩,是不是做了所有可能的事情,来减少数据采集的开销。第二系统监控数据,系统跟你说的话不是自然语言,这些语言不是给你分析的...
    文章 2017-05-02 1432浏览量
  • GMTC 大前端时代前端监控的最佳实践

    然而,一个请求独占一个连接,有时候6个连接也是不够用的大家可能会想,那既然规范都没有指定要限制多少条,那浏览器为什么还要限制6条呢?其实也是出于公平和安全考虑,如果不限制数量,理论上一个客户端就能占用...
    文章 2018-06-29 3172浏览量
  • 【大数据学习】数据化运营并不难?关键是这些技术你...

    数据仓库:最大一坨的应用场景,最顶层是数据可视化、下面是BI报表和机器学习、开发用的是大数据开发平台(DateIDE)、基础是计算平台(其中最主要的是MaxCompute)。数据可视化:数据可视化可以单独拿出来应用,...
    文章 2017-01-22 7127浏览量
  • 面试官:说出八种消息队列的应用场景。...

    胖滚猪看了看官方架构图,咦,又有熟悉的消息队列,原来消息队列也可以用来数据采集呀!所有主流的采集工具,都支持落地到Kafka等消息队列。也就是说,消息队列在数据采集这一块,也有举足轻重的作用。当然了,也...
    文章 2020-05-23 1294浏览量
  • 懵懂入行,但一做就沉心钻研十年——记访谈阿里云SQL ...

    绝大多数问题,都是需要有现场才可以找到原因的,那么首先我们就应该保留足够多的现场,比如我们的数据库的性能计数器是需要采集,当时的执行SQL也是需要记录下来的,这在解决突发问题是比较有用的。性能方面,我想...
    文章 2016-08-31 6548浏览量
  • 工业大数据驱动中国新工业革命

    我们今天讲的工业大数据,大数据通过我们的传感器和设备的采集,采集了各类数据采集完了之后通过我们的移动互联网,通过移动互联网物联网传递到云计算平台上,来作为计算分析来支撑我们的智能制造体系。...
    文章 2016-12-08 2444浏览量
  • MongoDB 杭州用户会全记录(千寻位置、妈妈帮、阿里云...

    千寻的统一监控平台包含数据采集、分发、存储、报表、监控等多个模块,其中「存储」和「报表」的模块大量使用了mongoDB,分别解决数据存储和数据分析的问题。在数据存储方面,监控数据拥有固有的特性,比如监控的...
    文章 2017-03-13 6552浏览量
  • 人工智能八大行业创新应用,开启智慧之路

    那他们每天的工作都是干啥?难道真的如传说中的是在打造大数据智能机器人?实际上,他们正在努力积极的探索人工智能在各行业中的应用,通过利用阿里云强大的计算平台加上顶级专业的算法与行业数据有机的融合,不断的...
    文章 2016-11-28 8019浏览量
  • MaxCompute百问集锦(持续更新)

    同时,大数据开发套件和MaxCompute关系紧密,大数据开发套件为 MaxCompute 提供了一站式的数据同步,任务开发,数据工作流开发,数据管理和数据运维等功能,可以参见大数据开发套件简介来对其进行深入了解。...
    文章 2017-06-30 5209浏览量
  • 读透《阿里巴巴数据中台实践》,其到底有什么高明之处...

    垂直数据中心(OneClick):就是传统数据架构中的ETL,通过离线、实时等方式将各渠道的数据采集过来。公共数据中心(OneData):就是数据仓库建模需要达到的目的,保证数据口径的规范和统一,沉淀共性的数据,阿里...
    文章 2019-09-09 9933浏览量
  • 在AWS上的架构部署与设计

    2)制造:最核心的首先要做好数据采集,要把人、设备机器、产品、流程串接起来,做好数据采集、做好数据分析、做好数据决策,最后通过一个平台执行下去,还能不断的修正它,比如说制造行业要做数据采集、数据分析、...
    文章 2021-08-19 1748浏览量
  • 一次让人脸红心跳的python数据分析

    分析分为三步:数据采集、数据清理、可视化分析 第一步,采集数据。没有数据怎么办,万能的Python爬嘛。爬取商品排名和详情页链接,需要的字段为:排名、商品名、详情页链接。爬取商品详情,需要的信息为: 店家:...
    文章 2019-04-14 1585浏览量
  • 严选|Elasticsearch中文社区201903错题本

    问题描述:logstash和es都指定了索引的模板,那logstash采集数据到es时,以哪个模板为准呢 回复:两个模板会merge,如果两个模板有相同的配置项,以模板order大的为准,不同的配置项则都会生效;建议设置一个单独的...
    文章 2019-07-02 491浏览量
  • 救火必备!问题排查与系统优化手册

    别慌,如果你的应用监控运维体系足够健全,那么你还有多维度的历史数据可以回溯:应用日志、中间件日志、GC 日志、内核日志、Metrics 指标等。定位原因 OK,排查线索也有了,接下来该怎么定位具体原因?这个环节会...
    文章 2020-07-13 2082浏览量
  • 实时即未来?一个小微企业心中的流计算

    项目来项目走,短短三年,我们这个小微企业没有记录多大的数据量,无非就是店铺的运营和订单数据,数据采集平台帮助我们秒级地监控在运营的15家店铺,每个店铺有60多个数据监控点。但只有依托 Flink 的流计算,我们...
    文章 2020-06-17 602浏览量
  • 【最佳实践】esrally:Elasticsearch 官方压测工具及...

    track 是赛道的意思,在这里是指压测用的数据和测试策略,详细文档在这里。esrally 自带的track都在 github 上,地址在这里 https://github.com/elastic/rally-tracks。在该 repository 中,有很多测试数据,比如 ...
    文章 2020-06-09 2502浏览量
  • 我的java问题排查工具单

    获得线程10进制转16进制后jstack去抓看这个线程到底在干啥 其他 netstat-nat|awk '{print$6}'|sort|uniq-c|sort-rn 查看当前连接,注意close_wait偏高的情况,比如如下 排查利器 btrace 首当其冲的要说的是btrace。...
    文章 2017-02-13 37513浏览量
  • 浅谈端上智能之计算优化

    数据的兴起为AI提供了契机,深度学习的主要优势之一就是能基于大量数据进行学习。算法则提供了处理数据和从数据中进行学习的有效方法。而要对大量数据和复杂的网络进行计算,需要强大算力的支撑。而某种意义上来说...
    文章 2019-11-05 1832浏览量
  • 一个非科班生Java自学之路的经验总结——《我的Java...

    经常看他们会一些脚本去做一些采集和自动化的操作&xff0c;对此非常好奇&xff0c;后来才知道&xff0c;这些脚本都是Python写的。由于强烈的兴趣&xff0c;我的第一门语言就是Python&xff0c;平时没事就在宿舍琢磨Python&xff0...
    文章 2021-07-24 46864浏览量

云产品推荐

视频直播 大数据计算服务 MaxCompute 国内短信套餐包 ECS云服务器安全配置相关的云产品 开发者问答 阿里云建站 新零售智能客服 万网 小程序开发制作 视频内容分析 视频集锦 代理记账服务 阿里云AIoT 阿里云科技驱动中小企业数字化