• 技本功丨甲方大人来了之运维数据分析平台搭建实战

    坚持看到这里就是真爱了,贴上一张系统架构图,图中左方是数据采集层,easymanager是公司自研的自动部署神器(不用想了,没有开源),右边是数据展示端,把应用、主机、数据库、日志数据统一展示在一张大屏上,废话...
    文章 2018-12-28 2560浏览量
  • 关于水厂的物联网技术解决方案的初步讨论

    答:这个一般要分你要干啥,就跟我前面说的,数据模型;这个很重要,要分析这个;数据采集也有区别,你是主动采集,还是定时上报?这两个对于终端模组的要求不一样,因为直接影响功耗的。比如他定时上报,那就很省电...
    文章 2018-09-11 1120浏览量
  • 如何自己动手写一个监控系统?

    所以我们当时也做了平台部门MQ消息中间件的负载监控,大数据部门的信息采集指标健康监控。https://my.oschina.net/qiangzigege/blog/600441 是当时给公司上面汇报用的PPT。后记:当时做完这套监控系统的时候,压根还...
    文章 2017-08-01 1819浏览量
  • 真实!数据分析师到底是做什么的?

    所以有一组数据开发的小伙伴专门做数据采集、数仓建设&xff0c;我们在的小组是数据服务&xff0c;就是单纯的跑数、和业务方沟通、写一些ppt。有些公司&xff08;一般是做电商的&xff09;xff0c;数据是直接从淘宝、天猫、亚马逊...
    文章 2022-04-13 80浏览量
  • 【干货】徐葳:如何数据和人工智能让云更聪明?

    首先,系统监控一定要做,如果觉得它太贵,我们可以详细优化每一个细节,是不是做了压缩,是不是做了所有可能的事情,来减少数据采集的开销。第二系统监控数据,系统跟你说的话不是自然语言,这些语言不是给你分析的...
    文章 2017-04-03 1000浏览量
  • 清华徐葳:如何数据和人工智能让云更聪明?

    首先,系统监控一定要做,如果觉得它太贵,我们可以详细优化每一个细节,是不是做了压缩,是不是做了所有可能的事情,来减少数据采集的开销。第二系统监控数据,系统跟你说的话不是自然语言,这些语言不是给你分析的...
    文章 2017-05-02 1600浏览量
  • GMTC 大前端时代前端监控的最佳实践

    然而,一个请求独占一个连接,有时候6个连接也是不够用的大家可能会想,那既然规范都没有指定要限制多少条,那浏览器为什么还要限制6条呢?其实也是出于公平和安全考虑,如果不限制数量,理论上一个客户端就能占用...
    文章 2018-06-29 3403浏览量
  • 【大数据学习】数据化运营并不难?关键是这些技术你...

    数据仓库:最大一坨的应用场景,最顶层是数据可视化、下面是BI报表和机器学习、开发用的是大数据开发平台(DateIDE)、基础是计算平台(其中最主要的是MaxCompute)。数据可视化:数据可视化可以单独拿出来应用,...
    文章 2017-01-22 7412浏览量
  • 面试官:说出八种消息队列的应用场景。...

    胖滚猪看了看官方架构图,咦,又有熟悉的消息队列,原来消息队列也可以用来数据采集呀!所有主流的采集工具,都支持落地到Kafka等消息队列。也就是说,消息队列在数据采集这一块,也有举足轻重的作用。当然了,也...
    文章 2020-05-23 1457浏览量
  • 第一次操刀数据库分表的教训与经验

    1:按照时间分表-因为我的采集程序是我想开就开,想关就关,没有时间规律,所以不能这么 2:按照分类分表-我主要有两个分类1是网站分类,二是tag分类,网站的分类的话stackoverflow的数据占了70%,tag分类的话也...
    文章 2013-11-08 1052浏览量
  • 懵懂入行,但一做就沉心钻研十年——记访谈阿里云SQL ...

    绝大多数问题,都是需要有现场才可以找到原因的,那么首先我们就应该保留足够多的现场,比如我们的数据库的性能计数器是需要采集,当时的执行SQL也是需要记录下来的,这在解决突发问题是比较有用的。性能方面,我想...
    文章 2016-08-31 6936浏览量
  • 【沉淀】懵懂入行,但一做就沉心钻研十年——记访谈...

    绝大多数问题,都是需要有现场才可以找到原因的,那么首先我们就应该保留足够多的现场,比如我们的数据库的性能计数器是需要采集,当时的执行SQL也是需要记录下来的,这在解决突发问题是比较有用的。性能方面,我想...
    文章 2017-07-19 2497浏览量
  • 工业大数据驱动中国新工业革命

    我们今天讲的工业大数据,大数据通过我们的传感器和设备的采集,采集了各类数据采集完了之后通过我们的移动互联网,通过移动互联网物联网传递到云计算平台上,来作为计算分析来支撑我们的智能制造体系。...
    文章 2016-12-08 2555浏览量
  • MongoDB 杭州用户会全记录(千寻位置、妈妈帮、阿里云...

    千寻的统一监控平台包含数据采集、分发、存储、报表、监控等多个模块,其中「存储」和「报表」的模块大量使用了mongoDB,分别解决数据存储和数据分析的问题。在数据存储方面,监控数据拥有固有的特性,比如监控的...
    文章 2017-03-13 6798浏览量
  • 人工智能八大行业创新应用,开启智慧之路

    那他们每天的工作都是干啥?难道真的如传说中的是在打造大数据智能机器人?实际上,他们正在努力积极的探索人工智能在各行业中的应用,通过利用阿里云强大的计算平台加上顶级专业的算法与行业数据有机的融合,不断的...
    文章 2016-11-28 8249浏览量
  • 数仓建模—埋点设计与管理

    是指数据采集sdk无区别的对待所有事件的&xff0c;将所有事件(页面的加载成功事件、控件的浏览和点击事件)全部获取后先存下来&xff0c;到使用的时候&xff0c;再根据具体的页面路径和控件名称&xff0c;去捞取相应的数据。可视...
    文章 2022-04-25 332浏览量
  • 数据分析的职业规划

    这里再补充两本,「数据挖掘与数据化运营实战」,没高深技术,但是能够了解体系的初步建立。数据挖掘技术—应用于市场营销、销售与客户关系管理」,这本书我推荐它是纠结的,它的知识点比较丰富,业务人员也能看懂...
    文章 2018-07-10 1304浏览量
  • MaxCompute百问集锦(持续更新)

    同时,大数据开发套件和MaxCompute关系紧密,大数据开发套件为 MaxCompute 提供了一站式的数据同步,任务开发,数据工作流开发,数据管理和数据运维等功能,可以参见大数据开发套件简介来对其进行深入了解。...
    文章 2017-06-30 5502浏览量
  • 论战大数据-胖子哥的PK之旅(一)

    dreamer(42997455)11:23:08 存储还好吧,主要是计算nosqlt数据库-肖(380594863)11:23:16 说的通俗一点,我的理解是,一个是如何用的数据,一个是如何把数据存下来。邓文标(459383066)11:27:20 还有一个数据质量...
    文章 2014-01-24 1094浏览量
  • 论战大数据-胖子哥的PK之旅(一)

    dreamer(42997455)11:23:08 存储还好吧,主要是计算nosqlt数据库-肖(380594863)11:23:16 说的通俗一点,我的理解是,一个是如何用的数据,一个是如何把数据存下来。邓文标(459383066)11:27:20 还有一个数据质量...
    文章 2014-01-24 839浏览量
  • 数据面试题V3.0,523道题,779页,46w字

    为什么要使用Flume进行数据采集五、Kafka面试题介绍下Kafka&xff0c;Kafka的作用?Kafka的组件?适用场景?Kafka作为消息队列&xff0c;它可解决什么样的问题?说下Kafka架构说下Kafka的特点&xff0c;优缺点Kafka相比于其它消息...
    文章 2022-09-29 92浏览量
  • 读透《阿里巴巴数据中台实践》,其到底有什么高明之处...

    垂直数据中心(OneClick):就是传统数据架构中的ETL,通过离线、实时等方式将各渠道的数据采集过来。公共数据中心(OneData):就是数据仓库建模需要达到的目的,保证数据口径的规范和统一,沉淀共性的数据,阿里...
    文章 2019-09-09 12254浏览量
  • 在AWS上的架构部署与设计

    2)制造:最核心的首先要做好数据采集,要把人、设备机器、产品、流程串接起来,做好数据采集、做好数据分析、做好数据决策,最后通过一个平台执行下去,还能不断的修正它,比如说制造行业要做数据采集、数据分析、...
    文章 2021-08-19 2123浏览量
  • 一次让人脸红心跳的python数据分析

    分析分为三步:数据采集、数据清理、可视化分析 第一步,采集数据。没有数据怎么办,万能的Python爬嘛。爬取商品排名和详情页链接,需要的字段为:排名、商品名、详情页链接。爬取商品详情,需要的信息为: 店家:...
    文章 2019-04-14 1682浏览量
  • 开源共建|TIS整合数据同步工具ChunJun,携手完善开源...

    既可以采集静态的数据&xff0c;比如 MySQL&xff0c;HDFS 等&xff0c;也可以采集实时变化的数据&xff0c;比如 Binlog&xff0c;Kafka 等。目前的核心功能包括&xff1a;・多源异构数据汇聚作为一个开放式系统&xff0c;用户可以根据...
    文章 2022-11-30 12浏览量
  • 左耳朵耗子:你得知道,技术不是用来写 CRUD 的

    因为他们没有任何的话语权,就是用户让他干啥他就干啥,而用户绝大多数时候都不知道自己想要什么的。Q:也就是说低代码应该会去拿掉一部分增删改查的工作。A:是的。低代码肯定会拿掉一些标准化的东西,拿掉一些 ...
    文章 2021-12-01 152浏览量
  • 监控界的最强王者,没有之一!(3)

    要保存全量数据&xff0c;我们直接保存被 sample 到的数据不就好了吗&xff1f;这里我们用到了 Cassandra 的能力&xff0c;Cassandra 在这种 kv 的场景中&xff0c;有非常不错的性能&xff0c;而且它的运维成本很低。我们以 ...
    文章 2022-10-24 34浏览量
  • 阿里员工都是这样排查Java问题的,附工具单

    获得线程10进制转16进制后jstack去抓看这个线程到底在干啥 其他 排查利器 btrace 首当其冲的要说的是btrace。真是生产环境&预发的排查问题大杀器。简介什么的就不说了。直接上代码干 1.查看当前谁调用了...
    文章 2018-11-22 2132浏览量
  • 线程池面试那些事儿!

    可以看到 workers 变量用的 HashSet 是线程不安全的,是不能用于多线程环境的。largestPoolSize、completedTaskCount 也是没用 volatile 修饰,所以需要在锁的保护下进行访问。面试官:为什么不直接用个线程安全容器...
    文章 2022-09-07 85浏览量
  • 超详细解析微服务架构,写得太好了!

    数据监控连接数、磁盘空间&xff0c;业务服务监控并发数、响应延迟、错误率等。因此如果做一个大而全的监控系统来监控各个组件是不大现实的&xff0c;而且扩展性会很差。一般的做法是让各个组件提供报告自己当前状态的...
    文章 2021-12-16 165浏览量
1 2 >

云产品推荐

视频直播 大数据计算服务 MaxCompute 国内短信套餐包 ECS云服务器安全配置相关的云产品 开发者问答 阿里云建站 新零售智能客服 万网 小程序开发制作 视频内容分析 视频集锦 代理记账服务 阿里云AIoT 阿里云科技驱动中小企业数字化