• IoT日志利器:嵌入式日志客户端(C Producer)发布

    线上诊断:某个线上设备出现错误如何快速定位设备,查看引起该设备出错的上下文是什么?监控:当前有多少个设备在线?工作状态分布如何?地理位置分布如何?出错设备如何实时告警?数据实时分析:设备产生数据如何...
    文章 2017-12-21 6179浏览量
  • 数据时代,如何数据驱动精准营销

    数据采集仅是第一环,如何合理利用数据带来的价值在数据驱动业务本身的目标下,数据采集只是其中一个环节。在数据采集完毕之后,就需要利用数据进行计算和反捕,帮助业务进行决策。因此在如此庞大的数据规模之下,...
    文章 2020-11-11 20627浏览量
  • 世界杯直播背后的实时日志分析

    2018年世界杯网络直播,网络同时在线观看人数超过千万,为了保证直播体验,CDN在其中起到了极其重要的作用,为了保障CDN的播放质量,需要对CDN的各类日志进行实时收集、清洗和分析。我们以类似“世界杯”直播为背景...
    文章 2018-09-09 1848浏览量
  • 日志采集中的关键技术分析

    但是天有不测风云,在我们采集的过程中机器Crash掉了,我们该如何保证已经采集数据不要再采集了,能够继续上次没有采集到的地方继续呢?基于轮询的方式其优点就是保证不会漏掉文件,除非文件系统发生了bug,通过...
    文章 2018-06-12 6962浏览量
  • LC3视角:Kubernetes下日志采集、存储与处理技术实践

    在这一节会重点对Logtail采集端的设计和优化工作做一些介绍,细数Logtail如何解决Kubernetes日志采集上的痛点。Kubernetes采集的难点 采集目标多样化 容器stdout/stderr 容器应用日志 宿主机日志 开放协议:Syslog、...
    文章 2018-07-05 13235浏览量
  • 游戏日志分析2:全方位数据采集

    游戏日志分析(2):全方位数据采集 游戏日志分析(3):程序日志规范与埋点 游戏日志分析(4):线上问题定位与排查 游戏日志分析(5):数据库与日志关联分析 游戏日志分析(6):CDN/对象存储日志分析 游戏日志...
    文章 2018-05-22 4261浏览量
  • 挖掘实时数据的无限价值

    一、在数据采集阶段,自研了Scroll+Crimea应用,具备优秀的计算和容灾能力,运用内容自解释、高效编码、边缘预处理与降维分析、自动容灾处理、任务隔离等方案,确保了数据完整性、实时性和准确性。二、基于SLS实现...
    文章 2018-12-26 4370浏览量
  • 全方位 Logtail 状态监控

    【可选】数据采集状态:数据采集过程中产生的一系列状态,包括发生的采集错误、采集的数据量、数据采集的延时等。以下我们将分别介绍如何对各个层次的相关状态进行监控以及告警。日志服务功能简述 Logtail 的状态...
    文章 2019-02-25 7506浏览量
  • 全景还原报错现场|应用实时监控 ARMS 上线用户行为...

    于是我们可以知道报错是发生在api请求成功后的数据处理环节,再依据步骤2中提供的错误详情快速解决问题。二、用户行为回溯 已经有一些前端性能监控平台接入了用户行为监控,实现的方式也各有千秋,主要流程可以分为...
    文章 2019-08-14 2138浏览量
  • Logtail技术分享(二):多租户隔离技术+双十一实战效果

    日益增长的数据采集需求 上一篇中我们分享了日志采集中基于Polling+Notify组合的日志保序采集技术,Logtail基于Polling+Notify的组合方案以及日志轮转队列等相关技术实现了单一配置下的日志保序、高效、可靠采集问题...
    文章 2017-11-16 11131浏览量
  • 高德网络定位算法的演进

    这里我们采用的是CNN的方法,将楼块数据、POI数据采集真值数据绘制为二维图像,然后进行多层卷积计算,label为Wifi所在的真实楼块区域。下图中蓝色块为楼块,绿色为采集点,颜色越亮代表信号强度越高,红色点代表...
    文章 2019-12-25 1814浏览量
  • 阿里云云虚拟主机使用常见问题汇总

    请联系万网客服”云虚拟主机内DedeCMS程序采集功能未生效更新云虚拟主机站点的emlog模板提示“模板下载失败”管理控制台常见问题云虚拟主机默认首页不生效自定义404错误页面未生效主机控制台文件管理功能中不显示...
    文章 2021-10-09 31浏览量
  • 【百川云栖分享】离青&冰撤:云时代下,如何应对运维...

    可靠的是我们用的工具或系统是从这个角度而言的,数据采集是不是比较高效,分析数据的话,数据分析是不是足够实,再一个是可靠性问题,关键时刻会不会掉链子。可控是最根本的要素,只有做到了可控才能说在宏观上面...
    文章 2016-11-03 2298浏览量
  • Serverless下日志采集、存储、分析实践

    日志服务使用Logtail(日志服务自研的数据采集客户端)用以补充Kubernets官方基于Fluentd Agent的Sidecar方案,来尝试解决Kubernetes场景下日志处理的一些细节体验问题。Logtail采集是一种Kubernetes节点级方案,在...
    文章 2018-10-23 8157浏览量
  • 如何从 0 到 1 设计、构建移动分析架构

    移动分析服务 MAS 在 mPaaS 产品体系中,定位是支持移动端应用进行数据采集和分析,帮助业务方展开精细化、智能化运营,同时结合应用日志采集与分析等功能从而帮助开发团队更快、更精确地找到问题并快速修复。...
    文章 2019-05-09 2935浏览量
  • 阿里PB级Kubernetes日志平台建设实践

    我们数据采集Agent使用的是自研的Logtail,Logtail用C++/Go编写,相对开源Agent在资源消耗上具有非常大的优势,但我们还一直在压榨数据采集的资源消耗,尤其在容器场景。通常,为了提高打日志和采集的性能,我们都...
    文章 2019-05-29 15780浏览量
  • 干货分享|阿里PB级Kubernetes日志平台建设实践

    我们数据采集 Agent 使用的是自研的 Logtail,Logtail 用 C++/Go 编写,相对开源 Agent 在资源消耗上具有非常大的优势,但我们还一直在压榨数据采集的资源消耗,尤其在容器场景。通常,为了提高打日志和采集的性能,...
    文章 2019-07-25 612浏览量
  • AIOps的七种武器:让IT基础设施实现“自动驾驶”

    要做的往往都是四个步骤:数据采集,根据假设建立一套模型获得初步的结果(Event),根据初步结果获得最后的结论,在步骤三和步骤四的过程中需要进行探索性的Drill Down、Roll Up等操作,不断去Refine自己的假设和...
    文章 2019-07-30 10556浏览量
  • Oracle数据库运维场景下,智能运维如何落地生根?

    数据采集 使用平台第一步是数据接入。要做好Oracle的运维,需要哪些数据支撑?根据我们运维Oracle日常的经验总结,以下几类数据是特别重要的: 实例和数据库基础信息包括实例的版本、Patch、启动时间、实例参数、...
    文章 2020-08-11 196浏览量
  • Oracle数据库运维场景下,智能运维如何落地生根?

    数据采集 使用平台第一步是数据接入。要做好Oracle的运维,需要哪些数据支撑?根据我们运维Oracle日常的经验总结,以下几类数据是特别重要的: 实例和数据库基础信息包括实例的版本、Patch、启动时间、实例参数、...
    文章 2020-03-25 1242浏览量
  • 美国大数据治理下的新问题

    我们需要保证数据元素、数据采集单位(例如,是个人层级还是社区层级)、或数据的其他方面都被很好地界定,同时数据采集和使用政策得到清楚地表述。承担责任。大数据对于提供信息和制定政策潜力巨大,但也可能造成...
    文章 2017-05-02 1163浏览量
  • 企业数字化转型与中台建设全攻略:什么阶段进行?...

    但是,对于要云化的应用系统,具体是平迁还是架构优化,亦或是需要进行改造,则要从更多的技术维度加以评估,主要是从虚拟化、网络数据库、存储、中间件、安全的全链路进行分析和评估。4.云化路线图 如图2-7所示,...
    文章 2019-12-19 1914浏览量
  • 企业数字化转型与中台建设全攻略:什么阶段进行?...

    但是,对于要云化的应用系统,具体是平迁还是架构优化,亦或是需要进行改造,则要从更多的技术维度加以评估,主要是从虚拟化、网络数据库、存储、中间件、安全的全链路进行分析和评估。4.云化路线图 如图2-7所示,...
    文章 2019-12-13 1658浏览量
  • 如何设计一个端计算架构?

    数据完备性角度看,端上采集永远是第一手数据,无论维度还是数据量都较大。这些数据传输,以及在云上还原用户上下文场景都需要巨大的算力。云端获得数据前,需要端上处理、清洗数据。云端数据始终存在人为的信息...
    文章 2020-11-09 3693浏览量
  • OSS服务监控、诊断和故障排除

    因为,捕获客户端和服务器之间的流量,可以更详细地获取客户端和服务器之间交换的数据以及底层网络状况的详细信息,帮助问题的调查,例如,在某些情况下,用户请求可能会报告一个错误,而服务器端日志中却看不到任何...
    文章 2016-05-19 29602浏览量
  • 文字识别在高德地图数据生产中的演进

    我们分别从数据,模型设计层面阐述如何解决数据不足和模糊识别的问题,以及如何进一步提高文字识别能力。数据层面 数据问题很重要,在没有足够的人力物力标注的情况下,如何自动扩充数据是图像的一个通用研究课题。...
    文章 2020-07-30 575浏览量
  • 《机器人操作系统ROS原理与应用》——3.2 如何选择...

    在第三方云服务模式下,数据采集、跟踪和存储都是在云端进行的。此时,云端的所有数据是否可以完全被企业所有,并且保存到企业内部是很多重视数据所有权的企业关心的问题。这一问题不仅关系到数据安全,更关系到企业...
    文章 2017-05-02 1461浏览量
  • 《企业大数据系统构建实战:技术、架构、实施与应用》...

    在第三方云服务模式下,数据采集、跟踪和存储都是在云端进行的。此时,云端的所有数据是否可以完全被企业所有,并且保存到企业内部是很多重视数据所有权的企业关心的问题。这一问题不仅关系到数据安全,更关系到企业...
    文章 2017-05-02 3233浏览量
  • 解密ARMS前端监控数据上报技术内幕

    带着这两个问题,本文就为您介绍一下,在采集多类日志数据的情况下,阿里云业务实时监控服务(ARMS)之前端监控(以下简称为阿里云前端监控)如何优化日志上报,让上报速度快、更快、无比快!文章主要分为两个部分:...
    文章 2018-05-15 5417浏览量
  • 日志服务数据加工的设计与实践

    客户端采集:处理机器上各种各样的日志文件、程序指标、网络数据包等。服务端采集:以分布式、全托管服务方式采集云产品、服务上的数据。例如:云产品访问日志(SLB、OSS、CDN、API网关),网络流日志(VPC、CEN),...
    文章 2019-11-05 1771浏览量
1 2 3 4 ... 18 >

云产品推荐

视频直播 大数据计算服务 MaxCompute 国内短信套餐包 ECS云服务器安全配置相关的云产品 开发者问答 阿里云建站 新零售智能客服 万网 小程序开发制作 视频内容分析 视频集锦 代理记账服务 阿里云AIoT 阿里云科技驱动中小企业数字化