通用日志文件系统如何搭建

  • “4+N”架构:从0到1搭建私域营销推荐能力

    作者 | 无荒、水穆、潜隐、启夏、晓冬 一、背景与挑战 业务背景 由于私域的推荐场景较多,碎片化较严重,每接到新需求重新搭建模型链路的成本较高,因此亟需沉淀一套通用营销推荐模型框架,提升模型上线效率。 技术挑战 搭建通用模型链路框架,我们面临4个方面挑战: 挑战一:场景的复杂性:推荐的场景多...

    文章 警心 2019-12-28 403浏览量

  • 日志分析:阿里云 Logstash & Beats 简单低成本接入上千数据源

    Logstash & Beats,在整个 Elastic Stack 数据链路中,属于前数据链路,目的是把多源数据接入到 Elasticsearch 中,并由 Elasticsearch 进行各种分析及检索,所以对于 Elastic Stack 来说,前数据链路的数据接入难度及复杂度,决定...

    文章 工程师甲 2020-03-10 1241浏览量

  • 阿里云NAS文件存储:性能型、容量型、NAS Plus如何选

    阿里云NAS文件存储:性能型、容量型、NAS Plus如何选? 阿里云文件存储(Network Attached Storage,简称NAS)是面向阿里云ECS实例、HPC和Docker的文件存储服务,提供标准的文件访问协议,用户无需对现有应用做任何修改,即可使用具备无限容量及性能扩展、单一命名空...

    文章 denny_wang 2017-10-07 4685浏览量

  • 万券齐发助力企业上云,爆款产品低至2.2折起!

    限量神券最高减1000,抢完即止!云服务器ECS新用户首购低至0.95折!

    广告

  • 创业公司快速搭建立体化监控之路(WOT2016)

    本文内容:创业型公司如何快速搭建可扩展,可落地的立体化监控平台 一、需求缘起 创业型公司有系统监控么?来看两个case: case 1:CXO大群内贴了一张“用户微信投诉”的截图 (1)CXO大群内贴了一张“用户微信投诉”的截图 (2)技术反馈“正在跟进” (3)10分钟之后,CXO询问进度,技术...

    文章 初商 2019-08-12 474浏览量

  • 游戏日志分析2:全方位数据采集

    系列文章: 游戏日志分析(1):概览 游戏日志分析(2):全方位数据采集 游戏日志分析(3):程序日志规范与埋点 游戏日志分析(4):线上问题定位与排查 游戏日志分析(5):数据库与日志关联分析 游戏日志分析(6):CDN/对象存储日志分析 游戏日志分析(7):网络日志查询与分析 游戏日志分析(...

    文章 元乙 2018-05-22 3765浏览量

  • 如何自行搭建一个威胁感知大脑 SIEM?| 硬创公开课

       近年来态势感知、威胁情报等等新词不断出现,其实万变不离其宗,它们都是利用已知的数据来判断风险,甚至预知未发生的威胁。这如同一个老练的探险者孤身穿行在原始丛林,他能轻巧自然地避开蛇虫鼠蚁,用脚印来预知猛兽的威胁。这一切都依赖于他那颗善于思考,经验丰富的大脑。 在网络安全的原始森林里,SIEM...

    文章 boxti 2017-08-03 848浏览量

  • 如何自行搭建一个威胁感知大脑 SIEM?| 硬创公开课

           近年来态势感知、威胁情报等等新词不断出现,其实万变不离其宗,它们都是利用已知的数据来判断风险,甚至预知未发生的威胁。这如同一个老练的探险者孤身穿行在原始丛林,他能轻巧自然地避开蛇虫鼠蚁,用脚印来预知猛兽的威胁。这一切都依赖于他那颗善于思考,经验丰富的大脑。 在网络安全的原始森林里,...

    文章 boxti 2017-08-09 1598浏览量

  • 热门开源项目:Guns-后台管理系统

    Guns基于SpringBoot,致力于做更简洁的后台管理系统,完美整合springmvc + shiro + mybatis-plus + beetl!Guns项目代码简洁,注释丰富,上手容易,同时Guns包含许多基础模块(用户管理,角色管理,部门管理,字典管理等10个模块),可以直接作为一个后...

    文章 zwt9000 2017-10-16 4962浏览量

  • 阿里PB级Kubernetes日志平台建设实践

    阿里PB级Kubernetes日志平台建设实践 QCon是由InfoQ主办的综合性技术盛会,每年在伦敦、北京、纽约、圣保罗、上海、旧金山召开。有幸参加这次QCon10周年大会,作为分享嘉宾在刘宇老师的运维专场发表了《阿里PB级Kubernetes日志平台建设实践》,现将PPT和文字稿整理下来,希望...

    文章 元乙 2019-05-29 15076浏览量

  • 干货分享 | 阿里PB级Kubernetes日志平台建设实践

    嘉宾 | 元乙 随着近两年的发展,Kubernetes 早已成为容器编排领域的标准,现在非常多的企业基于 Kubernetes 构建整个微服务的开发、运维平台,而日志是其中必不可少的核心功能。 本文整理自阿里云日志服务技术专家元乙在 QCon 全球软件开发大会(北京站)2019 上的演讲,他的分...

    文章 KB小秘书 2019-07-25 444浏览量

  • Serverless下日志采集、存储、分析实践

    Serverless与日志 Serverless,即一种无服务器化的思维,开发者不用过多地考虑传统的服务器采购、硬件运维、网络拓扑、资源扩容等基础设施运行问题,让DevOps人员可以将精力回归到业务本身的创新性、稳定性上来。 在绝大部分场景下,使用Serverless架构是一种双赢的选择: 用户...

    文章 唐恺 2018-10-23 7886浏览量

  • 企业数据创新之旅——高性能NAS助力业务上云

    在2018年云栖大会·南京峰会的飞天技术汇专场中,阿里云产品专家王登宇带来了题为《企业数据创新之旅——高性能NAS助力业务上云》的精彩技术分享。在分享中,他首先介绍了企业上云面临的困难和阿里云存储之路;随后对NAS文件存储产品家族的技术架构和适用场景进行了分析;分享最后,他结合基因、视频、AI等具...

    文章 笑傲江湖lcx 2018-05-14 8496浏览量

  • 一文深度解读阿里云CDN实时日志的前世今生:挖掘实时数据的无限价值

    阿里云CDN实时日志服务可以将CDN采集的日志,秒级的交付给用户, 并且可以对采集到的日志进行实时、交互式分析和报表呈现,为监控、报警、渠道分析、运营分析提供实时、可靠的数据参考,让用户远离锁事,专注数据价值。 12月26日,阿里云CDN实时日志服务举办线上直播发布会,全网首次深度解读阿里云CDN...

    文章 樰篱 2018-12-26 3973浏览量

  • 用大数据思维做运维监控

    今天一大早就看到了一篇文章,叫【大数据对于运维的意义】。该文章基本上是从三个层面阐述的: 工程数据,譬如工单数量,SLA可用性,基础资源,故障率,报警统计 业务数据,譬如业务DashBoard,Trace调用链,业务拓扑切换,业务指标,业务基准数据,业务日志挖掘 数据可视化 当然,这篇文章谈的...

    文章 祝威廉 2016-09-06 2665浏览量

  • 专家支招:如何利用Plesk搭建完美全能开发环境

    在如此快节奏发展的时代,无论是站长、网页设计托管还是企业网站管理员都不愿意将大量时间精力贡献在搭建服务器环境上,过程复杂繁琐不说还往往暗藏漏洞。如果有一款管理型服务器,不仅自带全能开发环境,而且配以操纵自如的可视化操作界面,不就能跃过技术门槛,快速高效开展核心业务了? 其实,只要在服务器上安装...

    文章 夏炙 2016-12-16 4071浏览量

  • 五项措施,让阿里云存储更安全

    阿里云安全月专题页链接:https://developer.aliyun.com/topic/securityapril 一、存储面临的安全新挑战 1、 安全合规成为必选项 2017 年 6 月 1 日,《中华人民共和国网络安全法》正式实施,这是中国建立严格的网络治理指导方针的一个重要里...

    文章 小攻云攻略 2020-04-20 864浏览量

  • 利用阿里云产品的数据备份与恢复实践

    背景 对业务系统来说,数据可靠性非常重要。如何通过简单的配置,实现适当有效的备份机制并具备快速恢复能力是本最佳实践所要解决的主要问题。 不同的业务系统,对可用性和备份恢复的要求有很大的不同:对一般系统来说,因为阿里云默认有3份冗余副本、对磁盘和数据库的每天自动备份,并承诺99.9%的可用性,所以不...

    文章 笑傲江湖lcx 2016-07-22 5800浏览量

  • 五项措施,让阿里云存储更安全

    5大安全产品全面升级,抢先了解:https://developer.aliyun.com/topic/securityapril 预约观看发布会:https://yq.aliyun.com/live/2670 一、存储面临的安全新挑战 1、 安全合规成为必选项 2017 年 6 ...

    文章 云攻略小攻 2020-04-21 676浏览量

  • 远程接口设计经验分享

    远程接口设计经验分享 写在前边 分布式架构是互联网应用的基础架构,很多新人入职以来就开始负责编写和调用阿里的各种远程接口。但如同结婚一般,用对一个正确的接口就如同嫁一个正确的人一样,往往难以那么顺利的实现,或多或少大家都会在这个上边吃亏。 每年双十一系统调用复盘的时候,我都会听到以下声音 你们调...

    文章 oldmanpushcart 2016-01-15 19205浏览量

  • 金融交换网关重构之路

    大家晚上好,今天我们分享的主题主要有四个部分 整个重构过程的总结 系统面临的痛点 架构演进之路 重构的收益 第一部分:系统面临的痛点 我们系统重构之前面临的痛点主要分为两类 系统的问题 研发的问题 1.1 系统问题: (1)没有通用报文的抽象 没有形成统一的报文收发...

    文章 jurassic_1 2016-11-20 3172浏览量

  • 云数据库高可用—— Series1:MySQL主从复制原理背景

    本文始发于:云栖社区时间:2020-06-01原文链接:https://yq.aliyun.com/articles/763185 1 引言 高可用是系统架构设计中必须考虑的因素之一,主要目标是消除基础架构中的单点故障,通常表示为一个百分比,表示在给定时间段内特定系统或组件的正常运行时间,其中10...

    文章 SRE团队技术小编-小兰 2020-09-02 276浏览量

  • 谈谈互联网后端基础设施

    纵观整个互联网技术体系再结合公司的目前状况,个人认为必不可少或者非常关键的后端基础技术/设施如下图所示: Api网关 业务应用和后端基础框架 缓存、数据库、搜索引擎、消息队列 文件存储 统一认证中心 单点登录系统 统一配置中心 服务治理框架 统一日志服务 数据基础设施 故障监控 这里的...

    文章 jurassic_1 2016-12-09 4897浏览量

  • 《深入理解Hadoop(原书第2版)》——导读

    前  言 Hadoop已经进入Apache社区发展五年多了,使用Hadoop系统进行开发的工作仍然富于挑战但收获丰厚。本书第1版在若干年前就已经出版了,在这期间,Hadoop系统已经被越来越多的企业使用,自身也得到了飞速发展。 Hadoop2.0基于YARN框架做了全新升级,重写了Hadoop系统...

    文章 华章计算机 2017-05-02 1913浏览量

  • 我的2017云栖之行

    我的2017云栖之行 ——笨笨的粽子妞 零:云栖初印象 说起今年的云栖,很早就关注了,但是苦于京杭的距离和工作原因,一直在摇摆不定,但是又不想给自己留下遗憾。在收到赠票后,毅然决然请假,在10月9日踏上云栖之行。 然而,天公不作美,9号的北京,雨从早到晚,一直下个不停。原定下午六点的航班,一直延误...

    文章 笨笨的粽子妞 2017-10-19 2289浏览量

  • 谈谈互联网后端基础设施

    本文更新于2016.12.12, 加入了扩展章节 对于一个互联网企业,后端服务是必不可少的一个组成部分。抛开业务应用来说,往下的基础服务设施做到哪些才能够保证业务的稳定可靠、易维护、高可用呢?纵观整个互联网技术体系再结合公司的目前状况,个人认为必不可少或者非常关键的后端基础技术/设施如下图所示: ...

    文章 微wx笑 2018-01-15 1097浏览量

  • 【译】使用Apache Kafka构建流式数据平台(1)

    前言:前段时间接触过一个流式计算的任务,使用了阿里巴巴集团的JStorm,发现这个领域值得探索,就发现了这篇文章——Putting Apache Kafka To Use: A Practical Guide to Building a Stream Data Platform(Part 1)。在...

    文章 杜琪 2016-06-07 3123浏览量

  • 日志分析:SLS vs ELK

    背景 提到日志实时分析,大部分人第一想到是社区很火ELK Stack(Elastic/Logstash/Kibana)。ELK方案上手难度小、开源材料众多、在社区中有大量的使用案例。阿里云日志服务(SLS/Log) 是阿里巴巴集团对日志场景的解决方案产品,前身是2012年初阿里云在研发飞天操作系统...

    文章 简志 2019-01-02 11465浏览量

  • 使用nginx lua实现网站统计中的数据收集

    网站数据统计分析工具是网站站长和运营人员经常使用的一种工具,比较常用的有谷歌分析、百度统计和腾讯分析等等。所有这些统计分析工具的第一步都是网站访问数据的收集。目前主流的数据收集方式基本都是基于javascript的。本文将简要分析这种数据收集的原理,并一步一步实际搭建一个实际的数据收集系统。 数据...

    文章 skyme 2016-05-05 4107浏览量

  • Nginx-一个IP配置多个站点

    对于Nginx,一个IP上配置多个站点还是很常见的。尤其是在开发环境上,更是如此。 下面在我的阿里云上简单的实现这样一个需求: 在一个IP上通过对端口区分来配置多个站点。 环境 初始化 目录一览 配置 站点准备 添加配置文件 疑难杂项 fastcgi_pa...

    文章 郭璞 2017-09-03 2689浏览量

  • 构建源码树----Linux内核剖析(三)

    linux源码树结构 参考 http://www.360doc.com/content/13/0410/17/7044580_277403053.shtml 目录 描述 arch 目录包括了所有和体系结构相关的核心代码。它下面的每一个子目录都代表一种Linux支持的体系结构,例如i3...

    文章 shy丶gril 2016-05-18 2444浏览量

1 2 3 4 ... 8 >

云产品推荐

阿里云大学 云服务器ECS com域名 网站域名whois查询 开发者平台 小程序定制 小程序开发 国内短信套餐包 开发者技术与产品 云数据库 图像识别 开发者问答 阿里云建站 阿里云备案 云市场 万网 阿里云帮助文档 免费套餐 开发者工具 企业信息查询 小程序开发制作 视频内容分析 企业网站制作 视频集锦 代理记账服务 企业建站模板