专访日志易创始人陈军:大数据时代,日志搜索唯快不破

简介:

“世界上唯一不变的,就是一切都在变化。”

当今世界,唯变不变。面对源源不断的挑战,以什么来支撑经济和社会的持续发展?几乎所有的企业家、决策者与科学家都会选择创新,一波创新浪潮正席卷而来。

20180111101332785.jpg

日志易创始人陈军(左)接受CIO时代APP记者采访 摄影/于丽娜

在这个创新的时代浪潮中,有这样一位创业家引领着中国大数据日志分析市场,他便是北京优特捷信息技术有限公司(以下简称“日志易”)创始人兼CEO陈军。

结束=起点?何尝不是换种活法

9年前,一通大洋彼岸的猎头电话让39岁的陈军毅然决定回国,结束了长达12年的硅谷修行。

众所周知,硅谷是全球创新、创业和科技企业的聚集地,从计算机时代到互联网 时代,再到如今的共享经济时代,硅谷始终引领着世界创新潮流。在这里,有些人成功,有些人失败,有些人扼腕叹息,可以说,“硅谷创新模式”是不可复制的。在硅谷互联网行业摸爬滚打12年的陈军表示,硅谷被誉为全球科技创新的“圣地”,其最大的特点便是技术创新及人才流动,硅谷的人才流动性很强,而自己却并没有顺应市场潮流。在硅谷工作期间,陈军并未像其他人一样,经常换工作,相对比较稳定。

20180111101304673.jpg

陈军向记者讲述其工作经历 摄影/于丽娜

与硅谷相比,中国的创新氛围也越来越浓,从最初的商业模式创新逐渐向科技创新转变。2009年深圳的科技发展已如火如荼,陈军便在此时选择回到深圳加入腾讯。在他眼中,一方面因为深圳是一个非常有活力的城市,一个移民城市,这与硅谷十分相似,深圳的人才也是来自国内各地、五湖四海。另一方面,腾讯是一个非常有活力的公司,员工相对年轻,公司管理比较扁平化,效率很高,特别是做事效率,这方面较硅谷而言是有过之而无不及。3年后陈军被挖到高德地图任职高级副总裁,在他眼中,北京同样是一个科技氛围十分浓厚的城市。陈军认为,如果说中国与硅谷最接近的地方,非北京和深圳莫属,特别是北京的中关村有大量的高科技公司。

所谓追求,皆源于热爱

1970年出生于广东的陈军,受成长环境的影响,从小便对计算机有着浓厚的兴趣。陈军回忆道,他6岁便开始接触旧式的计算机打孔纸片,7岁开始在母亲的指导下学习“二进制”。对此,他向记者强调,母亲是他的计算机启蒙老师,对后来个人从事计算机这一行业带来了很大的帮助。

20180111101503531.png

陈军向记者讲述其创业经历 摄影/于丽娜

1998年,陈军从美国南加州大学毕业,随后加入思科负责路由器软件开发工作,为他日后创立日志易创造了条件,打下了基础。

2006年,陈军加入谷歌做网页搜索。陈军向记者描述,印象最深的便是“每天要爬100多亿网页”,上班第一件事就是查看前一天爬取的网页处理错误信息,用MapReduce写程序来分析统计日志里的异常情况。如果有未知错误出现,又得重新写程序、调试,耗时且效率低下。

2009年,陈军回到腾讯,在数据中心部门围绕云计算继续从事日志处理工作。在日志处理过程中,仍需要自己写程序来分析日志。

2012年,陈军转战高德地图。他向记者透露,当时每天都需要分析地图用户的行为日志,进行各种统计分析,使用的是Hadoop,即基于MapReduce的开源框架,分析起来还是不够方便。另一种方法是用搜索引擎处理日志,直接用搜索引擎搜索日志,非常方便,无需写Hadoop程序,实时性较强,日志从产生到可以搜索分析出结果可能仅仅在一分钟之内,甚至几秒钟。陈军强调,用搜索引擎来处理日志是一种新的突破性技术。因此,他希望能利用新的技术来处理日志。

2014年,基于一直以来对计算机的热爱和二十年来深度的行业积淀,陈军创立了日志易。

创新牵头,首创中国日志搜索服务

如今,日志无处不在且非常重要,记录着很多系统中用户的重要信息。而在过去,日志大多不被重视,散落在各台服务器,问题出现后,工程师才登录生产服务器查看。目前,越来越多的公司意识到日志的重要性,将日志集中管理起来,使得用户直接在日志集中管理平台上查看日志,进行各种关联分析。陈军向记者解释道,日志其实只是一个通俗的说法,按照学术/技术性的说法,应该称之为时间序列机器数据,它是机器产生的,带时间戳。不仅仅是IT设备产生日志,物联网、各种传感器也会产生大量的时间序列机器数据,这些数据在未来具有更加广阔的应用前景。网络设备、服务器、操作系统、应用程序每时每秒都会源源不断地产生日志,日志记录了系统的信息、业务的信息、用户的行为信息,“日志易”则是将日志的价值挖掘出来,运用在运维监控、安全审计、实时业务分析以及物联网上。

提及日志易搜索平台,陈军多次向记者强调,日志易属于IT运维分析 ,IT运维分析是将大数据技术运用在IT运维产生的数据上,他将日志易特点总结为以下三个方面:

第一,实时性强。日志从产生到搜索分析出结果可能只有几秒钟的延时。

第二,数据量大。大指的是“Big Data”,实时性强是实时大数据,即“Fast Big Data”,不仅数据量大,而且速度还要快。

第三,非常灵活。日志易是一个搜索引擎,用户可以搜索日志的任何字段,同时,用户的使用门槛也比较低。在分析方面,日志易实现了搜索处理语言SPL(Search Processing Language),比普通用户用的搜索引擎更进一步,可在搜索框里写SPL脚本程序进行各种统计分析,甚至机器学习。SPL脚本程序类似于SQL,但比SQL更加强大灵活,可以写几十行甚至上百行的SPL脚本程序。因此,日志易是一个在搜索框里可编程的实时日志搜索分析平台,非常强大灵活。

创业不易,人才与进取需兼得

日志易自2014年成立至今,作为创业者,陈军觉得创业本身是一件艰难的事。硅谷有一本书叫《创业维艰》(The Hard Thing About Hard Things),难中之难的事情。创业过程中会遇到各种各样的困难,但克服这些困难,便可以创造价值,个人本身也能获得成长。时代在变,企业若想立于不败之地,一方面需要紧跟时代的潮流,不断学习新的技术,不断总结。另一方面需引入人才。陈军向记者强调,在招贤纳士的过程中,聪明、勤奋这两条是他最看重的,由于技术在不断变化,只有足够聪明、足够好学、足够勤奋的人,才能不断跟着技术的发展学习新的技术。

20180111101621862.jpg

日志易正直合作进取的企业文化 摄影/于丽娜

与此同时,企业文化作为企业不可或缺的一部分,陈军对此也颇为重视,“正直、合作、进取”是他常挂在嘴边的三个关键词。在他眼中,正直首先是要做一个正直的人,合作是团队的紧密合作,进取是指要有积极向上的创业心态。平时,陈军身体力行,带领员工一直践行这样的企业文化,将企业文化落实在每一天的工作和行动上。

莫忘初心,征程尚远未来可期

在这个变化的时代,每个人都有可能成为主角,企业也不例外。企业在创新的过程中也需不断迭代,与未来同行。作为企业掌舵者的陈军,更是不忘密切关注新的动向,包括技术的动向和行业的变化,以及大数据、人工智能与创业方面的前沿热点。

在未来,数据将变得更加重要,各种各样的信息都记录在数据中,因此,如何将数据的潜在价值挖掘出来便显得十分迫切。陈军认为,数据未来的发展方向有两个方面,一个是更加全面,各种各样海量的数据都需要记录保存,通过机器学习、人工智能将其价值挖掘出来。另一个是不同数据之间需进行关联分析。在此背景下,企业也要非常注重数据结果导向、市场导向、客户导向,实行绩效主义,用数据说话,所有的业务都要数字化。

20180111101704248.jpg

日志易办公环境 摄影/于丽娜

20180111101734558.png

日志易所获荣誉 摄影/于丽娜

在陈军眼中,似乎一切可塑,前提是要不断学习,密切关注行业变化。未来的征途无论星辰,还是大海,总归值得期待。

人物档案

20180111102001876.png

陈军,1970年出生于广东,日志易创始人&CEO,美国南加州大学计算机硕士,前高德地图技术副总裁,曾任职Cisco、Google、腾讯等国际知名公司,拥有20年IT及互联网研发管理经验,在数据中心、云计算、大数据、搜索和日志分析领域有丰富经验,发明了4项网络及分布式系统美国专利。





本文出处:畅享网
本文来自云栖社区合作伙伴畅享网,了解相关信息可以关注vsharing.com网站。
相关实践学习
简单用户画像分析
本场景主要介绍基于海量日志数据进行简单用户画像分析为背景,如何通过使用DataWorks完成数据采集 、加工数据、配置数据质量监控和数据可视化展现等任务。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
目录
相关文章
|
3月前
|
运维 监控 关系型数据库
百度搜索:蓝易云【MYSQL四种管理日志详细介绍】
这四种管理日志对于MySQL服务器的性能监控、故障排查以及主从复制等方面都非常重要。在使用这些日志时,应根据具体需求来选择开启和配置,并定期清理和维护日志文件,以免占用过多磁盘空间。
56 0
|
6月前
|
Linux
百度搜索:蓝易云 ,Linux系统查看log日志命令详解!
通过使用以上命令,您可以方便地查看和搜索Linux系统中的日志文件内容。根据您的需求,选择适当的命令和选项来满足您的日志查看要求。
120 0
|
2月前
|
JSON Prometheus Cloud Native
Grafana 系列 - 统一展示 -8-ElasticSearch 日志快速搜索仪表板
Grafana 系列 - 统一展示 -8-ElasticSearch 日志快速搜索仪表板
|
6月前
|
分布式计算 MaxCompute
在MaxCompute中,你可以使用OUTPUT语句将查询结果输出到日志文件中
在MaxCompute中,你可以使用OUTPUT语句将查询结果输出到日志文件中
30 1
|
7月前
|
消息中间件 分布式计算 大数据
大数据Spark实时搜索日志实时分析
大数据Spark实时搜索日志实时分析
138 1
|
6月前
|
Linux
百度搜索:蓝易云 ,Linux系统定时清空日志内容和删除日志文件教程。
通过以上步骤,您可以在Linux系统中设置cron作业来定期清空日志内容和删除日志文件。请确保在编辑cron作业之前,您具有足够的权限来访问和修改日志文件。
39 0
|
2月前
|
JSON Prometheus Cloud Native
Grafana 系列文章(十二):如何使用 Loki 创建一个用于搜索日志的 Grafana 仪表板
Grafana 系列文章(十二):如何使用 Loki 创建一个用于搜索日志的 Grafana 仪表板
|
7月前
|
分布式计算 自然语言处理 监控
大数据Spark对SogouQ日志分析
大数据Spark对SogouQ日志分析
193 0
|
3月前
|
Ubuntu Docker 容器
百度搜索:蓝易云【ubuntu docker日志docker ubuntu desktop】
这样,你就可以查看Docker容器的日志信息。记得将 `CONTAINER_ID`替换为你要查看的实际容器ID。
34 0
|
3月前
|
canal 消息中间件 关系型数据库
大数据数据库增量日志采集之Canal
大数据数据库增量日志采集之Canal