公网数据采集比较(LogHub vs 自建前端机)

本文涉及的产品
对象存储 OSS,20GB 3个月
日志服务 SLS,月写入数据量 50GB 1个月
对象存储 OSS,恶意文件检测 1000次 1年
简介: 对一些应用场景而言,需要实时收集公网数据,例如移动端,HTML网页,PC、服务器、硬件设备、摄像头等实时数据进行处理。 在传统的架构中,一般通过前端服务器+Kafka这样的搭配来实现如上的功能。现在日志服务的LogHub功能能够代替这类架构,并提供更稳定、低成本、弹性、安全的解决方案。我们来比

对一些应用场景而言,需要实时收集公网数据,例如移动端,HTML网页,PC、服务器、硬件设备、摄像头等实时数据进行处理。

在传统的架构中,一般通过前端服务器+Kafka这样的搭配来实现如上的功能。现在日志服务LogHub功能能够代替这类架构,并提供更稳定、低成本、弹性、安全的解决方案。我们来比较下:

场景

公网有移动端、外部服务器、网页和设备数据进行采集。采集完成后需要进行实时计算、数据仓库等数据应用。

arch

方案1:前端服务器+Kafka

由Kafka不提供Resful协议,更多是在集群内使用。因此一般需要架设Nginx服务器做公网代理,再通过Logstash、或API通过Nginx写Kafka等消息中间件。

需要设施为:

设施 数目 配置 作用 价格
ECS服务器 2台 1核2GB 前端机、负载均衡,互备 108 元/台*M
SLB 1台 标准 按量计费实例 14.4 元/Month (租赁) + 0.8元/GB (流量)
Kafka / ZK 3台 1核2GB 数据写入并处理 108 元/台*M

方案2:使用LogHub

通过Mobile SDK、Logtail、Web Tracking JS直接写入LogHub EndPoint。

需要设施为:

设施 作用 价格
LogHub 实时数据采集 <0.2元/GB,参见计费规则

场景对比

场景1:一天10GB数据采集,大约一百万次写请求。( 这里10GB是压缩后,实际前数据大小一般为50GB-100GB左右)

方案1
--------------
SLB 租赁:0.02 * 24 * 30 = 14.4 元
SLB 流量:10*0.8*30  = 240 元
ECS 费用:108 * 2 = 216
Kafka ECS: 免费,假设与其他服务公用
共计:484.8 元 / 月

方案2:
--------------
LogHub流量:10 * 0.2 * 3- = 60 元
LogHub请求次数:0.12 (假设一天100W请求)* 30 = 3.6 元
共计:63.6 元

场景2:一天1TB数据采集,大约一亿次写请求

方案1
--------------
SLB 租赁:0.02 * 24 * 30 = 14.4 元
SLB 流量:1000 * 0.8* 30  = 24000 元
ECS 费用:108 * 2 = 216
Kafka ECS: 免费,假设与其他服务公用
共计:24230.4 元 / 月

方案2:
--------------
LogHub流量:1000 * 0.15 * 30 = 4500 元 (阶梯计价)
LogHub请求次数:0.12 * 100(假设一天1亿请求)* 30 = 360 元
共计:4860 元 / 月

方案比较

从以上两个场景可以看到,使用Loghub进行公网数据采集成本是非常有竞争力的。除此之外,和方案1相比还有其他优势:

  • 弹性伸缩:MB-PB/Day 间流量随意控制
  • 丰富权限控制:通过ACL控制读写权限
  • 支持HTTPS:传输加密
  • 日志投递免费:不需要额外开发就能与数据仓库对接
  • 详尽监控数据:让你清楚业务情况
  • 丰富SDK与上下游对接:和Kafka一样拥有完整的下游对接能力,和阿里云及开源产品深度整合

有兴趣可以参见日志服务主页体验该服务。

目录
相关文章
|
2月前
|
前端开发 JavaScript C++
揭秘Web前端CSS引入秘籍:Link vs @import,你的选择决定页面加载速度,你选对了吗?
【8月更文挑战第26天】本文探讨了Web前端开发中CSS的引用方法,主要包括行内样式、内部样式表及外部样式表三种形式。重点对比了外部样式表中的`&lt;link&gt;`和`@import`两种引入方式。`&lt;link&gt;`作为HTML元素,在页面加载初期就开始加载样式资源,支持并行加载,对提高页面加载速度有益。而`@import`作为一种CSS规则,仅能在CSS文件中使用,其引入的样式表会在页面完成加载后才开始加载,可能导致渲染延迟且不支持并行加载。因此,在多数情况下,推荐采用`&lt;link&gt;`方式引入外部样式表,以确保更佳的性能表现和浏览器兼容性。
71 2
|
20天前
|
JavaScript 前端开发 API
如何在前端开发中有效管理状态:React vs. Vue
在现代前端开发中,状态管理是一个关键因素,它直接影响到应用的性能和可维护性。React 和 Vue 是当前最流行的前端框架,它们在状态管理方面各有优势和劣势。本文将深入探讨 React 和 Vue 在状态管理中的不同实现,分析它们的优缺点,并提供实际应用中的最佳实践,以帮助开发者选择最适合他们项目的解决方案。
|
2月前
|
前端开发 JavaScript C++
【绝技大公开】Webpack VS Rollup:一场前端工程化领域的巅峰对决,谁能笑到最后?——揭秘两大构建神器背后的秘密与奇迹!
【8月更文挑战第12天】随着前端技术的发展,模块化与自动化构建成为标准实践。Webpack与Rollup作为主流构建工具,各具特色。Webpack是一款全能型打包器,能处理多种静态资源,配置灵活,适合复杂项目;Rollup专注于ES6模块打包,利用Tree Shaking技术减少冗余,生成更精简的代码。Rollup构建速度快,配置简洁,而Webpack则拥有更丰富的插件生态系统。选择合适的工具需根据项目需求和个人偏好决定。两者都能有效提升前端工程化水平,助力高质量应用开发。
26 1
|
2月前
|
Java Spring 数据库
怎样动动手指就能实现数据操作?Spring Data JPA背后的魔法揭秘
【8月更文挑战第31天】在Java开发中,数据库交互至关重要。传统的JDBC操作繁琐且难维护,而Spring Data JPA作为集成JPA的数据访问层解决方案,提供了CRUD等通用操作接口,显著减少代码量。通过继承`JpaRepository`,开发者能轻松实现数据的增删改查,甚至复杂查询和分页也不再困难。本文将通过示例详细介绍如何利用Spring Data JPA简化数据访问层的开发,提升代码质量和可维护性。
29 0
|
2月前
|
前端开发 应用服务中间件 API
"揭秘!面试官必问:你是如何巧妙绕过跨域难题的?前端代理VS服务器端CORS,哪个才是你的秘密武器?"
【8月更文挑战第21天】在软件开发中,尤其前后端分离架构下,跨域资源共享(CORS)是常见的挑战。主要解决方案有两种:一是服务器端配置CORS策略,通过设置响应头控制跨域访问权限,无需改动前端代码,增强安全性;二是前端代理转发,如使用Nginx或Webpack DevServer在开发环境中转发请求绕过同源策略,简化开发流程但不适用于生产环境。生产环境下应采用服务器端CORS策略以确保安全稳定。
34 0
|
2月前
|
缓存 前端开发 JavaScript
前端框架选择指南:React vs Vue vs Angular
React、Vue与Angular是主流前端框架,各有千秋。React专注视图层,学习曲线平缓,生态丰富,适用于中大型项目;Vue简洁易学,模板直观,内置状态管理,适合中小项目及快速原型;Angular全栈框架,结构严谨,适合大型企业应用。React需手动处理状态管理,Vue提供完整CLI加速开发,Angular虽学习曲线陡峭但提供全套解决方案。性能方面,三者均利用虚拟DOM优化渲染。社区支持上,React最为庞大,Vue活跃度高,Angular有Google背书。选型应基于项目需求、团队技能及维护考量。
47 0
|
5月前
|
前端开发 JavaScript C++
【掰开揉碎】Django模板 vs 前端框架:选择合适的渲染方式
【掰开揉碎】Django模板 vs 前端框架:选择合适的渲染方式
144 7
|
5月前
|
开发框架 缓存 前端开发
|
5月前
|
前端开发 JavaScript C++
探讨前端框架选择:Vue vs React
在当今快速发展的前端开发领域,选择合适的前端框架至关重要。本文将围绕Vue和React这两大热门前端框架展开讨论,分析它们的特点、优势和适用场景,帮助开发者更好地做出选择。
|
5月前
|
前端开发 JavaScript C++
探讨前端框架选择:React vs Angular vs Vue
【2月更文挑战第2天】 在当今快速发展的前端开发领域,选择合适的前端框架至关重要。本文将深入探讨三大热门前端框架:React、Angular和Vue,分析它们的特点、优势和劣势,帮助开发者更好地理解并选择适合自己项目的前端框架。
61 3
下一篇
无影云桌面