网站流量日志分析--数据可视化--后端 web 工程架构 | 学习笔记

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
日志服务 SLS,月写入数据量 50GB 1个月
RDS MySQL Serverless 高可用系列,价值2615元额度,1个月
简介: 快速学习网站流量日志分析--数据可视化--后端 web 工程架构

开发者学堂课程【大数据分析之企业级网站流量运营分析系统开发实战(第五阶段):网站流量日志分析--数据可视化--后端 web 工程架构】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/697/detail/12256


网站流量日志分析--数据可视化--后端 web 工程架构

内容介绍

一.WEB 程序工程结构

二.  总结

 

一. WEB 程序工程结构

所谓后端的程序,它的职责很明确,就是把通过 sqoop 导出的各种指标数据按照前端的下室所需要的格式返回给他,也就是纯粹的查询 MYSQL 数据库的过程。

从技术层面来说,不仅仅局限于 Java,还有个编程语言叫做 PHP 也可以实现这一过程。

本项目是个纯粹的 JavaEE 项目,基于 spring 框架整合构建。使用 maven 的 tomcat 插件启动项目。

简单模拟一下,假设有一个首页进行数据可视化页面的展示,叫做 index html。首页是通过浏览器来访问,所以还需要有一个浏览器,叫做 from 的浏览器。

浏览器想请求页面,背后所传递的协议叫做 HTTP 协议,它会发起一个叫做 request ,这个协议发到服务器。

下面讲到 Java 当中标准的三层架构,最上面叫做表现层,然后是业务层和持久层。

表现层主要负责各种请求的响应,也就是说他的请求会被外部 contrast 来接收。

中间层叫做 service 层,具体业务比如要进行什么操作,什么判断,就把它叫做业务层。

最后需要去操作数据,查询数据,所以下面有一个数据操作叫 DAO,它的中文叫做持久层。持久层作业是进行数据持久化,保证我们的业务最终落实到数据库当中。

比如有一个 MySQL,通常用 MySQL 来做数据的导出导入操作。接下来我再追加一个问题,数据库当中的数据指标来自于哪里?持久层数据会去查询数据库,问题在于数据库的数据来自于哪里?之前说过大数据分析是在 hive 当中分析,那分析完之后怎么来到 MySQL? 是用 sqoop 导出的。

那么这个图就可以继续画一个大数据的分析平台,标注数据仓库,数据仓库中的数据简单写一下,用 sqoop 导出,导出之后,mysql 进行查询数据,会得出一个结果。这个结果层层向上传递:持久层到业务层到表现层。在业务层需要把数据进行相关的转换和调整。最后返回到浏览器把数据进行渲染,用户就得到了 response,看到一个非常完美的页面。

图片里整个左边部分和大数据没有关系,是非常纯粹的 javaEE 项目。表现层使用的软件是 spring MVC,业务层使用的是 spring,持久层使用的是 mybatis。这样就完成了相关技术的操作。整个项目是用 maven web 项目,使用 tomcat 插件运行。

image.png

这就是数据可视化后端 web 项目的架构图。有了架构图之后就可以明确,我们要做的就是查询 MySQL 中的指标数据返回给前端。

 

二.总结

数据可视化后端 web 工程

职责:把导出在 mysql 中的数据按照前端需要的格式查询返回给前端

技术: php java 本项目中使用 javaEE 基于 SSM 做数据查询

相关实践学习
【涂鸦即艺术】基于云应用开发平台CAP部署AI实时生图绘板
【涂鸦即艺术】基于云应用开发平台CAP部署AI实时生图绘板
相关文章
|
11月前
|
自然语言处理 JavaScript Java
《鸿蒙HarmonyOS应用开发从入门到精通(第2版)》学习笔记——HarmonyOS架构介绍
HarmonyOS采用分层架构设计,从下至上分为内核层、系统服务层、框架层和应用层。内核层支持多内核设计与硬件驱动;系统服务层提供核心能力和服务;框架层支持多语言开发;应用层包括系统及第三方应用,支持跨设备调度,确保一致的用户体验。
953 81
|
8月前
|
人工智能 前端开发 Java
DDD四层架构和MVC三层架构的个人理解和学习笔记
领域驱动设计(DDD)是一种以业务为核心的设计方法,与传统MVC架构不同,DDD将业务逻辑拆分为应用层和领域层,更关注业务领域而非数据库设计。其四层架构包括:Interface(接口层)、Application(应用层)、Domain(领域层)和Infrastructure(基础层)。各层职责分明,避免跨层调用,确保业务逻辑清晰。代码实现中,通过DTO、Entity、DO等对象的转换,结合ProtoBuf协议,完成请求与响应的处理流程。为提高复用性,实际项目中可增加Common层存放公共依赖。DDD强调从业务出发设计软件,适应复杂业务场景,是微服务架构的重要设计思想。
|
8月前
|
安全 大数据 数据挖掘
课时9:阿里云Web应用防火墙:全面保障网站的安全与可用性
阿里云Web应用防火墙(WAF)基于阿里巴巴十年攻防经验,提供全面的网站安全防护。它通过Web应用防护、CC攻击防护和业务风控,有效应对各类网络威胁,确保网站的安全与可用性。智能双引擎技术降低误报率,实时数据分析和虚拟补丁更新保障系统安全。WAF已成功护航多个重大活动,为企业提供高效、简便的安全解决方案。
232 0
|
Web App开发 前端开发 JavaScript
Web开发者必收藏的10个实用网站,你还没收藏吗?
将这些网站收藏起来,定期访问,使它们成为您日常工作的一部分,助您在快速发展的 Web 开发领域保持领先。
389 2
Web开发者必收藏的10个实用网站,你还没收藏吗?
|
PyTorch 算法框架/工具
Pytorch学习笔记(七):F.softmax()和F.log_softmax函数详解
本文介绍了PyTorch中的F.softmax()和F.log_softmax()函数的语法、参数和使用示例,解释了它们在进行归一化处理时的作用和区别。
1286 1
Pytorch学习笔记(七):F.softmax()和F.log_softmax函数详解
|
人工智能 搜索推荐 PHP
PHP在Web开发中的璀璨星辰:构建动态网站的幕后英雄###
【10月更文挑战第25天】 本文将带您穿越至PHP的宇宙,揭示其作为Web开发常青树的奥秘。通过生动实例与深入解析,展现PHP如何以简便、高效、灵活的姿态,赋能开发者打造动态交互式网站,同时不忘探讨其在新时代技术浪潮中面临的挑战与机遇,激发对技术创新与应用的无限思考。 ###
161 1
|
存储 安全 数据库
后端技术在现代Web开发中的实践与创新
【10月更文挑战第13天】 本文将深入探讨后端技术在现代Web开发中的重要性,通过实际案例分析展示如何利用先进的后端技术提升用户体验和系统性能。我们将从基础架构设计、数据库优化、安全性保障等方面展开讨论,为读者提供清晰的指导和实用的技巧。无论是新手开发者还是经验丰富的技术人员,都能从中获得启发和帮助。
281 2
|
自然语言处理 Cloud Native 数据安全/隐私保护
后端技术在现代Web开发中的实践与创新
本文探讨了后端技术在现代Web开发中的重要性及其应用。通过分析当前流行的后端框架和开发模式,揭示了如何利用这些技术来构建高效、可扩展的Web应用程序。同时,文章也讨论了未来后端技术的发展趋势,为开发者提供了一些启示。
WK
|
安全 Java 编译器
C++和Java哪个更适合开发web网站
在Web开发领域,C++和Java各具优势。C++以其高性能、低级控制和跨平台性著称,适用于需要高吞吐量和低延迟的场景,如实时交易系统和在线游戏服务器。Java则凭借其跨平台性、丰富的生态系统和强大的安全性,广泛应用于企业级Web开发,如企业管理系统和电子商务平台。选择时需根据项目需求和技术储备综合考虑。
WK
416 0

热门文章

最新文章