AI 助理
备案控制台
开发者社区 大数据与机器学习 大数据计算 MaxCompute 文章 正文

云数据，大计算—海量日志数据分析与应用

2016-10-21 7002
版权
举报
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
云原生大数据计算服务MaxCompute，500CU*H 100GB 3个月
云原生大数据计算服务 MaxCompute，5000CU*H 100GB 3个月
简介： 网站日志分析是大数据应用场景中非常常见的一种，今天我们通过实例对网站日志数据进行分析，从日志采集——>日志数据清洗、加工做画像分析——>BI报表展现，更进一步，通过社交数据分析做好友推荐 ，对整个全链路过程做实验操作演练，希望能给大家提供一些帮助。

课程介绍 

         网站日志分析是大数据应用场景中非常常见的一种，今天我们通过实例对网站日志数据进行分析，从日志采集——>日志数据清洗、加工做画像分析——>BI报表展现，更进一步，通过社交数据分析做好友推荐 ，对整个全链路过程做实验操作演练，希望能给大家提供一些帮助。


准备工作

        杭州TI专场，workshop现场是在云中沙箱账号环境进行的实验操作，若您想在自己的项目中进行演练，请准备好如下事项：
        1、 购买MaxCompute
        3、 进入数据开发界面

课程内容

        3、 数据加工：用户画像

        4、数据分析展现：可视化报表及嵌入应用

        5、社交数据分析：好友推荐


文章标签：
日志服务
大数据
数据挖掘
BI
关键词：
日志服务分析
日志服务应用
数据分析数据
日志服务分析应用
数据分析应用
相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
jing.luojing
+关注
8文章
目录
打赏
0
0
0
0
78990
分享
相关文章
DatabaseEvangelist
|
14天前
|
存储 运维 监控
SelectDB 实现日志高效存储与实时分析，完成任务可领取积分、餐具套装/水杯/帆布包！
SelectDB 实现日志高效存储与实时分析，完成任务可领取积分、餐具套装/水杯/帆布包！
DatabaseEvangelist
64 9
阿里云云原生
|
27天前
|
SQL 监控 数据挖掘
SLS 重磅升级：超大规模数据实现完全精确分析
SLS 全新推出的「SQL 完全精确」模式，通过“限”与“换”的策略切换，在快速分析与精确计算之间实现平衡，满足用户对于超大数据规模分析结果精确的刚性需求。标志着其在超大规模日志数据分析领域再次迈出了重要的一步。
阿里云云原生
291 117
阿里云瑶池数据库SelectDB
|
1月前
|
存储 消息中间件 缓存
MiniMax GenAI 可观测性分析 ：基于阿里云 SelectDB 构建 PB 级别日志系统
基于阿里云SelectDB，MiniMax构建了覆盖国内及海外业务的日志可观测中台，总体数据规模超过数PB，日均新增日志写入量达数百TB。系统在P95分位查询场景下的响应时间小于3秒，峰值时刻实现了超过10GB/s的读写吞吐。通过存算分离、高压缩比算法和单副本热缓存等技术手段，MiniMax在优化性能的同时显著降低了建设成本，计算资源用量降低40%，热数据存储用量降低50%，为未来业务的高速发展和技术演进奠定了坚实基础。
阿里云瑶池数据库SelectDB
100 1
MiniMax GenAI 可观测性分析 ：基于阿里云 SelectDB 构建 PB 级别日志系统
陌陌谣
|
1月前
|
存储 监控 算法
基于 PHP 语言的滑动窗口频率统计算法在公司局域网监控电脑日志分析中的应用研究
在当代企业网络架构中，公司局域网监控电脑系统需实时处理海量终端设备产生的连接日志。每台设备平均每分钟生成 3 至 5 条网络请求记录，这对监控系统的数据处理能力提出了极高要求。传统关系型数据库在应对这种高频写入场景时，性能往往难以令人满意。故而，引入特定的内存数据结构与优化算法成为必然选择。
陌陌谣
29 3
技术小达人
|
1月前
|
SQL 存储 自然语言处理
让跨 project 联查更轻松，SLS StoreView 查询和分析实践
让跨 project 联查更轻松，SLS StoreView 查询和分析实践
技术小达人
46 1
蓝易云
|
2月前
|
运维 应用服务中间件 nginx
docker运维查看指定应用log文件位置和名称
通过本文的方法，您可以更高效地管理和查看Docker容器中的日志文件，确保应用运行状态可控和可监测。
蓝易云
251 28
游客kufrkwrbkmpsa
|
1月前
|
SQL 数据库
【YashanDB知识库】应用绑定参数的慢查询，慢日志抓取不到
【YashanDB知识库】应用绑定参数的慢查询，慢日志抓取不到
游客kufrkwrbkmpsa
136 0
技术小达人
|
2月前
|
SQL 分布式计算 Serverless
基于阿里云 EMR Serverless Spark 版快速搭建OSS日志分析应用
基于阿里云 EMR Serverless Spark 版快速搭建OSS日志分析应用
技术小达人
55 0
灵杰开发者
|
2月前
|
存储 弹性计算 运维
海量日志接入 Elasticsearch Serverless 应用降本70%以上
本文将探讨在日志场景下，使用阿里云Elasticsearch Serverless相较于基于ECS自建Elasticsearch集群的成本与性能优势，展示如何通过Serverless架构实现高达 70%以上的成本节约。
灵杰开发者
241 0
众所周知
|
8月前
|
数据采集 数据可视化 数据挖掘
数据分析大神养成记：Python+Pandas+Matplotlib助你飞跃！
在数字化时代，数据分析至关重要，而Python凭借其强大的数据处理能力和丰富的库支持，已成为该领域的首选工具。Python作为基石，提供简洁语法和全面功能，适用于从数据预处理到高级分析的各种任务。Pandas库则像是神兵利器，其DataFrame结构让表格型数据的处理变得简单高效，支持数据的增删改查及复杂变换。配合Matplotlib这一数据可视化的魔法棒，能以直观图表展现数据分析结果。掌握这三大神器，你也能成为数据分析领域的高手！
众所周知
140 2
大数据与机器学习

大数据计算 MaxCompute
+关注

热门文章

最新文章

  • 1
    阿里云开源离线同步工具DataX3.0介绍
    69454
  • 2
    每个人都应该知道的25个大数据术语
    41100
  • 3
    odps是什么?
    30827
  • 4
    美柚：最懂女性App背后的混合云架构与大数据服务
    20790
  • 5
    MaxCompute执行作业慢的原因排查
    19278
  • 6
    【大数据干货】轻松处理每天2TB的日志数据，支撑运营团队进行大数据分析挖掘，随时洞察用户个性化需求。
    14478
  • 7
    干货：解码OneData，阿里的数仓之路。
    14231
  • 8
    MaxCompute SQL原理解析及性能调优
    11322
  • 9
    MaxCompute上如何处理非结构化数据
    10506
  • 10
    倒计时1天！相约杭州云栖，相遇数据智能
    10188
  • 1
    优化HTTP代理IP安全稳定性的关键要点
    76
  • 2
    HTTP代理服务器对速度提升有何作用？
    65
  • 3
    深度剖析静态长效代理IP在技术革新与网络防护上的表现
    65
  • 4
    【赵渝强老师】史上最详细：Hadoop HDFS的体系架构
    170
  • 5
    住宅IP和运营商IP有什么区别？
    91
  • 6
    静态长效代理IP的技术创新与网络安全体现在哪些方面？
    62
  • 7
    静态代理IP对SEO优化工作的效率提升研究
    45
  • 8
    静态长效代理IP利用率瓶颈解析与优化路径
    49
  • 9
    代理IP故障排查，怎样快速锁定问题？
    98
  • 10
    探寻静态代理 IP 对地区优化有何价值？
    61

    • 相关课程

    更多
  • 基于MongoDB构建实时日志分析平台
  • 日志服务SLS实现云产品可观测
  • 日志服务 SLS 可观测数据分析平台介绍
  • 大数据知识图谱系列—基于ELK+Flink日志全观测最佳实践
  • 场景实践-基于阿里云Quick BI 对MOOC网站日志分析
  • 深入理解数据分析

    • 相关电子书

    更多
  • PostgresChina2018_赖思超_PostgreSQL10_hash索引的WAL日志修改版final
  • Kubernetes下日志实时采集、存储与计算实践
  • 日志数据采集与分析对接

    • 相关实验场景

    更多
  • AnalyticDB无感集成（Zero-ETL）下的一站式数据分析
  • PolarDB MySQL HTAP：实时数据分析加速
  • 倚天大数据电商数据分析快速实践
  • 使用CloudLens管理SLS日志采集
  • 玩转MaxCompute SQL! 30分钟搞定数据分析挖掘
  • 使用CloudLens采集PolarDB日志并进行审计分析
    • 下一篇
    oss创建bucket
    目录