AI 助理
备案控制台
开发者社区 大数据与机器学习 大数据计算 MaxCompute 文章 正文

云数据，大计算—海量日志数据分析与应用

2016-10-21 7010
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
云原生大数据计算服务MaxCompute，500CU*H 100GB 3个月
简介： 网站日志分析是大数据应用场景中非常常见的一种，今天我们通过实例对网站日志数据进行分析，从日志采集——>日志数据清洗、加工做画像分析——>BI报表展现，更进一步，通过社交数据分析做好友推荐 ，对整个全链路过程做实验操作演练，希望能给大家提供一些帮助。

课程介绍 

         网站日志分析是大数据应用场景中非常常见的一种，今天我们通过实例对网站日志数据进行分析，从日志采集——>日志数据清洗、加工做画像分析——>BI报表展现，更进一步，通过社交数据分析做好友推荐 ，对整个全链路过程做实验操作演练，希望能给大家提供一些帮助。


准备工作

        杭州TI专场，workshop现场是在云中沙箱账号环境进行的实验操作，若您想在自己的项目中进行演练，请准备好如下事项：
        1、 购买MaxCompute
        3、 进入数据开发界面

课程内容

        3、 数据加工：用户画像

        4、数据分析展现：可视化报表及嵌入应用

        5、社交数据分析：好友推荐


文章标签：
日志服务
大数据
数据挖掘
BI
关键词：
数据分析应用
日志服务分析
日志服务应用
云数据日志
数据分析数据
相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
jing.luojing
目录
相关文章
阿里云大数据Al技术
|
6天前
|
人工智能 自然语言处理 数据挖掘
云上玩转Qwen3系列之三：PAI-LangStudio x Hologres构建ChatBI数据分析Agent应用
PAI-LangStudio 和 Qwen3 构建基于 MCP 协议的 Hologres ChatBI 智能 Agent 应用，通过将 Agent、MCP Server 等技术和阿里最新的推理模型 Qwen3 编排在一个应用流中，为大模型提供了 MCP+OLAP 的智能数据分析能力，使用自然语言即可实现 OLAP 数据分析的查询效果，减少了幻觉。开发者可以基于该模板进行灵活扩展和二次开发，以满足特定场景的需求。
阿里云大数据Al技术
54 4
DatabaseEvangelist
|
1月前
|
存储 运维 监控
SelectDB 实现日志高效存储与实时分析，完成任务可领取积分、餐具套装/水杯/帆布包！
SelectDB 实现日志高效存储与实时分析，完成任务可领取积分、餐具套装/水杯/帆布包！
DatabaseEvangelist
88 9
阿里云云原生
|
1月前
|
SQL 监控 数据挖掘
SLS 重磅升级：超大规模数据实现完全精确分析
SLS 全新推出的「SQL 完全精确」模式，通过“限”与“换”的策略切换，在快速分析与精确计算之间实现平衡，满足用户对于超大数据规模分析结果精确的刚性需求。标志着其在超大规模日志数据分析领域再次迈出了重要的一步。
阿里云云原生
311 116
Echo_Wish
|
4月前
|
SQL 数据可视化 大数据
从数据小白到大数据达人：一步步成为数据分析专家
从数据小白到大数据达人：一步步成为数据分析专家
Echo_Wish
326 92
阿里云瑶池数据库SelectDB
|
2月前
|
存储 消息中间件 缓存
MiniMax GenAI 可观测性分析 ：基于阿里云 SelectDB 构建 PB 级别日志系统
基于阿里云SelectDB，MiniMax构建了覆盖国内及海外业务的日志可观测中台，总体数据规模超过数PB，日均新增日志写入量达数百TB。系统在P95分位查询场景下的响应时间小于3秒，峰值时刻实现了超过10GB/s的读写吞吐。通过存算分离、高压缩比算法和单副本热缓存等技术手段，MiniMax在优化性能的同时显著降低了建设成本，计算资源用量降低40%，热数据存储用量降低50%，为未来业务的高速发展和技术演进奠定了坚实基础。
阿里云瑶池数据库SelectDB
129 1
MiniMax GenAI 可观测性分析 ：基于阿里云 SelectDB 构建 PB 级别日志系统
游客egvuosao6wkzo
|
1月前
|
机器学习/深度学习 数据可视化 算法
销售易CRM：移动端应用与数据分析双轮驱动企业增长
销售易CRM移动端应用助力企业随时随地掌控业务全局。销售人员可实时访问客户信息、更新进展，离线模式确保网络不佳时工作不中断。实时协作功能提升团队沟通效率，移动审批加速业务流程。强大的数据分析与可视化工具提供深度洞察，支持前瞻性决策。客户行为分析精准定位需求，优化营销策略。某中型制造企业引入后，业绩提升30%，客户满意度提高25%。
游客egvuosao6wkzo
40 4
1617506184209884
|
3月前
|
SQL 人工智能 数据可视化
数据团队必读:智能数据分析文档(DataV Note)五种高效工作模式
数据项目复杂，涉及代码、数据、运行环境等多部分。随着AI发展，数据科学团队面临挑战。协作式数据文档（如阿里云DataV Note）成为提升效率的关键工具。它支持跨角色协同、异构数据处理、多语言分析及高效沟通，帮助创建知识库，实现可重现的数据科学过程，并通过一键分享报告促进数据驱动决策。未来，大模型AI将进一步增强其功能，如智能绘图、总结探索、NLP2SQL/Python和AutoReport，为数据分析带来更多可能。
1617506184209884
155 21
技术小达人
|
2月前
|
SQL 存储 自然语言处理
让跨 project 联查更轻松，SLS StoreView 查询和分析实践
让跨 project 联查更轻松，SLS StoreView 查询和分析实践
技术小达人
57 1
zys_
|
2月前
|
机器学习/深度学习 传感器 数据采集
基于机器学习的数据分析：PLC采集的生产数据预测设备故障模型
本文介绍如何利用Python和Scikit-learn构建基于PLC数据的设备故障预测模型。通过实时采集温度、振动、电流等参数，进行数据预处理和特征提取，选择合适的机器学习模型（如随机森林、XGBoost），并优化模型性能。文章还分享了边缘计算部署方案及常见问题排查，强调模型预测应结合定期维护，确保系统稳定运行。
zys_
310 0
Echo_Wish
|
4月前
|
机器学习/深度学习 人工智能 运维
智能日志分析：用AI点亮运维的未来
智能日志分析：用AI点亮运维的未来
Echo_Wish
957 15
大数据与机器学习

大数据计算 MaxCompute

热门文章

最新文章

  • 1
    阿里云开源离线同步工具DataX3.0介绍
  • 2
    odps是什么?
  • 3
    阿里云MaxCompute（大数据）公开数据集---带你玩转人工智能
  • 4
    优酷背后的大数据秘密
  • 5
    【转载】时隔一年多，我又用起了 Superset
  • 6
    品《阿里巴巴大数据实践-大数据之路》一书（上）
  • 7
    干货：解码OneData，阿里的数仓之路。
  • 8
    [大数据新手上路]“零基础”系列课程--如何将ECS上的Hadoop数据迁移到阿里云数加·MaxCompute
  • 9
    ［ETL实践指南］基于Kettle的MaxCompute插件实现数据上云
  • 10
    MaxCompute常见错误汇总（更新ing）
  • 1
    【SQL周周练】：利用行车轨迹分析犯罪分子作案地点
    40
  • 2
    优化HTTP代理IP安全稳定性的关键要点
    169
  • 3
    HTTP代理服务器对速度提升有何作用？
    78
  • 4
    深度剖析静态长效代理IP在技术革新与网络防护上的表现
    148
  • 5
    【赵渝强老师】史上最详细：Hadoop HDFS的体系架构
    266
  • 6
    住宅IP和运营商IP有什么区别？
    116
  • 7
    静态长效代理IP的技术创新与网络安全体现在哪些方面？
    78
  • 8
    静态代理IP对SEO优化工作的效率提升研究
    58
  • 9
    静态长效代理IP利用率瓶颈解析与优化路径
    54
  • 10
    代理IP故障排查，怎样快速锁定问题？
    118

    • 相关课程

    更多
  • 日志服务SLS实现云产品可观测
  • 实时数据分析：使用Flink实时发现最热Github项目
  • 日志服务 SLS 可观测数据分析平台介绍
  • 大数据知识图谱系列—基于ELK+Flink日志全观测最佳实践
  • Quick BI在业务数据分析中的实战应用
  • 场景实践-基于阿里云Quick BI 对MOOC网站日志分析

    • 相关电子书

    更多
  • PostgresChina2018_赖思超_PostgreSQL10_hash索引的WAL日志修改版final
  • Kubernetes下日志实时采集、存储与计算实践
  • 日志数据采集与分析对接

    • 相关实验场景

    更多
  • AnalyticDB无感集成（Zero-ETL）下的一站式数据分析
  • PolarDB MySQL HTAP：实时数据分析加速
  • 倚天大数据电商数据分析快速实践
  • 使用CloudLens管理SLS日志采集
  • 玩转MaxCompute SQL! 30分钟搞定数据分析挖掘
  • 使用CloudLens采集PolarDB日志并进行审计分析
    • 下一篇
    阿里云OSS如何对接外链网盘