AI 助理
文档备案控制台
开发者社区 大数据与机器学习 大数据计算 MaxCompute 文章 正文

云数据，大计算—海量日志数据分析与应用

2016-10-21 7173
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： 网站日志分析是大数据应用场景中非常常见的一种，今天我们通过实例对网站日志数据进行分析，从日志采集——>日志数据清洗、加工做画像分析——>BI报表展现，更进一步，通过社交数据分析做好友推荐 ，对整个全链路过程做实验操作演练，希望能给大家提供一些帮助。

课程介绍 

         网站日志分析是大数据应用场景中非常常见的一种，今天我们通过实例对网站日志数据进行分析，从日志采集——>日志数据清洗、加工做画像分析——>BI报表展现，更进一步，通过社交数据分析做好友推荐 ，对整个全链路过程做实验操作演练，希望能给大家提供一些帮助。


准备工作

        杭州TI专场，workshop现场是在云中沙箱账号环境进行的实验操作，若您想在自己的项目中进行演练，请准备好如下事项：
        1、 购买MaxCompute
        3、 进入数据开发界面

课程内容

        3、 数据加工：用户画像

        4、数据分析展现：可视化报表及嵌入应用

        5、社交数据分析：好友推荐


文章标签：
云原生大数据计算服务 MaxCompute
日志服务
大数据
数据挖掘
BI
关键词：
日志服务应用
日志服务分析
数据分析数据
数据分析应用
云数据应用
相关实践学习
基于MaxCompute的热门话题分析
Apsara Clouder大数据专项技能认证配套课程：基于MaxCompute的热门话题分析
jing.luojing
目录
相关文章
阿里云开发者
|
8月前
|
存储 关系型数据库 数据库
附部署代码｜云数据库RDS 全托管 Supabase服务：小白轻松搞定开发AI应用
本文通过一个 Agentic RAG 应用的完整构建流程，展示了如何借助 RDS Supabase 快速搭建具备知识处理与智能决策能力的 AI 应用，展示从数据准备到应用部署的全流程，相较于传统开发模式效率大幅提升。
阿里云开发者
3428 4
附部署代码｜云数据库RDS 全托管 Supabase服务：小白轻松搞定开发AI应用
阿里云大数据Al技术
|
10月前
|
人工智能 自然语言处理 数据挖掘
云上玩转Qwen3系列之三：PAI-LangStudio x Hologres构建ChatBI数据分析Agent应用
PAI-LangStudio 和 Qwen3 构建基于 MCP 协议的 Hologres ChatBI 智能 Agent 应用，通过将 Agent、MCP Server 等技术和阿里最新的推理模型 Qwen3 编排在一个应用流中，为大模型提供了 MCP+OLAP 的智能数据分析能力，使用自然语言即可实现 OLAP 数据分析的查询效果，减少了幻觉。开发者可以基于该模板进行灵活扩展和二次开发，以满足特定场景的需求。
阿里云大数据Al技术
692 4
DatabaseEvangelist
|
11月前
|
存储 运维 监控
SelectDB 实现日志高效存储与实时分析，完成任务可领取积分、餐具套装/水杯/帆布包！
SelectDB 实现日志高效存储与实时分析，完成任务可领取积分、餐具套装/水杯/帆布包！
DatabaseEvangelist
364 9
运维有小邓
|
6月前
|
监控 安全 搜索推荐
使用EventLog Analyzer进行日志取证分析
EventLog Analyzer助力企业通过集中采集、归档与分析系统日志及syslog，快速构建“数字犯罪现场”，精准追溯安全事件根源。其强大搜索功能可秒级定位入侵时间、人员与路径，生成合规与取证报表，确保日志安全防篡改，大幅提升调查效率，为执法提供有力证据支持。
运维有小邓
250 0
阿里云云原生
|
11月前
|
SQL 监控 数据挖掘
SLS 重磅升级：超大规模数据实现完全精确分析
SLS 全新推出的「SQL 完全精确」模式，通过“限”与“换”的策略切换，在快速分析与精确计算之间实现平衡，满足用户对于超大数据规模分析结果精确的刚性需求。标志着其在超大规模日志数据分析领域再次迈出了重要的一步。
阿里云云原生
779 118
青云交（Java大数据AI云原生Python）
|
8月前
|
机器学习/深度学习 Java 大数据
Java 大视界 -- Java 大数据在智能政务公共资源交易数据分析与监管中的应用（202）
本篇文章深入探讨了 Java 大数据在智能政务公共资源交易监管中的创新应用。通过构建高效的数据采集、智能分析与可视化决策系统，Java 大数据技术成功破解了传统监管中的数据孤岛、效率低下和监管滞后等难题，为公共资源交易打造了“智慧卫士”，助力政务监管迈向智能化、精准化新时代。
青云交（Java大数据AI云原生Python）
258 0
青云@yd
|
8月前
|
监控 安全 NoSQL
【DevOps】Logstash详解：高效日志管理与分析工具
Logstash是ELK Stack核心组件之一，具备强大的日志收集、处理与转发能力。它支持多种数据来源，提供灵活的过滤、转换机制，并可通过插件扩展功能，广泛应用于系统日志分析、性能优化及安全合规等领域，是现代日志管理的关键工具。
青云@yd
1272 0
modelscope
|
10月前
|
自然语言处理 监控 安全
阿里云发布可观测MCP！支持自然语言查询和分析多模态日志
阿里云可观测官方发布了Observable MCP Server，提供了一系列访问阿里云可观测各产品的工具能力，包含阿里云日志服务SLS、阿里云应用实时监控服务ARMS等，支持用户通过自然语言形式查询
modelscope
1478 0
阿里云发布可观测MCP！支持自然语言查询和分析多模态日志
SelectDB
|
存储 消息中间件 缓存
MiniMax GenAI 可观测性分析 ：基于阿里云 SelectDB 构建 PB 级别日志系统
基于阿里云SelectDB，MiniMax构建了覆盖国内及海外业务的日志可观测中台，总体数据规模超过数PB，日均新增日志写入量达数百TB。系统在P95分位查询场景下的响应时间小于3秒，峰值时刻实现了超过10GB/s的读写吞吐。通过存算分离、高压缩比算法和单副本热缓存等技术手段，MiniMax在优化性能的同时显著降低了建设成本，计算资源用量降低40%，热数据存储用量降低50%，为未来业务的高速发展和技术演进奠定了坚实基础。
SelectDB
559 1
MiniMax GenAI 可观测性分析 ：基于阿里云 SelectDB 构建 PB 级别日志系统
大数据与机器学习

大数据计算 MaxCompute

热门文章

最新文章

  • 1
    大数据环境下该如何优雅地设计数据分层
  • 2
    MaxCompute执行作业慢的原因排查
  • 3
    [大数据新手上路]“零基础”系列课程--如何将ECS上的Hadoop数据迁移到阿里云数加·MaxCompute
  • 4
    美柚与MaxCompute数据同步架构说明
  • 5
    MaxCompute上你从未体验过的数据分析和机器学习过程
  • 6
    【转载文章】记录一次MySQL两千万数据的大表优化解决过程，提供三种解决方案
  • 7
    从单租户IaaS到多租户PaaS——金融级别大数据平台MaxCompute的多租户隔离实践
  • 8
    阿里云大数据利器之-RDS迁移到Maxcompute实现动态分区
  • 9
    阿里云MaxCompute 2019-6月刊
  • 10
    阿里云大数据利器Maxcompute-使用mapjoin优化查询
  • 1
    金融行情系统中，API 接入常见的 5 个工程问题
    165
  • 2
    寻找 AI 全能王——阿里云 Data+AI 工程师全球大奖赛正式开启
    835
  • 3
    网站代码 网站源代码 网页源代码 网页代码网站
    1343
  • 4
    【跨国数仓迁移最佳实践8】MaxCompute Streaming Insert：大数据数据流写业务迁移的实践与突破
    1215
  • 5
    【跨国数仓迁移最佳实践7】基于 MaxCompute 多租的大数据平台架构
    356
  • 6
    ODPS 十五周年实录 | Data + AI，MaxCompute 下一个15年的新增长引擎
    421
  • 7
    【跨国数仓迁移最佳实践6】MaxCompute SQL语法及函数功能增强，10万条SQL转写顺利迁移
    491
  • 8
    诊断设备企业必看！垂直医疗行业的CRM软件有哪些？
    407
  • 9
    MaxCompute 聚簇优化推荐原理
    423
  • 10
    【跨国数仓迁移最佳实践5】MaxCompute近线查询解决方案助力物流电商等实时场景实现高效查询
    314

    • 相关课程

    更多
  • 大数据知识图谱系列—基于ELK+Flink日志全观测最佳实践
  • Quick BI在业务数据分析中的实战应用
  • Python 数据分析库 Pandas 快速入门
  • 深入理解数据分析
  • 场景实践-基于阿里云Quick BI 对MOOC网站日志分析
  • 场景实践-通过阿里云数据分析工具实现共享单车骑行分析

    • 相关电子书

    更多
  • PostgresChina2018_赖思超_PostgreSQL10_hash索引的WAL日志修改版final
  • Kubernetes下日志实时采集、存储与计算实践
  • 日志数据采集与分析对接
    • 下一篇
    狂揽7.5k星！这款开源API网关彻底解放开发者：一键聚合GPT-4、Suno、Midjourney，还能在线充值！