AI 助理
文档备案控制台
开发者社区 大数据与机器学习 大数据计算 MaxCompute 文章 正文

云数据，大计算—海量日志数据分析与应用

2016-10-21 7202
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： 网站日志分析是大数据应用场景中非常常见的一种，今天我们通过实例对网站日志数据进行分析，从日志采集——>日志数据清洗、加工做画像分析——>BI报表展现，更进一步，通过社交数据分析做好友推荐 ，对整个全链路过程做实验操作演练，希望能给大家提供一些帮助。

课程介绍 

         网站日志分析是大数据应用场景中非常常见的一种，今天我们通过实例对网站日志数据进行分析，从日志采集——>日志数据清洗、加工做画像分析——>BI报表展现，更进一步，通过社交数据分析做好友推荐 ，对整个全链路过程做实验操作演练，希望能给大家提供一些帮助。


准备工作

        杭州TI专场，workshop现场是在云中沙箱账号环境进行的实验操作，若您想在自己的项目中进行演练，请准备好如下事项：
        1、 购买MaxCompute
        3、 进入数据开发界面

课程内容

        3、 数据加工：用户画像

        4、数据分析展现：可视化报表及嵌入应用

        5、社交数据分析：好友推荐


文章标签：
云原生大数据计算服务 MaxCompute
日志服务
大数据
数据挖掘
BI
关键词：
日志服务应用
日志服务分析
数据分析数据
数据分析应用
云数据应用
相关实践学习
基于MaxCompute的热门话题分析
Apsara Clouder大数据专项技能认证配套课程：基于MaxCompute的热门话题分析
jing.luojing
目录
相关文章
阿里云开发者
|
10月前
|
存储 关系型数据库 数据库
附部署代码｜云数据库RDS 全托管 Supabase服务：小白轻松搞定开发AI应用
本文通过一个 Agentic RAG 应用的完整构建流程，展示了如何借助 RDS Supabase 快速搭建具备知识处理与智能决策能力的 AI 应用，展示从数据准备到应用部署的全流程，相较于传统开发模式效率大幅提升。
阿里云开发者
3652 4
附部署代码｜云数据库RDS 全托管 Supabase服务：小白轻松搞定开发AI应用
兵临天下19970108016
|
10月前
|
数据采集 数据可视化 数据挖掘
用 Excel+Power Query 做电商数据分析：从 “每天加班整理数据” 到 “一键生成报表” 的配置教程
在电商运营中，数据是增长的关键驱动力。然而，传统的手工数据处理方式效率低下，耗费大量时间且易出错。本文介绍如何利用 Excel 中的 Power Query 工具，自动化完成电商数据的采集、清洗与分析，大幅提升数据处理效率。通过某美妆电商的实战案例，详细拆解从多平台数据整合到可视化报表生成的全流程，帮助电商从业者摆脱繁琐操作，聚焦业务增长，实现数据驱动的高效运营。
兵临天下19970108016
1679 0
DatabaseEvangelist
|
存储 运维 监控
SelectDB 实现日志高效存储与实时分析，完成任务可领取积分、餐具套装/水杯/帆布包！
SelectDB 实现日志高效存储与实时分析，完成任务可领取积分、餐具套装/水杯/帆布包！
DatabaseEvangelist
392 9
运维有小邓
|
8月前
|
监控 安全 搜索推荐
使用EventLog Analyzer进行日志取证分析
EventLog Analyzer助力企业通过集中采集、归档与分析系统日志及syslog，快速构建“数字犯罪现场”，精准追溯安全事件根源。其强大搜索功能可秒级定位入侵时间、人员与路径，生成合规与取证报表，确保日志安全防篡改，大幅提升调查效率，为执法提供有力证据支持。
运维有小邓
303 0
阿里云云原生
|
SQL 监控 数据挖掘
SLS 重磅升级：超大规模数据实现完全精确分析
SLS 全新推出的「SQL 完全精确」模式，通过“限”与“换”的策略切换，在快速分析与精确计算之间实现平衡，满足用户对于超大数据规模分析结果精确的刚性需求。标志着其在超大规模日志数据分析领域再次迈出了重要的一步。
阿里云云原生
886 118
游客7wkr3y7oxyt7a
|
9月前
|
SQL 数据挖掘 BI
数据分析的尽头，是跳出数据看数据！
当前许多企业在数据分析上投入大量资源，却常陷入“数据越看越细，业务越看越虚”的困境。报表繁杂、指标众多，但决策难、行动少，分析流于形式。真正有价值的数据分析，不在于图表多漂亮，而在于能否带来洞察、推动决策、指导行动。本文探讨如何跳出数据、回归业务场景，实现数据驱动的有效落地。
游客7wkr3y7oxyt7a
235 0
青云@yd
|
10月前
|
监控 安全 NoSQL
【DevOps】Logstash详解：高效日志管理与分析工具
Logstash是ELK Stack核心组件之一，具备强大的日志收集、处理与转发能力。它支持多种数据来源，提供灵活的过滤、转换机制，并可通过插件扩展功能，广泛应用于系统日志分析、性能优化及安全合规等领域，是现代日志管理的关键工具。
青云@yd
1445 0
modelscope
|
12月前
|
自然语言处理 监控 安全
阿里云发布可观测MCP！支持自然语言查询和分析多模态日志
阿里云可观测官方发布了Observable MCP Server，提供了一系列访问阿里云可观测各产品的工具能力，包含阿里云日志服务SLS、阿里云应用实时监控服务ARMS等，支持用户通过自然语言形式查询
modelscope
1725 0
阿里云发布可观测MCP！支持自然语言查询和分析多模态日志
SelectDB
|
存储 消息中间件 缓存
MiniMax GenAI 可观测性分析 ：基于阿里云 SelectDB 构建 PB 级别日志系统
基于阿里云SelectDB，MiniMax构建了覆盖国内及海外业务的日志可观测中台，总体数据规模超过数PB，日均新增日志写入量达数百TB。系统在P95分位查询场景下的响应时间小于3秒，峰值时刻实现了超过10GB/s的读写吞吐。通过存算分离、高压缩比算法和单副本热缓存等技术手段，MiniMax在优化性能的同时显著降低了建设成本，计算资源用量降低40%，热数据存储用量降低50%，为未来业务的高速发展和技术演进奠定了坚实基础。
SelectDB
625 1
MiniMax GenAI 可观测性分析 ：基于阿里云 SelectDB 构建 PB 级别日志系统
大数据与机器学习

大数据计算 MaxCompute

热门文章

最新文章

  • 1
    odps是什么?
  • 2
    MaxCompute执行作业慢的原因排查
  • 3
    阿里云MaxCompute（大数据）公开数据集---带你玩转人工智能
  • 4
    吴刚专访--大数据和 MaxCompute 技术和故事
  • 5
    2017杭州云栖大会FAQ（持续更新中）
  • 6
    Python+大数据计算平台，PyODPS架构手把手教你搭建
  • 7
    [大数据新手上路]“零基础”系列课程--如何将ECS上的Hadoop数据迁移到阿里云数加·MaxCompute
  • 8
    干货：解码OneData，阿里的数仓之路。
  • 9
    阿里云MaxCompute 2019-5月刊
  • 10
    ［ETL实践指南］基于Kettle的MaxCompute插件实现数据上云
  • 1
    #Nginx教程 Nginx作为目前最流行的高性能Web服务器和反向代理服务器，凭借其高并发、低内存消耗的特点，被广泛应用于各类生产环境。本文将从零开始，带你快速掌握Nginx的核心配置与实战技巧。
    270
  • 2
    金融行情系统中，API 接入常见的 5 个工程问题
    225
  • 3
    寻找 AI 全能王——阿里云 Data+AI 工程师全球大奖赛正式开启
    1120
  • 4
    网站代码 网站源代码 网页源代码 网页代码网站
    1686
  • 5
    【跨国数仓迁移最佳实践8】MaxCompute Streaming Insert：大数据数据流写业务迁移的实践与突破
    1598
  • 6
    【跨国数仓迁移最佳实践7】基于 MaxCompute 多租的大数据平台架构
    406
  • 7
    ODPS 十五周年实录 | Data + AI，MaxCompute 下一个15年的新增长引擎
    524
  • 8
    【跨国数仓迁移最佳实践6】MaxCompute SQL语法及函数功能增强，10万条SQL转写顺利迁移
    602
  • 9
    诊断设备企业必看！垂直医疗行业的CRM软件有哪些？
    447
  • 10
    MaxCompute 聚簇优化推荐原理
    470

    • 相关课程

    更多
  • 大数据知识图谱系列—基于ELK+Flink日志全观测最佳实践
  • Quick BI在业务数据分析中的实战应用
  • Python 数据分析库 Pandas 快速入门
  • 深入理解数据分析
  • 场景实践-基于阿里云Quick BI 对MOOC网站日志分析
  • 场景实践-通过阿里云数据分析工具实现共享单车骑行分析

    • 相关电子书

    更多
  • PostgresChina2018_赖思超_PostgreSQL10_hash索引的WAL日志修改版final
  • Kubernetes下日志实时采集、存储与计算实践
  • 日志数据采集与分析对接
    • 下一篇
    阿里云Agent安全中心领跑IDC 2026智能体威胁检测技术评估