AI 助理
备案控制台
开发者社区 大数据与机器学习 大数据计算 MaxCompute 文章 正文

云数据，大计算—海量日志数据分析与应用

2016-10-21 6946
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
云原生大数据计算服务 MaxCompute，5000CU*H 100GB 3个月
云原生大数据计算服务MaxCompute，500CU*H 100GB 3个月
简介： 网站日志分析是大数据应用场景中非常常见的一种，今天我们通过实例对网站日志数据进行分析，从日志采集——>日志数据清洗、加工做画像分析——>BI报表展现，更进一步，通过社交数据分析做好友推荐 ，对整个全链路过程做实验操作演练，希望能给大家提供一些帮助。

课程介绍 

         网站日志分析是大数据应用场景中非常常见的一种，今天我们通过实例对网站日志数据进行分析，从日志采集——>日志数据清洗、加工做画像分析——>BI报表展现，更进一步，通过社交数据分析做好友推荐 ，对整个全链路过程做实验操作演练，希望能给大家提供一些帮助。


准备工作

        杭州TI专场，workshop现场是在云中沙箱账号环境进行的实验操作，若您想在自己的项目中进行演练，请准备好如下事项：
        1、 购买MaxCompute
        3、 进入数据开发界面

课程内容

        3、 数据加工：用户画像

        4、数据分析展现：可视化报表及嵌入应用

        5、社交数据分析：好友推荐


文章标签：
日志服务
大数据
数据挖掘
BI
关键词：
数据分析应用
云数据应用
日志服务分析
日志服务应用
数据分析数据
相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
jing.luojing
目录
相关文章
warmhearted
|
10天前
|
存储 SQL 监控
Elasticsearch 在日志分析中的应用聚合分析
【10月更文挑战第23天】
warmhearted
32 8
warmhearted
|
10天前
|
运维 监控 安全
Elasticsearch 在日志分析中的应用实时分析
【10月更文挑战第23天】
warmhearted
32 6
sunrr
|
13天前
|
监控 关系型数据库 MySQL
分析慢查询日志
【10月更文挑战第29天】分析慢查询日志
sunrr
34 3
sunrr
|
13天前
|
监控 关系型数据库 数据库
怎样分析慢查询日志？
【10月更文挑战第29天】怎样分析慢查询日志？
sunrr
32 2
绿水长流*z
|
1月前
|
存储 缓存 关系型数据库
MySQL事务日志-Redo Log工作原理分析
事务的隔离性和原子性分别通过锁和事务日志实现，而持久性则依赖于事务日志中的`Redo Log`。在MySQL中，`Redo Log`确保已提交事务的数据能持久保存，即使系统崩溃也能通过重做日志恢复数据。其工作原理是记录数据在内存中的更改，待事务提交时写入磁盘。此外，`Redo Log`采用简单的物理日志格式和高效的顺序IO，确保快速提交。通过不同的落盘策略，可在性能和安全性之间做出权衡。
绿水长流*z
1625 14
武子康
|
1月前
|
存储 消息中间件 大数据
大数据-69 Kafka 高级特性 物理存储 实机查看分析 日志存储一篇详解
大数据-69 Kafka 高级特性 物理存储 实机查看分析 日志存储一篇详解
武子康
35 4
武子康
|
1月前
|
SQL 分布式计算 Hadoop
Hadoop-19 Flume Agent批量采集数据到HDFS集群 监听Hive的日志 操作则把记录写入到HDFS 方便后续分析
Hadoop-19 Flume Agent批量采集数据到HDFS集群 监听Hive的日志 操作则把记录写入到HDFS 方便后续分析
武子康
43 2
八百标兵奔北坡
|
2月前
|
缓存 监控 算法
分析慢日志文件来优化 PHP 脚本的性能
分析慢日志文件来优化 PHP 脚本的性能
八百标兵奔北坡
80 1
游客qeoynko2nmbgk
|
2月前
08-06-06>pe_xscan 精简log分析代码 速度提升一倍
08-06-06>pe_xscan 精简log分析代码 速度提升一倍
游客qeoynko2nmbgk
18 0
qhhf_地道酬勤
|
3月前
|
存储 消息中间件 监控
Java日志详解：日志级别，优先级、配置文件、常见日志管理系统ELK、日志收集分析
Java日志详解：日志级别，优先级、配置文件、常见日志管理系统、日志收集分析。日志级别从小到大的关系（优先级从低到高）： ALL < TRACE < DEBUG < INFO < WARN < ERROR < FATAL < OFF 低级别的会输出高级别的信息，高级别的不会输出低级别的信息
qhhf_地道酬勤
115 0
大数据与机器学习

大数据计算 MaxCompute

热门文章

最新文章

  • 1
    odps是什么?
  • 2
    MaxCompute执行作业慢的原因排查
  • 3
    2017杭州云栖大会FAQ（持续更新中）
  • 4
    品《阿里巴巴大数据实践-大数据之路》一书(下)
  • 5
    Mars——基于张量的统一分布式计算框架
  • 6
    从未停止进化的MaxCompute
  • 7
    阿里云大数据利器Maxcompute学习之--窗口函数实现分组TopN
  • 8
    走进阿里云：做云数据、大计算的No.1
  • 9
    一文快速了解MaxCompute
  • 10
    可靠、安全、易用，阿里云数加大数据平台首批通过国家大数据标准检测
  • 1
    【赵渝强老师】Spark SQL的数据模型：DataFrame
    23
  • 2
    【赵渝强老师】Spark生态圈组件
    25
  • 3
    青否数字人声音克隆算法升级，16个超真实直播声音模型免费送！
    44
  • 4
    PHP 弱类型变量的实现原理
    40
  • 5
    阿里云与传智教育联合直播：深度解析MaxFrame，探索量化交易新纪元
    199
  • 6
    CDGA|信息差不再是障碍：数据治理新策略
    77
  • 7
    云栖实录 | MaxCompute 迈向下一代的智能云数仓
    250
  • 8
    OceanBase CTO杨传辉谈AI时代下数据库技术的创新演进路径！
    82
  • 9
    MaxCompute 分布式计算框架 MaxFrame 服务正式商业化公告
    83
  • 10
    使用静态IP时出现“代理检测失败”的原因是什么？
    127

    • 相关课程

    更多
  • 大数据知识图谱系列—基于ELK+Flink日志全观测最佳实践
  • Quick BI在业务数据分析中的实战应用
  • Python 数据分析库 Pandas 快速入门
  • 深入理解数据分析
  • 场景实践-基于阿里云Quick BI 对MOOC网站日志分析
  • 场景实践-通过阿里云数据分析工具实现共享单车骑行分析

    • 相关电子书

    更多
  • PostgresChina2018_赖思超_PostgreSQL10_hash索引的WAL日志修改版final
  • Kubernetes下日志实时采集、存储与计算实践
  • 日志数据采集与分析对接

    • 相关实验场景

    更多
  • 自然语言入门：NLP数据读取与数据分析
  • 通过日志服务实现云资源OSS的安全审计
  • 如何将OSS数据导入至SLS中进行分析
  • 日志服务之使用Nginx模式采集日志
  • 库仓一体实时数据分析
  • 助力游戏运营数据分析
    • 下一篇
    阿里云OSS设置跨域访问