阿里云MaxCompute网站用户访问数据分析从零到实战：完整技术指南-阿里云开发者社区

1. 引言：为什么选择MaxCompute分析网站用户访问数据

网站用户访问数据是互联网企业最核心的数据资产之一。每一笔用户请求都会在服务器日志中留下记录，这些日志蕴含着页面浏览量、独立访客数、用户来源地域、访问终端类型、用户行为路径等丰富信息。通过对这些数据的深度分析，企业可以精准把握用户偏好、优化产品功能、提升转化率，从而实现精细化运营。

然而，网站访问日志的数据量往往非常庞大，一个日均PV百万级的中型网站，一天产生的原始日志就可能达到数十GB。传统的关系型数据库难以承载如此规模的数据存储与计算，而阿里云MaxCompute正是为这种海量数据场景而生的云原生大数据计算服务。MaxCompute支持EB级数据存储、提供标准SQL分析能力、按量付费的弹性计费模式，并且与DataWorks数据开发平台无缝集成，能够一站式完成从数据集成、数据开发到运维调度的全流程工作。

本文将以一个完整的网站用户访问数据分析项目为载体，从零开始讲解如何利用MaxCompute加DataWorks完成数据集成、数仓建模、指标计算、性能优化和可视化展示的全链路操作。无论你是数据开发工程师还是数据分析师，都可以通过本文掌握一套可直接落地的方法论和代码模板。

需要先登录阿里云控制台，点击：阿里云控制台

2. 环境准备与数据集成

2.1 开通MaxCompute与DataWorks

在开始分析之前，首先需要完成MaxCompute和DataWorks的开通与项目创建。MaxCompute是计算引擎，DataWorks是数据开发与运维平台，两者通常配合使用。

开通MaxCompute时，推荐选择华东2（上海）地域，规格类型选择标准计算资源。首次使用可以选用按量付费模式，无需预购资源，用多少付多少。开通后，需要新建MaxCompute项目，建议按照开发和生产环境隔离的标准模式，分别创建两个项目，例如生产环境项目名为workshop_prod，开发环境项目名为workshop_dev。数据类型建议选择2.0数据类型，以获得更丰富的SQL类型支持。

DataWorks方面，需要创建一个标准模式的工作空间（开发与生产环境隔离），并购买Serverless资源组用于数据同步和任务调度。如果是在华东2（上海）地域首次开通DataWorks，系统会默认启用新版数据开发（Data Studio）。

若使用RAM子账号操作，需要主账号前往RAM控制台为子账号授权AliyunDataWorksFullAccess和AliyunBSSOrderAccess权限。

2.2 数据集成：将网站日志同步至MaxCompute

网站访问日志通常以两种形式存在：一种是直接写入日志文件（如Nginx日志），存储在云服务器或对象存储OSS中；另一种是通过日志服务SLS实时采集。无论哪种形式，DataWorks数据集成模块都提供了成熟的同步方案。

场景一：从OSS同步日志文件

如果网站日志以文件形式存储在OSS，可以通过DataWorks的离线同步节点，将OSS中的日志文件同步至MaxCompute的原始日志表。同步时需要注意：源端OSS文件需确认其格式（如CSV、TEXT）和字段分隔符；目标端MaxCompute表建议按日期分区，便于后续按天查询和管理；同步任务可配置为每天定时执行，实现日志的T+1分析。

场景二：从日志服务SLS实时同步

如果网站已接入日志服务SLS，可以通过DataWorks的数据集成节点配置SLS数据源到MaxCompute的实时同步任务，实现日志数据的准实时入仓。

以下是在DataWorks中创建OSS到MaxCompute同步任务的核心配置示例：

-- 创建MaxCompute目标表（ODS层）
CREATE TABLE IF NOT EXISTS ods_raw_log_d (
    log_time STRING COMMENT '日志时间',
    user_id STRING COMMENT '用户ID',
    page_url STRING COMMENT '访问页面URL',
    referer STRING COMMENT '来源页面',
    ip STRING COMMENT '客户端IP',
    user_agent STRING COMMENT '用户代理',
    session_id STRING COMMENT '会话ID',
    event_type STRING COMMENT '事件类型',
    event_params STRING COMMENT '事件参数'
) PARTITIONED BY (dt STRING COMMENT '日期分区yyyyMMdd');

3. 数仓分层设计

为了高效组织和管理网站用户访问数据，需要设计合理的数仓分层架构。本文采用经典的四层数仓模型：ODS（原始数据层）、DWD（明细数据层）、DWS（汇总数据层）和ADS（应用数据层）。

3.1 ODS层：原始数据层

ODS层的作用是保持数据原样，作为数据备份和追溯的依据。不对数据进行任何修改，仅做接入。在MaxCompute中创建与源数据格式对应的表，字段与原始数据保持一致。表名示例：ods_raw_log_d。

ODS层建表语句示例：

CREATE TABLE IF NOT EXISTS ods_raw_log_d (
    log_time STRING COMMENT '日志时间',
    user_id STRING COMMENT '用户ID',
    page_url STRING COMMENT '访问页面URL',
    referer STRING COMMENT '来源页面',
    ip STRING COMMENT '客户端IP',
    user_agent STRING COMMENT '用户代理',
    session_id STRING COMMENT '会话ID',
    event_type STRING COMMENT '事件类型: pageview/click/purchase等',
    event_params STRING COMMENT '事件参数JSON格式'
) PARTITIONED BY (dt STRING COMMENT '日期分区yyyyMMdd');

3.2 DWD层：明细数据层

DWD层对ODS层数据进行清洗、规范化、维度退化，形成一致性的明细事实表。此层是数据质量的关键保障。

主要处理工作包括：过滤无效数据（字段为NULL、时间戳异常等）；时间戳转换为可读的日期格式和小时维度；IP地址解析为地域信息；User-Agent解析为设备类型、操作系统、浏览器等；将维度信息直接拉平到事实表中，减少后续关联。

DWD层建表与数据加工语句示例：

-- 创建DWD明细表
CREATE TABLE IF NOT EXISTS dwd_log_detail_di (
    user_id STRING COMMENT '用户ID',
    session_id STRING COMMENT '会话ID',
    page_url STRING COMMENT '访问页面URL',
    page_domain STRING COMMENT '页面域名',
    referer STRING COMMENT '来源页面',
    referer_domain STRING COMMENT '来源域名',
    ip STRING COMMENT '客户端IP',
    country STRING COMMENT '国家',
    province STRING COMMENT '省份',
    city STRING COMMENT '城市',
    device_type STRING COMMENT '设备类型: PC/Mobile/Tablet',
    os STRING COMMENT '操作系统',
    browser STRING COMMENT '浏览器',
    event_type STRING COMMENT '事件类型',
    event_params STRING COMMENT '事件参数',
    visit_hour INT COMMENT '访问小时',
    visit_date STRING COMMENT '访问日期'
) PARTITIONED BY (dt STRING COMMENT '日期分区yyyyMMdd');
-- ODS到DWD的数据加工
INSERT OVERWRITE TABLE dwd_log_detail_di PARTITION (dt='${bizdate}')
SELECT
    user_id,
    session_id,
    page_url,
    PARSE_URL(page_url, 'HOST') AS page_domain,
    referer,
    PARSE_URL(referer, 'HOST') AS referer_domain,
    ip,
    GET_JSON_OBJECT(ip_info, '$.country') AS country,
    GET_JSON_OBJECT(ip_info, '$.province') AS province,
    GET_JSON_OBJECT(ip_info, '$.city') AS city,
    CASE 
        WHEN user_agent LIKE '%Mobile%' OR user_agent LIKE '%Android%' OR user_agent LIKE '%iPhone%' THEN 'Mobile'
        WHEN user_agent LIKE '%iPad%' THEN 'Tablet'
        ELSE 'PC'
    END AS device_type,
    REGEXP_EXTRACT(user_agent, '\((.*?)\)', 1) AS os,
    REGEXP_EXTRACT(user_agent, 'Chrome/([0-9.]+)|Firefox/([0-9.]+)|Safari/([0-9.]+)', 1) AS browser,
    event_type,
    event_params,
    HOUR(FROM_UNIXTIME(CAST(log_time AS BIGINT))) AS visit_hour,
    DATE_FORMAT(FROM_UNIXTIME(CAST(log_time AS BIGINT)), 'yyyy-MM-dd') AS visit_date
FROM ods_raw_log_d
WHERE dt = '${bizdate}'
    AND user_id IS NOT NULL
    AND user_id != ''
    AND log_time IS NOT NULL;

3.3 DWS层：汇总数据层

DWS层以DWD层为基础，按分析主题进行轻度汇总，形成宽表。此层用于减少重复计算，提高查询效率。

主题划分主要包括：用户行为主题（按用户、日期汇总各类行为的次数）；页面访问主题（按页面、日期汇总访问量）；地域主题（按地域、日期汇总访问量）。

DWS层建表与数据加工语句示例：

-- 创建用户行为日汇总表
CREATE TABLE IF NOT EXISTS dws_user_behavior_daily (
    user_id STRING COMMENT '用户ID',
    pv_count BIGINT COMMENT '页面浏览量',
    click_count BIGINT COMMENT '点击次数',
    purchase_count BIGINT COMMENT '购买次数',
    favorite_count BIGINT COMMENT '收藏次数',
    session_count BIGINT COMMENT '会话数',
    first_visit_time STRING COMMENT '首次访问时间',
    last_visit_time STRING COMMENT '最后访问时间',
    visit_duration BIGINT COMMENT '总访问时长（秒）'
) PARTITIONED BY (dt STRING COMMENT '日期分区yyyyMMdd');
-- DWD到DWS的数据加工
INSERT OVERWRITE TABLE dws_user_behavior_daily PARTITION (dt='${bizdate}')
SELECT
    user_id,
    SUM(CASE WHEN event_type = 'pageview' THEN 1 ELSE 0 END) AS pv_count,
    SUM(CASE WHEN event_type = 'click' THEN 1 ELSE 0 END) AS click_count,
    SUM(CASE WHEN event_type = 'purchase' THEN 1 ELSE 0 END) AS purchase_count,
    SUM(CASE WHEN event_type = 'favorite' THEN 1 ELSE 0 END) AS favorite_count,
    COUNT(DISTINCT session_id) AS session_count,
    MIN(visit_date || ' ' || LPAD(visit_hour, 2, '0') || ':00:00') AS first_visit_time,
    MAX(visit_date || ' ' || LPAD(visit_hour, 2, '0') || ':00:00') AS last_visit_time,
    SUM(COALESCE(CAST(GET_JSON_OBJECT(event_params, '$.duration') AS BIGINT), 0)) AS visit_duration
FROM dwd_log_detail_di
WHERE dt = '${bizdate}'
GROUP BY user_id;

3.4 ADS层：应用数据层

ADS层根据具体业务需求，计算最终指标，直接用于报表输出或数据可视化。产出指标包括每日PV/UV、漏斗转化率、用户留存率、热门页面排名等。

4. 核心分析场景与SQL实现

4.1 PV与UV统计

PV（页面浏览量）和UV（独立访客数）是衡量网站流量的两项最基本指标。用户每打开一个网站页面，记录一个PV，多次打开同一页面PV累计多次。UV是指一天内访问网站的不重复用户数，一天内同一访客多次访问网站只计算一次。

-- 每日PV/UV统计
SELECT
    dt,
    COUNT(*) AS pv,
    COUNT(DISTINCT user_id) AS uv
FROM dwd_log_detail_di
WHERE event_type = 'pageview'
GROUP BY dt
ORDER BY dt;
-- 每小时PV/UV趋势
SELECT
    dt,
    visit_hour,
    COUNT(*) AS pv,
    COUNT(DISTINCT user_id) AS uv
FROM dwd_log_detail_di
WHERE event_type = 'pageview'
GROUP BY dt, visit_hour
ORDER BY dt, visit_hour;

4.2 漏斗转化分析

漏斗模型是通过产品各项数据的转化率来判断产品运营情况的工具。转化漏斗通过各阶段数据的转化，判断产品在哪一个环节出了问题，然后不断优化产品。以电商场景为例，用户购买商品的路径通常包括浏览商品、加入购物车、生成订单、支付订单等环节。

-- 创建漏斗分析结果表
CREATE TABLE IF NOT EXISTS ads_funnel_analysis (
    step_name STRING COMMENT '漏斗步骤名称',
    user_count BIGINT COMMENT '该步骤用户数',
    conversion_rate DOUBLE COMMENT '转化率（相对于上一步）',
    total_conversion_rate DOUBLE COMMENT '总转化率（相对于第一步）'
) PARTITIONED BY (dt STRING COMMENT '日期分区yyyyMMdd');
-- 漏斗分析SQL
INSERT OVERWRITE TABLE ads_funnel_analysis PARTITION (dt='${bizdate}')
WITH step_users AS (
    SELECT
        '浏览' AS step_name,
        COUNT(DISTINCT user_id) AS user_count,
        1 AS step_order
    FROM dwd_log_detail_di
    WHERE dt = '${bizdate}' AND event_type = 'pageview'
    
    UNION ALL
    
    SELECT
        '加购' AS step_name,
        COUNT(DISTINCT user_id) AS user_count,
        2 AS step_order
    FROM dwd_log_detail_di
    WHERE dt = '${bizdate}' AND event_type = 'add_to_cart'
    
    UNION ALL
    
    SELECT
        '下单' AS step_name,
        COUNT(DISTINCT user_id) AS user_count,
        3 AS step_order
    FROM dwd_log_detail_di
    WHERE dt = '${bizdate}' AND event_type = 'create_order'
    
    UNION ALL
    
    SELECT
        '支付' AS step_name,
        COUNT(DISTINCT user_id) AS user_count,
        4 AS step_order
    FROM dwd_log_detail_di
    WHERE dt = '${bizdate}' AND event_type = 'pay'
),
first_step_count AS (
    SELECT user_count AS first_count
    FROM step_users
    WHERE step_order = 1
)
SELECT
    s.step_name,
    s.user_count,
    ROUND(
        s.user_count / LAG(s.user_count, 1, s.user_count) OVER (ORDER BY s.step_order) * 100, 
        2
    ) AS conversion_rate,
    ROUND(s.user_count / f.first_count * 100, 2) AS total_conversion_rate
FROM step_users s
CROSS JOIN first_step_count f
ORDER BY s.step_order;

4.3 用户留存计算

用户留存率是衡量产品用户粘性的核心指标。留存率 = 某日新增用户在后续某日仍然活跃的人数 / 该日新增用户总数。

-- 创建用户留存结果表
CREATE TABLE IF NOT EXISTS ads_user_retention (
    start_dt STRING COMMENT '起始日期',
    retention_day INT COMMENT '留存天数（第N天）',
    retention_rate DOUBLE COMMENT '留存率（%）'
) PARTITIONED BY (dt STRING COMMENT '计算日期');
-- N日留存计算（以7日留存为例）
INSERT OVERWRITE TABLE ads_user_retention PARTITION (dt='${bizdate}')
WITH new_users AS (
    -- 某日新增用户（首次访问的用户）
    SELECT 
        user_id,
        MIN(dt) AS first_dt
    FROM dwd_log_detail_di
    WHERE dt <= '${bizdate}'
    GROUP BY user_id
    HAVING MIN(dt) = '${bizdate}'
),
active_users AS (
    -- 后续各日活跃用户
    SELECT 
        user_id,
        dt AS active_dt
    FROM dwd_log_detail_di
    WHERE dt > '${bizdate}' AND dt <= DATE_ADD('${bizdate}', 7)
    GROUP BY user_id, dt
),
retention_data AS (
    SELECT
        n.first_dt,
        DATEDIFF(a.active_dt, n.first_dt, 'dd') AS retention_day,
        COUNT(DISTINCT a.user_id) AS retained_users,
        (SELECT COUNT(DISTINCT user_id) FROM new_users) AS total_new_users
    FROM new_users n
    LEFT JOIN active_users a ON n.user_id = a.user_id
    GROUP BY n.first_dt, DATEDIFF(a.active_dt, n.first_dt, 'dd')
)
SELECT
    first_dt AS start_dt,
    retention_day,
    ROUND(retained_users / total_new_users * 100, 2) AS retention_rate
FROM retention_data
WHERE retention_day IS NOT NULL
ORDER BY retention_day;

4.4 地域分布分析

通过分析用户的地域分布，可以帮助企业了解不同地区的用户规模和活跃度，为区域化运营和精准营销提供依据。

-- 用户地域分布统计
SELECT
    province,
    city,
    COUNT(DISTINCT user_id) AS uv,
    COUNT(*) AS pv,
    ROUND(COUNT(DISTINCT user_id) / SUM(COUNT(DISTINCT user_id)) OVER() * 100, 2) AS uv_ratio
FROM dwd_log_detail_di
WHERE dt = '${bizdate}'
    AND event_type = 'pageview'
    AND province IS NOT NULL
GROUP BY province, city
ORDER BY uv DESC
LIMIT 20;

4.5 用户行为序列分析

用户行为序列分析可以帮助理解用户在网站上的完整访问路径，发现高频行为模式。MaxCompute的窗口函数支持对用户行为按时间排序，计算前后事件的关系。

-- 用户行为序列（每个用户按时间排序的访问路径）
WITH user_sequence AS (
    SELECT
        user_id,
        session_id,
        event_type,
        page_url,
        visit_date,
        visit_hour,
        ROW_NUMBER() OVER (PARTITION BY user_id, session_id ORDER BY log_time) AS seq_no,
        LAG(event_type, 1) OVER (PARTITION BY user_id, session_id ORDER BY log_time) AS prev_event,
        LEAD(event_type, 1) OVER (PARTITION BY user_id, session_id ORDER BY log_time) AS next_event
    FROM dwd_log_detail_di
    WHERE dt = '${bizdate}'
)
SELECT
    user_id,
    session_id,
    seq_no,
    event_type,
    prev_event,
    next_event,
    page_url
FROM user_sequence
WHERE seq_no <= 10  -- 每个会话取前10个行为
ORDER BY user_id, session_id, seq_no;
-- 行为路径转化分析（从浏览到购买的常见路径）
SELECT
    CONCAT(COALESCE(prev_event, 'START'), ' -> ', event_type) AS path,
    COUNT(*) AS path_count
FROM (
    SELECT
        user_id,
        session_id,
        event_type,
        LAG(event_type, 1) OVER (PARTITION BY user_id, session_id ORDER BY log_time) AS prev_event
    FROM dwd_log_detail_di
    WHERE dt = '${bizdate}'
) t
GROUP BY CONCAT(COALESCE(prev_event, 'START'), ' -> ', event_type)
ORDER BY path_count DESC
LIMIT 20;

4.6 用户画像标签计算

用户画像是基于用户行为数据提炼的用户特征标签集合。常见的用户画像标签包括活跃度、消费能力、偏好品类、访问时段等。

-- 创建用户画像标签表
CREATE TABLE IF NOT EXISTS ads_user_profile (
    user_id STRING COMMENT '用户ID',
    active_level STRING COMMENT '活跃度: 高/中/低',
    preferred_time STRING COMMENT '偏好时段: 早上/下午/晚上/深夜',
    device_preference STRING COMMENT '设备偏好: PC/Mobile/Tablet',
    avg_session_duration DOUBLE COMMENT '平均会话时长（分钟）',
    total_pv BIGINT COMMENT '总浏览量',
    total_purchase BIGINT COMMENT '总购买次数',
    purchase_amount DOUBLE COMMENT '总购买金额'
) PARTITIONED BY (dt STRING COMMENT '日期分区yyyyMMdd');
-- 用户画像标签计算
INSERT OVERWRITE TABLE ads_user_profile PARTITION (dt='${bizdate}')
WITH user_stats AS (
    SELECT
        user_id,
        SUM(CASE WHEN event_type = 'pageview' THEN 1 ELSE 0 END) AS total_pv,
        SUM(CASE WHEN event_type = 'purchase' THEN 1 ELSE 0 END) AS total_purchase,
        SUM(COALESCE(CAST(GET_JSON_OBJECT(event_params, '$.amount') AS DOUBLE), 0)) AS purchase_amount,
        AVG(session_duration) AS avg_session_duration,
        -- 偏好时段：统计各时段的访问次数
        MAX_BY(visit_hour_range, visit_count) AS preferred_time,
        -- 设备偏好
        MAX_BY(device_type, device_count) AS device_preference
    FROM (
        SELECT
            user_id,
            event_type,
            event_params,
            session_id,
            device_type,
            CASE 
                WHEN visit_hour BETWEEN 0 AND 5 THEN '深夜'
                WHEN visit_hour BETWEEN 6 AND 11 THEN '早上'
                WHEN visit_hour BETWEEN 12 AND 17 THEN '下午'
                ELSE '晚上'
            END AS visit_hour_range,
            COUNT(*) OVER (PARTITION BY user_id, visit_hour_range) AS visit_count,
            COUNT(*) OVER (PARTITION BY user_id, device_type) AS device_count,
            -- 会话时长估算
            MAX(log_time) OVER (PARTITION BY user_id, session_id) - MIN(log_time) OVER (PARTITION BY user_id, session_id) AS session_duration
        FROM dwd_log_detail_di
        WHERE dt = '${bizdate}'
    ) t
    GROUP BY user_id
)
SELECT
    user_id,
    CASE 
        WHEN total_pv >= 100 THEN '高'
        WHEN total_pv >= 30 THEN '中'
        ELSE '低'
    END AS active_level,
    preferred_time,
    device_preference,
    ROUND(avg_session_duration / 60, 2) AS avg_session_duration,
    total_pv,
    total_purchase,
    purchase_amount
FROM user_stats;

5. 性能优化最佳实践

5.1 分区设计优化

合理的设计分区是MaxCompute性能优化的基础。对于网站访问日志分析，建议按日期进行分区，每日一个分区。查询时务必指定分区条件，避免全表扫描。

-- 不良实践：未指定分区，全表扫描
SELECT COUNT(*) FROM dwd_log_detail_di WHERE visit_hour = 10;
-- 良好实践：指定分区，只扫描当天数据
SELECT COUNT(*) FROM dwd_log_detail_di 
WHERE dt = '${bizdate}' AND visit_hour = 10;

5.2 数据倾斜调优

数据倾斜是MaxCompute作业运行慢的最常见原因之一。数据倾斜指表中数据分布不均衡，导致部分Worker处理的数据量远大于其他Worker。常见的数据倾斜场景包括GROUP BY、JOIN、COUNT(DISTINCT)等操作。

判断数据倾斜的方法：在MaxCompute控制台通过Logview查看作业详情，在Fuxi Jobs中对运行时间按降序排列，选择运行时间最长的Job Stage，观察各Worker的数据处理量是否均衡。

解决数据倾斜的常用方法：

-- 场景1：GROUP BY数据倾斜，使用随机数打散
-- 原SQL（可能倾斜）
SELECT user_id, COUNT(*) FROM dwd_log_detail_di 
WHERE dt = '${bizdate}' GROUP BY user_id;
-- 优化方案：加随机数打散后二次聚合
WITH t1 AS (
    SELECT 
        CONCAT(user_id, '_', CAST(RAND() * 100 AS INT)) AS salted_user_id,
        user_id
    FROM dwd_log_detail_di
    WHERE dt = '${bizdate}'
),
t2 AS (
    SELECT 
        salted_user_id,
        user_id,
        COUNT(*) AS cnt
    FROM t1
    GROUP BY salted_user_id, user_id
)
SELECT 
    user_id,
    SUM(cnt) AS cnt
FROM t2
GROUP BY user_id;
-- 场景2：JOIN数据倾斜，使用MapJoin优化小表
-- 当一张表很小（< 100MB）时，可以使用MapJoin
SELECT /*+ MAPJOIN(small_table) */
    big_table.user_id,
    small_table.user_name
FROM big_table
JOIN small_table ON big_table.user_id = small_table.user_id
WHERE big_table.dt = '${bizdate}';

5.3 长周期指标优化

计算长周期指标（如近30天活跃用户数）时，如果每次都扫描30天的全量数据，会造成大量重复计算。优化的思路是采用增量计算或预计算的方式。

-- 方案：使用滚动窗口预计算
-- 创建用户活跃状态累积表
CREATE TABLE IF NOT EXISTS dws_user_active_accum (
    user_id STRING COMMENT '用户ID',
    active_days ARRAY<STRING> COMMENT '活跃日期列表'
) PARTITIONED BY (dt STRING COMMENT '截止日期');
-- 每日增量更新
INSERT OVERWRITE TABLE dws_user_active_accum PARTITION (dt='${bizdate}')
SELECT 
    COALESCE(t1.user_id, t2.user_id) AS user_id,
    CASE 
        WHEN t1.user_id IS NOT NULL AND t2.user_id IS NOT NULL 
            THEN ARRAY_DISTINCT(ARRAY_CONCAT(t1.active_days, ARRAY('${bizdate}')))
        WHEN t1.user_id IS NOT NULL 
            THEN ARRAY_CONCAT(t1.active_days, ARRAY('${bizdate}'))
        ELSE ARRAY('${bizdate}')
    END AS active_days
FROM (
    SELECT user_id, active_days 
    FROM dws_user_active_accum 
    WHERE dt = DATE_SUB('${bizdate}', 1)
) t1
FULL OUTER JOIN (
    SELECT DISTINCT user_id 
    FROM dwd_log_detail_di 
    WHERE dt = '${bizdate}'
) t2 ON t1.user_id = t2.user_id;

5.4 计算资源优化

MaxCompute支持按量付费和包年包月两种计费模式。对于网站用户访问数据分析这类周期性任务，建议根据任务的实际计算量选择合适的资源规格。同时，可以通过设置合理的并发度和资源配额来控制计算成本。

6. DataWorks调度与运维

6.1 任务调度配置

在DataWorks中，可以将数据集成、ODS到DWD、DWD到DWS、DWS到ADS等各层加工任务配置为周期调度的节点，通过设置依赖关系形成完整的工作流。

调度配置的关键点包括：设置调度周期为每天一次；配置调度参数，使用${bizdate}代表业务日期；设置节点依赖，确保上游节点完成后再执行下游节点；配置失败重试策略和报警规则。

DataWorks提供调度参数，可实现调度场景下将每日增量数据写入目标表对应业务分区。例如，在SQL节点中引用${bizdate}参数，系统会在调度运行时自动替换为前一天的日期。

6.2 数据质量监控

数据质量是数据分析的基石。在DataWorks中可以为每张表配置数据质量监控规则，提前识别脏数据并进行拦截，避免脏数据影响扩大。

常用的数据质量监控规则包括：表行数波动检测（防止数据丢失或重复）；主键唯一性校验；字段空值率检测；业务指标阈值校验（如PV/UV环比变化超过阈值时报警）。

-- 数据质量检查示例：检查当天PV是否异常
SELECT 
    COUNT(*) AS pv_today,
    LAG(COUNT(*), 1) OVER (ORDER BY dt) AS pv_yesterday
FROM dwd_log_detail_di
WHERE dt IN ('${bizdate}', DATE_SUB('${bizdate}', 1))
    AND event_type = 'pageview'
GROUP BY dt;
-- 如果pv_today与pv_yesterday的比值超出[0.5, 2]范围，则触发报警

6.3 Quick BI可视化展示

分析完成后，可以使用Quick BI将MaxCompute中的ADS层数据进行可视化展现，便于快速提取关键信息，洞察数据背后的业务趋势。

Quick BI连接MaxCompute的步骤：在Quick BI中新建数据源，选择MaxCompute类型，填写项目名称、AccessKey等信息；创建数据集，选择需要可视化的ADS层表；创建仪表板，拖拽字段生成各类图表（如折线图展示PV/UV趋势、漏斗图展示转化率、地图展示地域分布等）。

7. 总结

本文系统讲解了如何利用阿里云MaxCompute对网站用户访问数据进行全链路分析。从环境准备、数据集成、四层数仓建模，到PV/UV统计、漏斗转化分析、用户留存计算、地域分布分析、用户行为序列分析和用户画像标签计算等核心分析场景，均提供了可直接运行的SQL代码。同时，文章还涵盖了数据倾斜调优、分区设计、长周期指标优化等性能最佳实践，以及DataWorks调度配置、数据质量监控和Quick BI可视化展示的完整操作路径。

通过本文的学习，数据开发工程师和数据分析师可以快速搭建一套完整的网站用户行为分析平台，实现从数据采集到洞察输出的全链路闭环，为精细化运营和业务决策提供有力的数据支撑。

常见问题解答

问1：MaxCompute和DataWorks是什么关系？

MaxCompute是阿里云的大数据计算引擎，负责海量数据的存储和SQL计算；DataWorks是数据开发与运维平台，提供可视化的数据集成、任务开发、调度运维等功能。两者通常配合使用，DataWorks作为开发界面，MaxCompute作为计算引擎。

问2：网站日志数据如何同步到MaxCompute？

网站日志可以通过两种方式同步到MaxCompute：如果日志存储在OSS，使用DataWorks的离线同步节点配置OSS到MaxCompute的同步任务；如果已接入日志服务SLS，可以通过DataWorks配置SLS到MaxCompute的实时同步任务。

问3：数仓为什么要分层？

数仓分层（ODS-DWD-DWS-ADS）的核心目的是实现数据解耦、提升复用性、保障数据质量。ODS层保留原始数据，DWD层完成数据清洗和标准化，DWS层进行轻度汇总减少重复计算，ADS层直接面向业务输出最终指标。分层后，每一层职责清晰，便于维护和扩展。

问4：MaxCompute中如何计算漏斗转化率？

漏斗转化率的计算思路是：先分别统计每个步骤的去重用户数，然后用当前步骤用户数除以上一步骤用户数得到转化率，用当前步骤用户数除以第一步用户数得到总转化率。文中提供了完整的SQL实现代码，支持自定义漏斗步骤。

问5：MaxCompute作业运行慢怎么办？

作业运行慢的常见原因是数据倾斜。可以通过MaxCompute控制台的Logview查看作业详情，在Fuxi Jobs中按运行时间排序，定位运行最慢的Stage，观察各Worker的数据处理量是否均衡。常见的优化方法包括：GROUP BY时加随机数打散后二次聚合、小表使用MapJoin、合理设计分区减少扫描数据量等。

问6：网站用户访问数据分析的整体流程是什么？

整体流程包括：开通MaxCompute和DataWorks服务并创建项目；通过数据集成将网站日志同步到MaxCompute的ODS表；通过SQL加工将数据从ODS层逐层加工到DWD、DWS、ADS层；基于ADS层计算PV/UV、漏斗转化、用户留存等核心指标；配置DataWorks调度实现每日自动更新；通过Quick BI进行可视化展示。

阿里云MaxCompute网站用户访问数据分析从零到实战：完整技术指南

1. 引言：为什么选择MaxCompute分析网站用户访问数据

2. 环境准备与数据集成

2.1 开通MaxCompute与DataWorks

2.2 数据集成：将网站日志同步至MaxCompute

3. 数仓分层设计

3.1 ODS层：原始数据层

3.2 DWD层：明细数据层

3.3 DWS层：汇总数据层

3.4 ADS层：应用数据层

4. 核心分析场景与SQL实现

4.1 PV与UV统计

4.2 漏斗转化分析

4.3 用户留存计算

4.4 地域分布分析

4.5 用户行为序列分析

4.6 用户画像标签计算

5. 性能优化最佳实践

5.1 分区设计优化

5.2 数据倾斜调优

5.3 长周期指标优化

5.4 计算资源优化

6. DataWorks调度与运维

6.1 任务调度配置

6.2 数据质量监控

6.3 Quick BI可视化展示

7. 总结

常见问题解答

热门文章

最新文章

相关电子书

探索云世界

热门

云计算

大数据

云原生

人工智能

数据库

开发与运维

活动广场

任务中心

训练营

直播

乘风者计划

下载

镜像站

技术资料

阿里云MaxCompute网站用户访问数据分析从零到实战：完整技术指南

1. 引言：为什么选择MaxCompute分析网站用户访问数据

2. 环境准备与数据集成

2.1 开通MaxCompute与DataWorks

2.2 数据集成：将网站日志同步至MaxCompute

3. 数仓分层设计

3.1 ODS层：原始数据层

3.2 DWD层：明细数据层

3.3 DWS层：汇总数据层

3.4 ADS层：应用数据层

4. 核心分析场景与SQL实现

4.1 PV与UV统计

4.2 漏斗转化分析

4.3 用户留存计算

4.4 地域分布分析

4.5 用户行为序列分析

4.6 用户画像标签计算

5. 性能优化最佳实践

5.1 分区设计优化

5.2 数据倾斜调优

5.3 长周期指标优化

5.4 计算资源优化

6. DataWorks调度与运维

6.1 任务调度配置

6.2 数据质量监控

6.3 Quick BI可视化展示

7. 总结

常见问题解答

热门文章

最新文章

相关电子书