大厂经验(二):多端可视化埋点解决方案

简介: 超过10年互联网行业技术工作经验总结

前言:更多关于数智化转型、数据中台内容可扫码加群一起探讨
668d7f5941782665ed1f41529db3eb677f4b9379.png
阿里云数据中台官网 https://dp.alibaba.com/index


(作者:qingliang_hu)
关联阅读:大厂经验(一):一套 Web 自动曝光埋点技术方案

团队经过一年探索,已经实现了多终端可视化埋点方案,包含 Web / App / 小程序等终端,基本操作流程就是将原运行在终端的应用,映射到PC浏览器上,通过浏览器做配置埋点,相较于H5,App终端因技术栈及访问环境等条件不同,在界面投屏及元素识别上有一定的难度,下面分享我们实现的像素识别方案。

埋点,简单说就是对指定位置埋上指定的值,以便监控到该位置是否做了点击、曝光、跳转等操作,从而得到数据以做分析使用。

该数据通常被PD、运营等同学使用,但埋点却由编码的开发同学完成,且埋点的值还会不定时的更新,增加开发人员工作。

以此为诉求,团队着手实现可视化埋点方案,可视化埋点核心在于 如何以平台的形式不经开发人员来对页面埋点,比如由制定埋点规划、使用埋点数据的PD人员来操作。

可视化埋点 从使用终端及技术栈上可划分为两类,native和web,而weex、小程序则两端都覆盖
image.png

开发完全不参与,当然是非常理想,实际上难以操作。简单来说做埋点管理的平台通常是在web端,而PD很难通过web平台来操作native app的页面元素。相比之下web端的埋点可视化因终端及技术的一致性,我们已经实现。

退而求其次,由开发人员在代码中标明需要埋点的位置,由PD来配置、更新需埋点的值,也可以很大程度上减少开发人员工作,提升工作效率,我们就以这种思路来实际App可视化埋点。

下面主要分享下,如何在PC平台对App实现可视化埋点解析,实际的实现行为更复杂,这里精要讲下思路、流程。

方案

web端的可视化埋点,用户可以通过js实现对html操作,从而直接在PC上对web页面做元素的圈选、分析。

而web不具备操作native的能力,通过埋点规范、Native截屏、解析约定等,共同实现了一套完整的方案。

首先Native开发人员做硬编码向需要埋点的元素定义id,native接入sdk,以识别此类元素,截应用图,并将图元素绘制在对应位置,保存为RGB色值的png图像,如下图。
image.png

上图中带黑色边框的蓝色正方形的区块,标明了需要埋点的元素及ID都隐藏这个区块里。

我们放大该区块
image.png

可以看到黑框内的左上角,有一些彩色像素,这些像素就是用来标识埋点元素的位置及id。

web端的工作重点就是解析这张图片的Data。

web端下载该图并得到其像素数据

const canvas = document.canvas;
const ctx = canvas.getContext('2d');

const img = new Image();
img.setAttribute("crossOrigin", "anonymous");
img.crossOrigin = "Anonymous"
img.src = src;
img.onload = function() {
ctx.drawImage(img, 0, 0);
let imageData = ctx.getImageData(0, 0, this.width, this.height); // imageData即 该图片的所有像素点
}

得到所有像素点,如

[255, 144, 0, 255, 255, 144, 0, 255, 255, 144, 0, 255, 255,...]

我们知道,一个像素点,由四个值组成,分别为RGBA,如第一个像素点

  • 255 - R
  • 144 - G
  • 0 - B
  • 255 - A

通过这套数据,四个一组 来筛选找到 web与native 约定好的起始点(即 [97, 117, 116, 255, 111, 116, 114, 255, 97, 99, 107, 255]) ,找到后,再取5656px的区块,且该区块外有 22px的黑色边框,符合这个条件的,即是双方约定标识的有效区域,如下图示意
image.png

比如我们在第10000个像素找到了符合条件的区块,经过简单计算我们可以得到每个像素在图片上的位置

const pi = 10000; //如对第10000个像素点

const width = 1000; //该图片的宽度为1000
const pos = {
height: pi*width,
width: parseInt(i / width, 10)
}

得到有效区域后,再分析该区域像素数据,可以得出,如下像素值

[

97, 117, 116, 255, #起始标识 a,u,t
111, 116, 114, 255, #起始标识 o,t,r
97, 99, 107, 255, #起始标识 a,c,k
0, 0, 27, 255, #id 长度 27
97, 50, 49, 255, #id值 a,2,1
52, 49, 46, 255, #id值 4,1,.
49, 46, 115, 255, #id值 1,.,s
101, 97, 114, 255, #id值 e,a,r
99, 104, 98, 255, #id值 c,h,b
97, 114, 46, 255, #id值 a,r,.
115, 101, 97, 255, #id值 s,e,a
114, 99, 104, 255, #id值 r,c,h
98, 111, 120, 255, #id值 b,o,x 0, 0,
255, 255, 0, 0,
255, 255, 0, 0,
255, 255, 0, 0,
255, 255, 0, 0,
255, 255, 0, 0,
255 ...
]

前三个像素表起始标识,

第四个像素表id的长度值,即27个字符,

据这个长度读取后面的字符

并将每个像素点除第四位外的其它值解析成asc码

String.fromCharCode(97)//=> aString.fromCharCode(117)//=> u

image.png

我们即可得出其表示的数据含义

前三个像素的表起始标识,解析为 autotrack,

据第四像素指定长度(27)字符,解析后面的code为 a2141.1.searchbar.searchbox。

再显示到图像上,效果如下
image.png

为显示友好对 "a2141.1.searchbar.searchbox",只显示了最后一段。

这样我们即得到了该元素的位置,又得到了其id。

监听用户在该图上的点击操作,即可轻松选中埋点区域并得到其id,为该id绑定配置需要的参数值。生成配置文档并打包到该App中,通过sdk解析该份配置,通过id将配置与页面元素对应上,就大功告成!!

原文链接>>


数据中台是企业数智化的新基建,阿里巴巴认为数据中台是集方法论、工具、组织于一体的,“快”、“准”、“全”、“统”、“通”的智能大数据体系。目前正通过阿里云数据中台解决方案对外输出,包括零售金融互联网政务等领域,其中核心产品有:

官方站点:
数据中台官网 https://dp.alibaba.com
数据中台钉钉群二维码2.jpg


相关实践学习
AnalyticDB PostgreSQL 企业智能数据中台:一站式管理数据服务资产
企业在数据仓库之上可构建丰富的数据服务用以支持数据应用及业务场景;ADB PG推出全新企业智能数据平台,用以帮助用户一站式的管理企业数据服务资产,包括创建, 管理,探索, 监控等; 助力企业在现有平台之上快速构建起数据服务资产体系
相关文章
|
SQL 存储 数据采集
数据中台建设方法论
数据中台建设方法论
|
移动开发 缓存 JavaScript
2021最新阿里代码规范(前端篇)
2021最新阿里代码规范(前端篇)
58168 11
2021最新阿里代码规范(前端篇)
|
3月前
|
存储 搜索推荐 前端开发
如何快速低成本自建埋点系统?基于ClkLog的开源解决方案
ClkLog是一款可私有化部署的开源用户行为数据分析系统,支持 Web、App、小程序、鸿蒙 OS 等端的事件埋点采集,内置多种主流分析模型,帮助团队快速搭建自有埋点分析平台,实现访问统计、事件分析、用户画像等能力。本文将带你了解,如何用开源方案ClkLog自建一套完整的埋点分析系统。
|
1月前
|
数据采集 缓存 NoSQL
天眼查 item_get - 获取企业详情接口对接全攻略:从入门到精通
天眼查item_get接口(baseinfoV2)通过企业名称、信用代码等关键字,获取企业工商信息、联系方式、经营状态及变更记录等结构化数据,广泛应用于征信、风控、供应商管理。接口基于HTTPS+Token认证,数据源自权威渠道,字段完整、更新实时。本指南涵盖权限申请、Python对接、调试排错与生产优化,提供全链路实操支持,助力企业高效稳定集成。
|
Kubernetes 测试技术 数据库
详解微服务应用灰度发布最佳实践
相对于传统软件研发,微服务架构下典型的需求交付最大的区别在于有了能够小范围真实验证的机制,且交付单位较小,风险可控,灰度发布可以弥补线下测试的不足。本文从 DevOps 视角概述灰度发布实践,介绍如何将灰度发布与 DevOps 工作融合,快来了解吧~
33682 19
|
11月前
|
数据采集 存储 搜索推荐
从零开始搭建埋点采集体系:轻松解锁用户行为分析
埋点技术因其高精度和定制化能力,成为许多公司的首选方式。然而,有些公司在埋点采集时,将其视为开发过程中的“附加任务”,让研发人员在开发过程中顺带加上一些埋点,而没有完整的规划和验证。这往往导致数据分析的效果不尽如人意。为了避免这种情况,我们需要将数据采集提升到项目级别,进行系统化的规划和实施。
从零开始搭建埋点采集体系:轻松解锁用户行为分析
|
消息中间件 搜索推荐 小程序
开源埋点用户行为分析方案-ClickLog埋点(ClkLog)
ClkLog 是一款记录用户行为分析和画像的免费可商用开源软件,技术人员可快速搭建私有的应用系统。项目基于神策分析SDK,采用ClickHouse数据库对采集数据进行存储,采用前后端分离的方式来实现的访问统计和用户画像分析系统。在这里,你可以轻松看到用户访问网页、APP、小程序或业务系统的行为轨迹,同时也可以从时间、地域、渠道、用户访客类型等多维度了解用户的全方位信息,完美助力大数据用户画像、实时归因/离线归因分析、漏斗分析、大数据推荐场景。
2136 2
开源埋点用户行为分析方案-ClickLog埋点(ClkLog)
|
Shell Serverless
makefile 函数全解
makefile 函数全解
942 0
makefile 函数全解
|
XML 监控 前端开发
WebTracing:如何使用一款SDK实现前端全链路监控
WebTracing:如何使用一款SDK实现前端全链路监控
1358 1
|
消息中间件 数据采集 移动开发
数仓建模—埋点设计与管理
开始之前我们先看一下我们为什么要收集埋点数据,埋点都可以做什么,埋点主要用于记录用户行为,几乎是应用必不可少的功能.埋点的作用包括但不限于
1495 0
数仓建模—埋点设计与管理