浅谈「DataFlux」移动设备数据采集

简介:

DataFlux是上海驻云自研发的一套大数据统一分析平台,可以通过对任何来源、类型、规模的实时数据进行监控、分析和处理,释放数据价值

DataFlux 作为实时大数据分析平台,支持移动设备数据的收集,是其中非常重要的功能。短期规划,我们的目标是聚焦用户行为分析。下面就用户行为分析这一块展开,从系统设计、原理实现、后期展望来说说 Dataflux 移动设备的收集。

系统设计

移动端的数据采集,通过集成方在应用中集成我们的 SDK 来实现。具体实现如下图:
image

DataFlux 所有的系统设计都本着一个概念叫旁路,这里摘录一段百度百科的解释:

ByPass Mode(略过模式或旁路模式),泛指在一个系统的正常流程中,有一堆检核机制,而“ByPass Mode”就是当检核机制发生异常,无法在短期间内排除时,使系统作业能绕过这些检核机制,使系统能够继续运行的作业模式。

回到 SDK 的设计,我们引入了程序设计 AOP (Aspect-oriented programming 面线切面的程序设计)的概念,我就这里就不对 AOP 做赘述,相对应原理讲解网上有很多,简单来说集成方只需要进行简单的 SDK 启动配置之后,不需要将我们 SDK的夹杂应用的业务代码,换一种说法,这个就是全埋点。
image

好处是不要进行埋点的重复工作,另外因为没有和业务代码中添加代码,降低了代码耦合,在版本迭代过程中,不需因为界面或者业务代码变动一同修改,减少了代码维护成本。

当然全埋点也有它的缺点,因为把所有的数据都采集,如何在这些数据中过滤出有价值的数据,又变成了新的课题。我们这里一方面是通过 SDK 配置,通过黑白名单策略对上报采集数据进行过滤,另一方面是通过 Dataflux Web 端的自定义图标来实现。
image

实现原理

用户行为分析,全埋点这一块,这里 Android 使用了 Gradle Plugin Transform 静态代理的方式写入拦截代码,原理是在代码编译之前,由插件写入需要拦截的方法,iOS 则是在 Runtime,动态代理方式,在程序运行之后,注册拦截方法进行拦截,拦截到方法之后,我们对应应用的界面和用户的行为进行采集,之后以时序数据的方式,上报给 DataFlux服务器,然后用户通过 DataFlux 进行对收集数据进行洞察。
image

为了解除集成方安全性顾虑我们对SDK iOS 和 Android 进行了开源。

后期展望
在移动设备数据采集规划上,用户行为分析只是一部分,中期规划是采集设备的监控项目,例如,一方面用户行为数据可以根据这些监控数据做关联,另一方面可以作为实时监控手段,主要针对的是手机平板性能监控场景。

目前 SDK 只限于移动端,支持Android、iOS ,后期还会支持Flutter,并且会对支持的设备进行扩充,理论上安装有移动操作系统的设备,都是我们努力的目标,例如TV、车载设备等等。

image

相关文章
|
6月前
|
数据采集 前端开发 JavaScript
Symfony Panther在网络数据采集中的应用
Symfony Panther在网络数据采集中的应用
Symfony Panther在网络数据采集中的应用
|
5月前
|
数据处理
Advanced XUV Spectroscopy 成像采集设备的比较分析
Advanced XUV Spectroscopy 成像采集设备的比较分析
24 0
|
7月前
|
存储 安全 物联网
安防摄像头IPC如何快速接入阿里云Link Visual视频服务(阿里云生活物联网)
Link Visual是生活物联网平台针对视频产品推出的增值服务,提供视频数据上云、存储、转发、AI计算等能力。 大白话就是:通过阿里云的Link Visual视频服务,可以让你的IPC摄像头设备完成上云功能,并快速实现如下功能介绍中的功能。其中可以享受阿里云P2P协议支持,帮助企业节省流量服务器流量带宽。
710 7
|
传感器 数据可视化 物联网
漏刻有时物联网传感器API接口对接说明文档
漏刻有时物联网传感器API接口对接说明文档
82 0
|
定位技术
百度地图开发系列(4):使用采集到的GPS点实现轨迹的解决方案
百度地图开发系列(4):使用采集到的GPS点实现轨迹的解决方案
140 0
|
传感器 数据采集 数据可视化
SF6传感器采集上传到阿里物联网云平台
本文将以SF6传感器作为采集对象,使用海创微联采集控制系统对SF6、氧气浓度采集,然后将采集到的数据上传到海创物联网平台,海创物联网平台将数据实时可视化。
438 0
|
开发者
营销引擎 - 如何在 DSP 中接入【友盟+】 DIP|学习笔记
快速学习营销引擎 - 如何在 DSP 中接入【友盟+】 DIP
营销引擎 - 如何在 DSP 中接入【友盟+】 DIP|学习笔记
|
编解码 JSON 数据可视化
EO Browser——在线卫星影像查看最全影像和下载,可编程的影像云平台
EO Browser——在线卫星影像查看最全影像和下载,可编程的影像云平台
1141 0
EO Browser——在线卫星影像查看最全影像和下载,可编程的影像云平台
|
传感器
一体箱型无线型振弦传感器采集采发仪常见的注意事项
VS-BOX 可使用内置电池(默认)也可使用外部电池工作。 需要特别注意:严禁内置和外部电池(电源)同时使用,严重时会造成短路起火,设备永久损坏。 电源接口有专门的电池充电端子,可连接充电器或者太阳能电池板为设备的内置或者外部电池充电。请使用配套的充电器或者太阳能电池板。
一体箱型无线型振弦传感器采集采发仪常见的注意事项
|
监控 测试技术 API
移动端性能监测工具篇之U-APM
移动端性能监测工具篇之U-APM
378 0