.NET 白板书写延迟-触摸屏报点率

简介: .NET 白板书写延迟-触摸屏报点率

触摸书写延迟,是触摸屏很核心的参数。从用户在触摸屏上进行触控操作到设备作出响应之间的时间差,这个延迟高低会影响快速反应的应用场景使用如白板书写、玩游戏。

而触摸延迟主要影响因素有:触摸框报点率、软件框架延时(用于触摸数据接收、线程切换)、软件业务逻辑处理

我们这里介绍下触摸框报点率 Touch Report Rate,触摸屏每秒报告触控数据的次数(Hz),会根据设备类型不同而变化

触摸操作TouchMove(StylusMove)是定时上报一次,一次会上报1-N个点。

1 private void MainWindow_OnStylusMove(object sender, StylusEventArgs e)
2 {
3 var currentPointsCount = e.GetStylusPoints(this).Count;
4 }

不同屏幕定时触摸上报时间不同,我们可以通过Stylus事件收集看看
复制代码

1 private void MainWindow_OnStylusDown(object sender, StylusDownEventArgs e)
2 {
3 _stylusDown = true;
4 _startTick = Environment.TickCount;
5 _stylusEntryCount++;
6 _distinctPoints.AddRange(e.GetStylusPoints(this).Distinct());
7 }
8
9 private void MainWindow_OnStylusMove(object sender, StylusEventArgs e)
10 {
11 if (!_stylusDown)
12 {
13 return;
14 }
15 _stylusEntryCount++;
16 _distinctPoints.AddRange(e.GetStylusPoints(this).Distinct());
17 }

复制代码

输入平均间隔:var stylusEntryTime = (Environment.TickCount - _startTick) / (double)_stylusEntryCount
Dell触摸屏

我日常用于开发联调触摸相关功能的触摸屏,戴尔触摸屏Dell-P2418HT 1080P的触摸数据:

  1. WPF应用StylusMove输入,拿到的间隔是33ms,即30帧

  2. 一次输入包含1-7个点

  3. 再算个点平均间隔16.7ms -- 这个数据也是有意义的,可以用于评估类似书写预测1个点可以提升的性能

使用BusHold,我们看下真实点输入间隔:

BusHold第4列数据,01是指Down/Move事件,00是指Up操作结束。我们看到Move操作输入间隔基本在16-17ms,说明触摸框真实报点间隔17ms左右,即60帧。

上面WPF监听Stylus事件,拿到的触摸操作输入间隔是33ms。为何应用层拿到的触摸数据帧率比触摸框低呢?

我们试试StylusPlugin(StylusPlugin方案可以在WPF路由事件之前拿到触摸数据,可以用于触摸书写加速方案)拿触摸线程的触摸数据,以及WPF路由触摸事件数据对比下:

获取StylusPlugin插件事件,代码比较简单。但需要注意的事,事件需要过滤掉主线程,过滤后才是触摸工作线程的触摸数据:
复制代码

1 public partial class MainWindow : Window
2 {
3 public MainWindow()
4 {
5 InitializeComponent();
6 StylusPlugIns.Add(new TestStylusPlugIn(Thread.CurrentThread.ManagedThreadId));
7 }
8 }
9 class TestStylusPlugIn : StylusPlugIn
10 {
11 private readonly int _uiThreadId;
12
13 public TestStylusPlugIn(int uiThreadId)
14 {
15 _uiThreadId = uiThreadId;
16 }
17
18 protected override void OnStylusMove(RawStylusInput rawStylusInput)
19 {
20 if (Thread.CurrentThread.ManagedThreadId == _uiThreadId)
21 {
22 return;
23 }
24 Console.WriteLine($"{DateTime.Now.ToString("HH:mm:ss.fff")}:StylusPluginOnStylusMove {rawStylusInput.GetStylusPoints().Count}个点");
25 base.OnStylusMove(rawStylusInput);
26 }
27 }

复制代码

与BusHold同样是7个点,

触摸线程事件,只不过2个点合并到一次触摸输入事件里了。所以这2个点合并操作不是路由事件内处理的,也不是WPF路由,而是在WPF 输入管理层根据硬件配置限制为30帧,减少了传递给应用程序的事件数量。我估计是InputManager协调输入并派发事件这块做了延迟队列。

UI路由事件,我们看上面控制台输出,移动事件间隔30ms左右报个一次输入事件,最后一个Move事件里有4个点。这里的4个点输入,合并了1+2+1上面触摸线程事件的3次输入,所以WPF路由事件管理也有触摸消息的队列,会合并触摸点

那有没有可能减少触摸数据的合并,与触摸框保持一致的帧率呢?答案是有的,可以在WPF开启如UWP的Point消息:
复制代码

1 public partial class App : Application
2 {
3 public App()
4 {
5 AppContext.SetSwitch("Switch.System.Windows.Input.Stylus.EnablePointerSupport", true);
6 }
7 }

复制代码

添加EnablePointerSupport后,我们监听TouchMove事件:

触摸移动事件触发间隔就减少到16-17ms了,到与触摸框报点率相同帧率,good!

开启Pointer相关内容也可以看德熙MVP的博客 WPF dotnet core 如何开启 Pointer 消息的支持 (lindexi.com),但开启Pointer也有很多坑WPF 开启Pointer消息存在的坑 (lindexi.com),大家使用时多了解下已知缺陷
触摸大屏

再看看目前市面上交互触摸大屏所使用的富创通、华欣主流触摸框产品路由触摸数据:

输入间隔为15.6ms左右,触摸点之间平均间隔为7ms左右,即触摸框报点140帧以上,应用层触摸数据60帧。

最近有一款改良的富创通触摸G框版本,我们也由应用端收集下数据:

输入间隔没变也是15.6ms左右,触摸点之间平均间隔为4.5ms,即触摸框报点220帧左右,应用层触摸数据依然是60帧。说明这款触摸框提升了本身的报点率,但应用层根据硬件条件限制了60帧触摸报点。

至于这三个触摸屏的触摸数据帧数限制,
[box.shejibs.com)
[box.shubuqing.com)
[box.shengh.net)
[box.sf055.com)
[box.soho-china.com)
[box.shvicky.com)

Dell触摸屏通过BusHold抓到原始触摸数据是60帧,但WPF处理后得到30帧
大屏触摸框通过BusHold抓到原始触摸数据140帧,但WPF处理后得到60帧
大屏触摸框升级版通过BusHold抓到原始触摸数据220帧,但WPF处理后也是得到60帧

是显示屏什么属性限制WPF内触摸数据帧率的呢?和小伙伴沟通盲猜WPF内可能卡30-60帧选项、根据触摸原始帧数去选30或者60,WPF在Dell触摸屏内最终得到30帧可能是触摸帧数60帧及以下被分配30帧?。。。我还没搞懂,有知道的朋友可以解惑下,期待你的指导

总结下,

  1. 上面我们也介绍了开启pointer,WPF输出的触摸输入间隔与达到触摸框原始帧率。所以开启Pointer书写延迟能降低很大一部分

  2. 触摸框原始帧率提升后,也能降低触摸输入间隔,即使不开启Pointer也能减少与上一次触摸间隔减少。所以可以与触摸框厂商沟通提升报点率,降低书写延迟

了解触摸报点率,才能真正去把书写性能以及书写平滑这块做好。

相关文章
|
23天前
|
弹性计算 人工智能 架构师
阿里云携手Altair共拓云上工业仿真新机遇
2024年9月12日,「2024 Altair 技术大会杭州站」成功召开,阿里云弹性计算产品运营与生态负责人何川,与Altair中国技术总监赵阳在会上联合发布了最新的“云上CAE一体机”。
阿里云携手Altair共拓云上工业仿真新机遇
|
16天前
|
存储 关系型数据库 分布式数据库
GraphRAG:基于PolarDB+通义千问+LangChain的知识图谱+大模型最佳实践
本文介绍了如何使用PolarDB、通义千问和LangChain搭建GraphRAG系统,结合知识图谱和向量检索提升问答质量。通过实例展示了单独使用向量检索和图检索的局限性,并通过图+向量联合搜索增强了问答准确性。PolarDB支持AGE图引擎和pgvector插件,实现图数据和向量数据的统一存储与检索,提升了RAG系统的性能和效果。
|
20天前
|
机器学习/深度学习 算法 大数据
【BetterBench博士】2024 “华为杯”第二十一届中国研究生数学建模竞赛 选题分析
2024“华为杯”数学建模竞赛,对ABCDEF每个题进行详细的分析,涵盖风电场功率优化、WLAN网络吞吐量、磁性元件损耗建模、地理环境问题、高速公路应急车道启用和X射线脉冲星建模等多领域问题,解析了问题类型、专业和技能的需要。
2576 22
【BetterBench博士】2024 “华为杯”第二十一届中国研究生数学建模竞赛 选题分析
|
18天前
|
人工智能 IDE 程序员
期盼已久!通义灵码 AI 程序员开启邀测,全流程开发仅用几分钟
在云栖大会上,阿里云云原生应用平台负责人丁宇宣布,「通义灵码」完成全面升级,并正式发布 AI 程序员。
|
3天前
|
JSON 自然语言处理 数据管理
阿里云百炼产品月刊【2024年9月】
阿里云百炼产品月刊【2024年9月】,涵盖本月产品和功能发布、活动,应用实践等内容,帮助您快速了解阿里云百炼产品的最新动态。
阿里云百炼产品月刊【2024年9月】
|
2天前
|
存储 人工智能 搜索推荐
数据治理,是时候打破刻板印象了
瓴羊智能数据建设与治理产品Datapin全面升级,可演进扩展的数据架构体系为企业数据治理预留发展空间,推出敏捷版用以解决企业数据量不大但需构建数据的场景问题,基于大模型打造的DataAgent更是为企业用好数据资产提供了便利。
163 2
|
20天前
|
机器学习/深度学习 算法 数据可视化
【BetterBench博士】2024年中国研究生数学建模竞赛 C题:数据驱动下磁性元件的磁芯损耗建模 问题分析、数学模型、python 代码
2024年中国研究生数学建模竞赛C题聚焦磁性元件磁芯损耗建模。题目背景介绍了电能变换技术的发展与应用,强调磁性元件在功率变换器中的重要性。磁芯损耗受多种因素影响,现有模型难以精确预测。题目要求通过数据分析建立高精度磁芯损耗模型。具体任务包括励磁波形分类、修正斯坦麦茨方程、分析影响因素、构建预测模型及优化设计条件。涉及数据预处理、特征提取、机器学习及优化算法等技术。适合电气、材料、计算机等多个专业学生参与。
1576 16
【BetterBench博士】2024年中国研究生数学建模竞赛 C题:数据驱动下磁性元件的磁芯损耗建模 问题分析、数学模型、python 代码
|
22天前
|
编解码 JSON 自然语言处理
通义千问重磅开源Qwen2.5,性能超越Llama
击败Meta,阿里Qwen2.5再登全球开源大模型王座
972 14
|
3天前
|
Linux 虚拟化 开发者
一键将CentOs的yum源更换为国内阿里yum源
一键将CentOs的yum源更换为国内阿里yum源
218 2
|
17天前
|
人工智能 开发框架 Java
重磅发布!AI 驱动的 Java 开发框架:Spring AI Alibaba
随着生成式 AI 的快速发展,基于 AI 开发框架构建 AI 应用的诉求迅速增长,涌现出了包括 LangChain、LlamaIndex 等开发框架,但大部分框架只提供了 Python 语言的实现。但这些开发框架对于国内习惯了 Spring 开发范式的 Java 开发者而言,并非十分友好和丝滑。因此,我们基于 Spring AI 发布并快速演进 Spring AI Alibaba,通过提供一种方便的 API 抽象,帮助 Java 开发者简化 AI 应用的开发。同时,提供了完整的开源配套,包括可观测、网关、消息队列、配置中心等。
734 9