处理器一致性怎么组装

先说结论： 不要对接！不要对接！不要对接！ 开个玩笑，以上仅代表个人观点，大家也知道这种“三体式警告”根本没有用的，我自己也研究如何对接，说不定做完后就觉得“真香”了。 为什么要对接？ 首先讨论一下为什么要把 Flutter 对接到 Web 生态。 Flutter 现在是一个炙手可热的跨平台技术，能够一套代码运行在 Android、iOS、PC、IoT 以及浏览器上，被认为是下一代跨平台技术。相比于 Weex 和 React Native 可以很好地解决多平台一致性问题，原生渲染性能相近，上层没有 JS 那么厚的封装层次，整体性能会略好一些。 但是大部分兴冲冲去学 Flutter 的人疑惑的第一个问题就是：为什么 Flutter 要用 Dart？一个全新的语言意味着新的学习成本，难道 JS 不香吗？JS 不香不是还有 TypeScript 吗！事实上 Flutter 抛弃的岂止是 JS 这门语言，也抛弃了 HTML 和 CSS，设计了一套解耦得更好的 Widget 体系，Flutter 抛弃的是整个 Web，致力于打造一个新的生态，但是这个生态无法复用 Web 生态的代码和解决方案。尤其是之前所有跨平台方案 Hybrid、React Native、Weex 都是对接 Web 生态的，这让 Flutter 显得有些格格不入，也让大部分前端开发者望而却步。 下面是我整理出来的，前端开发者使用 Flutter 的各方面成本： 因为 Flutter 的开发模式和前端框架比较像（可以说就是抄的 React），所以框架的学习成本并不高，稍微高一些的是 Dart 语言的学习成本，另外还要学习如何用 Widget 组装 UI，虽然很多布局 Widget 设计得和 CSS 很像，灵活度还是差了很多。要想在真实项目中用起来，还要改造整个工具链，以“Native First”的视角做开发，开发 Flutter 和开发原生应用的链路是比较像的，和开发前端页面有较大差异。最高的还是生态成本，前端生态的积累无论是代码还是技术方案都很难复用，这是最痛的一点，生态也是 Flutter 最弱的一环。 无论是为了先进的技术理念还是出于商业私心，先不管 Flutter 为什么抛弃 Web 生态，现实问题是最大的 UI 开发者群体是前端，最丰富的生态是 Web 生态，我觉得 Web 技术也是开发 UI 最高效的方式。如果能在上层使用 Web 技术栈开发，在底层使用 Flutter 实现跨平台渲染，不是可以很好的兼顾开发效率、性能和跨平台一致性吗？还能复用 Web 技术栈大量的技术积累。 可能这些理由也不够充分，暂且先照着这个假设继续分析，最后再重新讨论到底该不该对接。 关于 Flutter 和 Web 生态的对接涉及两个方面： 从 Web 到 Flutter。就是使用 Web 技术栈来开发，然后对接到 Flutter 上实现跨平台渲染。对 Web 来说是解决性能和跨平台一致性问题，对 Flutter 来说是解决生态复用问题。从 Flutter 到 Web。就是官方已经实现的 Web support for Flutter，把已经用 Dart 开发好的 App 编译成 HTML/JS/CSS 然后运行在浏览器上，可以用于降级和外投场景。 如何实现“从 Web 到 Flutter”？ 首先分析一下 Flutter 的架构图，看看可以从哪里下手。 Flutter 可以分为 Framework 和 Engine 两部分，Engine 部分比较底层也比较稳定了，最好不要动，需要改的是用 Dart 实现的 Framework。要想对接 Web 生态的话，JS 引擎肯定是要引入的，至于是否保留 Dart VM 有待讨论。图中最上面 Material 和 Cupertino 两个 UI 库前端是不需要的，前端有自己的。关键是 Widget 这部分，是替换成 HTML/CSS 的方式写 UI，还是继续保留 Widget 但是把语言换成 JS，不同方案给出的解法也不一样。 有不少方案可以实现对接，业界有挺多尝试的，我总结了下面三种方式： - TS 魔改：用 JS 引擎替换掉 Dart VM，用 JS/TS 重新实现 Flutter Framework（或者直接 dart2js 编译过来）。 - JS 对接：引入 JS 引擎同时保留 Dart VM，用前端框架对接 Flutter Framework。 - C++ 魔改：用 JS 引擎替换掉 Dart VM，用 C++ 重新实现 Flutter Framework。 TS 魔改 TS 魔改就是完全抛弃掉 Dart VM，用 TypeScript 重新实现一遍用 Dart 写的 Flutter Framework。 为啥是 TS 而不是 JS？这不是因为 TS 是个大热门嘛，而且向下兼容 JS，现在几乎所有时髦的框架都要用 TS 重写了。 这种方案的出发点是“如果能把 Flutter 的 Dart 换成 JS 就好了”，最容易想到的路就是把 Dart 翻译成 TS，或者直接用 dart2js 把代码编译成 js，但是编译出来的代码包含很多 dart:ui 之类的库的封装，生成的包也挺大的，也比较难定制需要导出的接口，不如干脆用 TS 重写一遍，工具链更熟悉一些，还可以加一些定制。 理论上讲翻译之后 Flutter 绝大部分功能都依然支持，可以复用各种 npm 包，还可以动态化，但是丧失了 AOT 能力，JS 语言的执行性能应该是不如 Dart 的。而且所有节点的布局运算都发生在 JS，底层只需要提供基础的图形能力就好了，就好像是基于 Canvas API 写了一套 UI 框架，性能未必有现存前端框架的性能高。 此外最大的问题是如何与官方 Flutter 保持一致，假如现在是从 v1.13 版本翻译过来的，以后官方升级到了 v1.15 要不要同步更新？这个过程没啥技术含量，而且需要持续投入，做起来比较恶心。 另外还需要考虑上层是用 Widget 的方式写 UI，还是用前端熟悉的 HTML+CSS。如果依然用 Widget 的话，那大部分前端组件还是用不了的，UI 还是得重写一遍。反正要重写的话，成本也没降下来，那就用 Dart 重写呗…… 直接用官方原版 Flutter 也避免每次更新都要翻译一遍 Dart 代码。所以既然选择了对接前端生态，那就要对接 CSS，不然就没有足够的价值。然而 CSS 和 Widget 的对接也是很繁琐的过程，而且存在完备性问题。 JS 对接 翻译代码的方式不够优雅，那就保留 Dart，把 JS/CSS 对接到 Widget 上面不就好了？ 当然可以，这种方式是仅把 Flutter 当做了底层的渲染引擎，上层保持前端框架的写法，仅把渲染部分对接到 Flutter。现存的很多前端框架都把底层渲染能力做了抽象，可以对接到不同渲染引擎上，如 Vue/Rax 同时支持浏览器和 Weex，用同样的方式，可以再支持一个 Flutter。 这种方式对前端框架的兼容性比较好，但是链路太长了，业务代码调用前端框架接口做渲染，一顿操作之后发出了渲染指令，这个渲染指令要基于通信的方式传给 Flutter Framework，这中间涉及一次 JS 到 C++ 再到 Dart 的跨语言转换，然后再接收到渲染指令之后还要转成相应的 Widget 树，从 CSS 到 Widget 的转换依然很繁琐。而且 Widget 本身是可以带有状态的，本身就是响应式更新的，在更新时会重新生成 widget 并 diff，如果在前端更新 UI 的话，前端框架在 js 里 diff 一次 vdom，传到 Flutter 之后又 diff 一次 widget。 如果要绕过 Widget 直接对接图中的 Rendering 这一层，可以绕过 widget diff 但是得改 Flutter Framework 的渲染链路，既然要改 Flutter Framework 那为什么不直接用 TS 魔改呢，还绕过了 JS 到 Dart 的通信，又回到了第一种方案。 总结来说，这个方案的优点是：实现简单、能最大化保留前端开发体验，缺点是：渲染链路长、通信成本高、响应式逻辑冲突、CSS 转 Widget 不完备等。 C++ 魔改 想要干掉 Dart VM，就需要用其他语言重新实现用 Dart 开发的 Framework，用 JS/TS 可以，用 C++ 当然可以，最硬核的方式就是用 C++ 重新实现 Flutter 的 Framework，然后接入 JS 引擎，通过 binding 把 C++ 接口透出到 JS 环境，上层应用还是用 JS 做开发。 把 Framework 层下沉到 C++ 之后，不仅会有更好的性能，也能支持更多语言。原本 Flutter Framework 是在 Dart VM 之上的，必须依赖 Dart VM 才能运行，所以对 Dart 有强依赖；用 C++ 重新实现之后，JS 引擎是在 C++ 版 Framework 之上的，框架本身并不依赖 JS 引擎，还可以对接其他各种语言，如对接了 JVM 之后可以支持 Java 和 Kotlin，对接回 Dart VM 可以继续支持 Dart。 这个方案可以增强性能，也能保持和 Flutter 的一致性，但是改造成本和维护成本都相当高。C++ 的开发效率肯定不如 Dart，当 Flutter 快速迭代之后如何跟进是很大的问题，如果跟进不及时或者实现不一致那很可能就分化了。从 CSS 到 Widget 的转换也是不得不面对的问题。 几种方案对比 把上面几种方案画在同一张图里是这个样子的： 图中实线部分表示了跨语言的通信，太过频繁会影响性能，虚线部分表示了其他对接可能性。 从下到上，Flutter Engine 是不需要动的，这一层是跨平台的关键。Framework 则有三种语言版本，JS/TS、Dart、C++，性能是 C++ 版本最好，成本是 Dart 版本最低。然后还需要向上处理 HTML/CSS 和 Widget 的问题，可以直接对接一个前端框架，也可以直接在 C++ 层实现（不然需要透出的 binding 接口就太多了，用通信的方式也太过频繁了）。 如何实现“从 Flutter 到 Web”？ 这个功能官方已经实现了，可以把使用 Dart 开发的 App 编译成 Web App 运行在浏览器上，官方文档以介绍用法和 API 为主，我这里简单分析一下内部具体的实现方案。 实现原理 结合 Flutter 的架构图来看，要实现 Web 到 Flutter 需要改造的是上层 Framework，要实现 Flutter 到 Web 需要改造的则是底层 Engine。 Framework 对 Engine 的核心依赖是 dart:ui，这是库是在 Engine 里实现的，抽象出了绘制 UI 图层的接口，底层对接 skia 的实现，向上透出 Dart 语言的接口。这样来看，对接方式就比较简单了： 使用 dart2js 把 Framework 编译成 JS 代码。基于浏览器的 API 重新实现 dart:ui，即 dart:web_ui。 把 Dart 编译成 JS 没什么问题，性能可能会有一点影响，功能都是可以完全保留的，关键是 dart:web_ui 的实现。在原生 Engine 中，dart:ui 依赖 skia 透出的 SkCanvas 实现绘制，这是一套很底层的图形接口，只定义了画线、画多边形、贴图之类的底层能力，用浏览器接口实现这一套接口还是很有挑战的。上图可以看到 Web 版 Engine 是基于 DOM 和 Canvas 实现的，底层定义了 DomCanvas 和 BitmapCanvas 两种图形接口，会把传来的 layer tree 渲染成浏览器的 Element tree，但是节点上仅包含了 position, transform, opacity 之类的样式，只用到 CSS 很小的一个子集，一些更复杂的绘制直接用 2D canvas 实现。 存在的问题 我编译了一个还算复杂的 demo 试了一下，性能很不理想，滑动不流畅，有时候图片还会闪动。生成出来的 js 代码有 1.1MB (minify 之后，未 gzip)，节点层次也比较深，我评估这个页面用前端写不会超过 300KB，节点数可以少一半以上。 另外再看一下 Flutter 仓库的 issue，过滤出 platfrom-web 相关的，可以看到大量：文字编辑失效、找不到光标、ListView 在 ios 上不可滚动、checkbox/button 行为不正常、安卓滚动卡顿图片闪烁、字体失效、某些机型视频无法播放、文字选中后无法复制、无法调试…… 感觉 flutter for web 已经陷入泥潭，让人回想起前端当年处理各种浏览器兼容性的噩梦。 这些性能和兼容性问题，核心原因是浏览器未暴露足够的底层能力，以及浏览器处理手势、用户输入和方式和 Flutter 差异巨大。 实现 Flutter Engine 需要的是底层的图形接口和系统能力，虽然canvas 提供了相似的图形接口，如果全部用 canvas 实现的话很难处理可访问性、文本选择、手势、表单等问题，也会存在很多兼容性问题。所以真实方案里用的是 Canvas + DOM 混合的方式，封装层次太高了，渲染链路太长。就好像 Flutter Framework 里进行了一顿猛如虎的操作之后，节点生成好了、布局算好了、绘制属性也处理好了，就差一个画布画出来了，然后交到浏览器手里，又生成一遍 Element，再算一遍布局，在处理一遍绘制，最终才交给了底层的图形库画出来。 再比如长页面的滚动，浏览器里只要一条 CSS (overflow:scroll) 就可以让元素可滚动，手势的监听以及页面的滚动以及滚动动画都是浏览器原生实现的，不需要与 JS 交互，甚至不需要重新 layout 和 paint，只需要 compositing。如上图所示，在 Flutter 中 Animation 和 Gesture 是用 Dart 实现的，编译过来就是 JS 实现的，浏览器本身并不知道这个元素是否可滚，只是不断派发 touchmove 事件，JS 根据事件属性计算节点偏移，然后运算动画，然后把 transform 或者新的 position 作用到节点上，然后浏览器再来一遍完整的渲染流程…… 优化方案 性能和兼容性的问题还是要解决的，短期内先把 issue 解掉，长线的优化方案，官方有两种尝试： 使用 CSS Painting API 做绘制。 a, 这是还处于提案状态的新标准，可以用 JS 实现一些绘制功能，自定义 CSS 属性。 b. 目前还未实现，需要等浏览器先把 CSS Houdini 支持好。 使用 WebAssembly 版本的 Skia 做绘制 https://skia.org/user/modules/canvaskit a, 这样可以发挥 wasm 的性能优势，并且保持 skia 功能的一致。但是目前 wasm 在浏览器环境里未必有性能优势，这里不展开讨论了。 b. 已经部分实现，参考这里的配置启用功能： https://github.com/flutter/flutter/issues/41062#issuecomment-533952994 这两个方案都是想更多的利用到浏览器的底层能力，只有浏览器暴露了更多底层能力，才能更好的实现 Flutter 的 Web Engine。不过这个要等挺久的时间，我们也参与不了，现阶段想要使用 flutter for web，还是得保持现有架构，一起参与进去把 issue 解决掉，优先保障功能，其次优化性能。 一种适应性更好的架构 如果理想化一点，能不能从架构角度让 Flutter 和 Web 生态融合的更好一些呢？ 回顾文章最开始的官方架构图，上面是 Framework(Dart)，下面是 Engine(C++)，切分在 Foundation 这一层，双方之间的交互是几何图形信息。如果还保持这个架构，把切分层次划分的更靠上一些，如下图所示，划分在 Widgets 和 Rendering 这一层，理论上讲对 Flutter 的开发者来说是无感知的，因为上层的开发语言和 Widget 接口都是不变的。 切分在这一层，Framework 和 Engine 之间的交互就不再是几何图形而是节点信息，Widget 的组合、setState 响应式更新、Widget diff 都还在 Dart 中，展开后的 RenderObject 的布局、绘制、裁剪、动画全都在 C++ 中，不仅有更好的性能，还可以与 Engine 有更好的结合。 或者说，还原本保留 Engine 的设计，把下沉的这部分逻辑上划分成 Renderer，就有了如下三层的结构： 这样划分出来的每一层都有明确的定位： Framework: 开发框架。为开发者提供可编程 API，实现响应式的开发模式，提供细粒度 Widget 供开发者自由封装和组合。Renderer: 渲染引擎。专门实现布局、绘制、动画、手势的的处理，这部分功能相对独立，是可以与开发框架解耦的，也不必与特定语言绑定。Engine: 图形引擎。实现跨平台一致的图形接口，合成输入的层并绘制到屏幕上，处理好平台力的接入和适配。 这样切分除了有性能优势以外，也使得渲染引擎摆脱了对 Dart 的依赖，能够支持多种语言，也能支持多种开发模式。对接到 Dart VM 就可以用 Dart 写代码，对接到 JS 引擎就可以用 JS 写代码，对接到 JVM 还可以写 Java，但是无论怎么写，底层的渲染能力是一样的，一套统一的布局算法，动画和手势的处理行为也是一致的。 在这样的架构下，对接 Web 生态就更容易了。Dart 和 Widget 是前端不想要的，希望能换成 JS 和 CSS，但是又想要底层的跨平台一致渲染引擎，那从 Renderer 层开始对接就好了，绕过了所有不想要的，也保留了所有想要的。 要实现 Flutter for Web 也更简单了一些。在 Engine 层做对接，一直苦于浏览器透出的底层能力不够，如果是在 Renderer 之上做对接就更容易一些，基于 JS/CSS/DOM/Canvas 的能力封装出一套 Rendering 接口，供 Widget 调用就好了，这样可以使渲染链路更短一些，但是依然要处理 Widget 和 DOM/CSS 之间的兼容性问题。 再讨论一遍：为什么要对接？ 技术上已经分析完了，要想搞定 Flutter 生态和 Web 生态的对接，需要投入很大的成本，所以真正决定做之前，要先讨论清楚为什么要做对接？到底要不要做对接？ 首先 Google 官方对 Flutter 的定位就是个问题。Flutter 设计之初就是不考虑 Web 生态的，甚至在刻意回避，倡导的是更贴近原生的开发方式。我之所以在开头说不要对接，原因也很简单：两种技术设计理念不同，不是朝着一个方向发展的，生态不通，技术方案不通，强行融合很可能让彼此都丧失了优势。但是业界又有很多团队在做这种尝试，说明需求是存在的，如果 Google 抵制这个方向，那就不好做了。不过现在官方已经支持了 Flutter for Web，已经向 Web 生态迈了一步，未来是否进一步与 Web 融合，也是有可能的。 另外就是跨平台技术本身的问题，浏览器发展了二三十年，已经是个很强大的跨平台产品了，几乎是 Web 的代名词了，这一点无人能敌。但是也臃肿不堪，有大量历史包袱，性能和体验不够好，和 Native 的结合度差，尤其在移动和 IoT 平台。虽然硬件性能在不断提升，但这是所有软件共享的，浏览器的性能和体验总会比 Native 差一些，差的这一些很可能就是新业务和新场景的发挥空间。观察一下近几年新诞生的业务场景，很多都是利用到了 Native 新提供的能力才火爆起来的，如 AI/AR/ 视频 / 直播 等，有因为新的 Web API 而孵化生出来的商业模式吗？ 原文链接： https://mp.weixin.qq.com/s?__biz=MzAxNDEwNjk5OQ==&mid=2650405725&idx=1&sn=0b7476f7c7c01df7fdafda578f9ceb98&chksm=83953345b4e2ba53917ac30b709c07be15bd1c2fd5ae2a8ecfbb129b3813f771621b8fac95ca&scene=27#wechat_redirect

　TTS</B>是Text To Speech的缩写，即“从文本到语音”。它是同时运用语言学和心理学的杰出之作，在内置芯片的支持之下，通过神经网络的设计，把文字智能地转化为自然语音流。TTS技术对文本文件进行实时转换，转换时间之短可以秒计算。在其特有智能语音控制器作用下，文本输出的语音音律流畅，使得听者在听取信息时感觉自然，毫无机器语音输出的冷漠与生涩感。TTS语音合成技术即将覆盖国标一、二级汉字，具有英文接口，自动识别中、英文，支持中英文混读。所有声音采用真人普通话为标准发音，实现了120-150个汉字/秒的快速语音合成，朗读速度达3-4个汉字/秒，使用户可以听到清晰悦耳的音质和连贯流畅的语调。现在有少部分MP3随身听具有了TTS功能。 　　TTS是语音合成应用的一种，它将储存于电脑中的文件，如帮助文件或者网页，转换成自然语音输出。TTS可以帮助有视觉障碍的人阅读计算机上的信息，或者只是简单的用来增加文本文档的可读性。现在的TTL应用包括语音驱动的邮件以及声音敏感系统。TTS经常与声音识别程序一起使用。现在有很多TTS的产品，包括Read Please 2000， Proverbe Speech Unit，以及Next Up Technology的TextAloud。朗讯、 Elan、以及 AT&T都有自己的语音合成产品。 　　除了TTS软件之外，很多商家还提供硬件产品，其中包括以色列WizCom Technologies公司的 Quick Link Pen，它是一个笔状的可以扫描也可以阅读文字的设备；还有Ostrich Software公司的Road Runner，一个手持的可以阅读ASCII文本的设备；另外还有美国DEC公司的DecTalk TTS，它是可以替代声卡的外部硬件设备，它包含一个内部软件设备，可以与个人电脑自己的声卡协同工作。 TTS文语转换用途很广，包括电子邮件的阅读、IVR系统的语音提示等等，目前IVR系统已广泛应用于各个行业（如电信、交通运输等）。 　　TTS所用的关键技术就是语音合成(SpeechSynthesis)。早期的TTS一般采用专用的芯片实现，如德州仪器公司的TMS50C10/TMS50C57、飞利浦的PH84H36等，但主要用在家用电器或儿童玩具中。 　　而基于微机应用的TTS一般用纯软件实现，主要包括以下几部分： 　　●文本分析-对输入文本进行语言学分析，逐句进行词汇的、语法的和语义的分析，以确定句子的低层结构和每个字的音素的组成，包括文本的断句、字词切分、多音字的处理、数字的处理、缩略语的处理等。 　　●语音合成-把处理好的文本所对应的单字或短语从语音合成库中提取，把语言学描述转化成言语波形。 　　●韵律处理-合成音质(Qualityof Synthetic Speech)是指语音合成系统所输出的语音的质量，一般从清晰度(或可懂度)、自然度和连贯性等方面进行主观评价。清晰度是正确听辨有意义词语的百分率；自然度用来评价合成语音音质是否接近人说话的声音，合成词语的语调是否自然； 连贯性用来评价合成语句是否流畅。 　　要合成出高质量的语音，所采用的算法是极为复杂的，因此对机器的要求也非常高。算法的复杂度决定了目前微机并发进行多通道TTS的系统容量。 在一般的CTI应用系统中，都会有IVR（交互式语音应答系统）。IVR系统是呼叫中心的重要组成部分，通过IVR系统，用户可以利用音频按健电话输入信息，从系统中获得预先录制的数字或合成语音信息。具有TTS功能的IVR可以加快服务速度，节约服务成本，使IVR为呼叫者提供7*24小时的服务。 　　目前常见的IVR系统大都是通用的工控机平台上插入语音板卡组成，并支持中文语音合成TTS等技术。 　　一个典型的包含TTS服务的电话服务流程可分为： 　　用户电话拨入，系统IVR响应，获得用户按键等信息。 　　IVR根据用户的按键信息，向数据库服务器申请相关数据。 　　数据库服务器返回文本数据给IVR。 　　IVR通过其TCP通讯接口，将需要合成的文本信息发送给TTS服务器。 　　TTS服务器将用户文本合成的语音数据分段通过TCP通讯接口发送给IVR服务器。 　　IVR服务器把分段语音数据组装成为独立的语音文件。 　　IVR播放相应的语音文件给电话用户。 　　一般的公网接入（IVR）大都采用工控机+语音板卡，而合成的语音数据则通过局域网传给IVR。这种结构只适用于简单的应用场合。 包括中文语音处理和语音合成，利用中文韵律等相关知识对中文语句进行分词、词性判断、注音、数字符号转换，语音合成通过查询中文语音库得到语音。目前中文TTS系统，比较著名的有：IBM，Microsoft，Fujitsu，科大讯飞，捷通华声等研究的系统。目前比较关键的就是中文韵律处理、符号数字、多音字、构词方面有较多的问题，需要不断研究，使得中文语音合成的自然化程度较高。 　CTI技术使电信和计算机相互融合，克服了传统电信和计算机服务相对单一的缺点，将两者完美结合了起来。其应用领域非常广泛，任何需要语音、数据通信，特别是那些希望把计算机网与通信网结合起来完成语音数据信息交换的系统都会用到CTI技术。 　　TTS即语音合成技术(Text To Speech)，它涉及声学、语言学、数学信号处理技术、多媒体技术等多个学科技术，是中文信息处理领域的一项前沿技术，实现把计算机中任意出现的文字转换成自然流畅的语音输出。 　　TTS在CTI系统中可以应用在IVR（交互式语音应答）服务器上，以提供语音交互式平台，为用户电话来访提供语音提示，引导用户选择服务内容和输入电话事务所需的数据，并接受用户在电话拨号键盘上输入的信息，实现对计算机数据库等信息资料的交互式访问。 　　在IVR中应用TTS可以自动将文本信息转换为语音文件，或者实时地将文本信息合成语音并通过电话发布。实现文本与语音自动双向转换，以达到人与系统的自动交互，随时随地为客户服务。维护人员不必再人工录音，只须将电子文档引入系统中，系统可以自动将电子文档转换为语音信息播放给客户。数据库中存放的大量数据，无需事先进行录音，能够随时根据查询条件查出并合成语音进行播报，从而大大减少了座席人员的工作负担。 　　那么应如何将TTS功能附加到CTI应用中呢？某些比较先进的交换平台，已经在交换机的内部实现了TTS的功能，并作为标准接口的一部分对外提供，业务开发商只需要简单的调用他们即可以在业务中使用该功能。 　　对于未实现TTS功能的PBX，就需要业务开发商自己去选择合适的平台，在此基础上进行二次开发，即调用所选TTS平台提供的标准接口，实现语音合成功能。 　　目前CTI已经成为全球发展最为迅猛的产业之一，每年以50%的速度增长，CTI如同计算机产业一样是一个金字塔形的产业链，从上到下会以至少20倍的幅度增值。TTS作为一种诱人的新技术，如果能很好的嵌入到增值业务的应用中去，必将形成一个更好的应用前景。 　　杭州音通软件有限公司是由国家教育部和浙江省人民政府联办并依托浙江大学而成立的高新技术公司，音通公司主要致力于计算机语音技术的研发并逐步开拓语音识别、语音流媒体传输等其它语音领域的研究。其核心技术（Intone＿TTS）是具有自主知识产权的中文语音合成技术，在由浙江省科技厅组织的鉴定中被专家一致鉴定为国内领先地位，并已申请多项国家专利。 　　Intone_TTS是一套把文本信息转换为语音信息的开发工具包，为系统集成商、软件开发商提供了完备的接口函数和编程示例，使用户能够灵活的进行调用，并集成到其它应用系统中。接口需要语音合成运行库的支持，适合多种开发环境。开发者可以根据具体的应用场合进行选择。 　　它能够对所有的汉字、英文、阿拉伯数字进行语音合成； 　　支持繁体字及多音字的编辑； 　　合成效果：自然、平滑； 　　规范的函数调用接口，同时支持微软SAPI的调用；支持同步调用和异步调用方式； 　　支持PCM Wave，uLaw/aLaw Wave，ADPCM，Dialogic Vox等多种语音格式； 　　支持GB2312码（简体中文）、BIG5码（繁体）、UNICODE码； 　　支持多路通道同时合成； 　　支持Dialogic、东进、三汇等主流语音板卡； TTS就是Text To Speech，文本转语音，文本朗读，差不多是一个意思。在语音系统开发中经常要用到。 　　目前市场上的TTS很多，实现方式也各式各样，有的很昂贵，如科大讯飞，据说当初得到863计划的资助，有很高的技术；有的相对便宜，如捷通华声, InfoTalk；也有免费的，如微软的TTS产品。 　　相对于ASR（Automatic Speech Recognition，自动语音识别）来说，实现一个TTS产品所需要的技术难度不算大，在我看来也就是个力气活。 　　要是让我们来做一个能够把汉语句子朗读出来的TTS，我们会怎么做呢？ 　　有一种最简单的TTS，就是把每个字都念出来，你会问，岂不要录制6千多个汉字的语音？幸运的是，汉语的音节很少，很多同音字。我们最多只是需要录制： 声母数×韵母数×4，（其实不是每个读音都有4声），这样算来，最多只需要录制几百个语音就可以了。 　　在合成的时候需要一张汉字对应拼音的对照表，汉字拼音输入法也依赖这张表，可以在网上找到，不过通常没有4声音调，大不了自己加上，呵呵，要不怎么说是力气活呢。 　　这样做出来的TTS效果也还可以，特别是朗读一些没有特别含义的如姓名，家庭住址，股票代码等汉语句子，听起来足够清晰。这要归功于我们伟大的母语通常都是单音节，从古代的时候开始，每个汉字就有一个词，表达一个意思。而且汉字不同于英语，英语里面很多连读，音调节奏变化很大，汉字就简单多了。 　　当然，你仍然要处理一些细节，比如多音字，把“银行”读成“yin xing”就不对了；再比如，标点符号的处理，数字、字母的处理，这些问题对于写过很多程序的你，当然不难了。 　　国内的一些语音板卡带的TTS，不管是卖钱的还是免费的，大体都是这样做出来的，也就是这样的效果。 　　如果要把TTS的效果弄好一点，再来点力气活，把基本的词录制成语音，如常见的两字词，四字成语等，再做个词库和语音库的对照表，每次需要合成时到词库里面找。这样以词为单位，比以字为单位，效果自然是好多了。当然，这里面还是有个技术，就是分词的技术，要把复杂的句子断成合理的词序列，也有点技术。这也要怪新文化那些先驱们，当初倡导白话文，引进西文的横排格式、标点符号的时候，没有引进西文中的空格分词。不过即使分词算法那么不高效，不那么准确，也问题不大，如前面所说，汉字是单音节词，把声音合起来，大体上不会有错。 　　当然，科大讯飞的力气活又干的多了些，据说已经进化到以常用句子为单位来录音了，大家可以想像，这要耗费更多的力气，换来更好的效果。 　　至于增加一些衔接处的“词料”，弄一些修饰性的音调，我认为是无关紧要的，对整体的效果改进不是太大。 　　市面上商品化TTS一般还支持粤语，请个粤语播音员录音，把上面的力气活重做一遍就是了。 　　再说句题外话，很多人觉得录音最好找电台、电视台的播音员，其实找个你周围的女同事来录制，只要吐字清晰就可以了。在某种情况下，寻常声音比字正腔圆的新闻联播来得可爱。 　　再来说说文本的标识，对于复杂文本，某些内容程序没有办法处理，需要标识出来。比如，单纯的数字“128”，是应该念成“一百二十八”还是“一二八”？解决办法通常是加入XML标注，如微软的TTS："<context ID = "number_cardinal">128</context>"念成“一百二十八”，"<context ID = "number_digit">128</context>"将念成“一二八”。TTS引擎可以去解释这些标注。遗憾的是，语音XML标注并没有形成大家都完全认可的标准，基本上是各自一套。 　　再说说TTS应用编程，微软的TTS编程接口叫SAPI，是COM接口，开发起来还是有点麻烦，还好MSDN的网站上资料很全面。微软的TTS虽然免费，但其中文角色目前是个男声，声音略嫌混浊，感觉不爽。 　　国内一般的厂家提供API调用接口，相对比较简单，可以方便地嵌入应用程序中去。 　　商品化的TTS还有个并发许可限制，就是限制同时合成的并发线程数，我觉得这个限制用处不大。无论哪种TTS，都可以将文本文件转换成语音文件，供语音卡播放。大部分应用句子比较短小，一般不会超过100个汉字，合成的时间是非常短的，弄个线程专门负责合成，其它应用向该线程请求就是了，万一句子很长，把它分解成多个短句子就是了，播放的速度总是比合成的速度慢。 　　也很多应用是脱机合成，没有实时性要求，就更不必买多个许可了。 　　更多情况下，我们甚至没有必要购买TTS，比如语音开发中常见的费用催缴，拨通后播放：“尊敬的客户，您本月的费用是：212元”，前面部分对所有客户都一样，录一个语音文件就是了，而数字的合成是很简单的，你只要录制好10个数字语音，再加上十，百，千，万，再加上金钱的单位“元”。 　　TTS(Training+Tool+Scheme)超越计划 　　针对目前成长型企业遇到的人力资源问题，立体化解决人力资源瓶颈、通过企业与专家共建、实现人才强企的人力资源方向的重大智业项目。为企业培养人力资源高级管理人才，提供先进人力资源管理工具，并协助企业建立现代人力资源战略规划。通过“培训（Training）+工具（Tool）+方案（Scheme）”的办法，为企业系统解决人力资源难点问题，进而搭建科学、完善的人力资源管理体系。 　　TTS TIANJIN TERMINAL SURCHARGE 　　天津港口附加费。09年从日韩经过的船所收的一个费用 答案来源网络，供参考，希望对您有帮助

从业余程序员到职业程序员 程序员刚入行时，我觉得最重要的是把自己培养成职业的程序员。 我的程序员起步比同龄人都晚了很多，更不用说现在的年轻人了。我大学读的是生物专业，在上大学前基本算是完全没接触过计算机。军训的时候因为很无聊，我和室友每天跑去学校的机房玩，我现在还印象很深刻，我第一次走进机房的时候，别人问，你是要玩windows，还是dos，我那是完全的一抹黑。后来就只记得在机房一堆人都是在练习盲打，军训完，盲打倒是练的差不多了，对计算机就这么产生了浓厚的兴趣，大一的时候都是玩组装机，捣鼓了一些，对计算机的硬件有了那么一些了解。 到大二后，买了一些书开始学习当时最火的网页三剑客，学会了手写HTML、PS的基本玩法之类的，课余、暑假也能开始给人做做网站什么的(那个时候做网站真的好赚钱)，可能那样过了个一年左右，做静态的网页就不好赚钱了，也不好找实习工作，于是就开始学asp，写些简单的CRUD，做做留言板、论坛这些动态程序，应该算是在这个阶段接触编程了。 毕业后加入了深圳的一家做政府行业软件的公司，一个非常靠谱和给我空间的Leader，使得自己在那几年有了不错的成长，终于成了一个职业的程序员。 通常来说，业余或半职业的程序员，多数是1个人，或者很小的一个团队一起开发，使得在开发流程、协作工具（例如jira、cvs/svn/git等）、测试上通常会有很大的欠缺，而职业的程序员在这方面则会专业很多。另外，通常职业的程序员做的系统都要运行较长的时间，所以在可维护性上会特别注意，这点我是在加入阿里后理解更深的。一个运行10年的系统，和一个写来玩玩的系统显然是有非常大差别的。 这块自己感觉也很难讲清楚，只能说模模糊糊有个这样的概念。通常在有兴趣的基础上，从业余程序员跨越到成为职业程序员我觉得不会太难。 编程能力的成长 作为程序员，最重要的能力始终是编程能力，就我自己的感受而言，我觉得编程能力的成长主要有这么几个部分： 1、编程能力初级：会用 编程，首先都是从学习编程语言的基本知识学起的，不论是什么编程语言，有很多共同的基本知识，例如怎么写第一个Hello World、if/while/for、变量等，因此我比较建议在刚刚开始学一门编程语言的时候，看看编程语言自己的一些文档就好，不要上来就去看一些高阶的书。我当年学Java的时候上来就看Think in Java、Effective Java之类的，真心好难懂。 除了看文档以外，编程是个超级实践的活，所以一定要多写代码，只有这样才能真正熟练起来。这也是为什么我还是觉得在面试的时候让面试者手写代码是很重要的，这个过程是非常容易判断写代码的熟悉程度的。很多人会说由于写代码都是高度依赖IDE的，导致手写很难，但我绝对相信写代码写了很多的人，手写一段不太复杂的、可运行的代码是不难的。即使像我这种三年多没写过代码的人，让我现在手写一段不太复杂的可运行的Java程序，还是没问题的，前面N年的写代码生涯使得很多东西已经深入骨髓了。 我觉得编程能力初级这个阶段对于大部分程序员来说都不会是问题，勤学苦练，是这个阶段的核心。 2、编程能力中级：会查和避免问题 除了初级要掌握的会熟练的使用编程语言去解决问题外，中级我觉得首先是提升查问题的能力。 在写代码的过程中，出问题是非常正常的，怎么去有效且高效的排查问题，是程序员群体中通常能感受到的大家在编程能力上最大的差距。 解决问题能力强的基本很容易在程序员群体里得到很高的认可。在查问题的能力上，首先要掌握的是一些基本的调试技巧，好用的调试工具，在Java里有JDK自带的jstat、jmap、jinfo，不在JDK里的有mat、gperf、btrace等。工欲善其事必先利其器，在查问题上是非常典型的，有些时候大家在查问题时的能力差距，有可能仅仅是因为别人比你多知道一个工具而已。 除了调试技巧和工具外，查问题的更高境界就是懂原理。一个懂原理的程序员在查问题的水平上和其他程序员是有明显差距的。我想很多的同学应该能感受到，有些时候查出问题的原因仅仅是因为有效的工具，知其然不知其所以然。 我给很多阿里的同学培训过Java排查问题的方法，在这个培训里，我经常也会讲到查问题的能力的培养最主要的也是熟练，多尝试给自己写一些会出问题的程序，多积极的看别人是怎么查问题的，多积极的去参与排查问题，很多最后查问题能力强的人多数仅仅是因为“无他，但手熟尔”。 我自己排查问题能力的提升主要是在2009年和2010年。那两年作为淘宝消防队（处理各种问题和故障的虚拟团队）的成员，处理了很多的故障和问题。当时消防队还有阿里最公认的技术大神——多隆，我向他学习到了很多排查问题的技巧。和他比，我排查问题的能力就是初级的那种。 印象最深刻的是一次我们一起查一个应用cpu us高的问题，我们两定位到是一段代码在某种输入参数的时候会造成cpu us高的原因后，我能想到的继续查的方法是去生产环境抓输入参数，然后再用参数来本地debug看是什么原因。但多隆在看了一会那段代码后，给了我一个输入参数，我拿这个参数一运行，果然cpu us很高！这种case不是一次两次。所以我经常和别人说，我是需要有问题场景才能排查出问题的，但多隆是完全有可能直接看代码就能看出问题的，这是本质的差距。 除了查问题外，更厉害的程序员是在写代码的过程就会很好的去避免问题。大家最容易理解的就是在写代码时处理各种异常情况，这里通常也是造成程序员们之间很大的差距的地方。 写一段正向逻辑的代码，大部分情况下即使有差距，也不会太大，但在怎么很好的处理这个过程中有可能出现的异常上，这个时候的功力差距会非常明显。很多时候一段代码里处理异常逻辑的部分都会超过正常逻辑的代码量。 我经常说，一个优秀程序员和普通程序员的差距，很多时候压根就不需要看什么满天飞的架构图，而只用show一小段的代码就可以。 举一个小case大家感受下。当年有一个严重故障，最后查出的原因是输入的参数里有一个是数组，把这个数组里的值作为参数去查数据库，结果前面输入了一个很大的数组，导致从数据库查了大量的数据，内存溢出了，很多程序员现在看都会明白对入参、出参的保护check，但类似这样的case我真的碰到了很多。 在中级这个阶段，我会推荐大家尽可能的多刻意的去培养下自己这两个方面的能力，成为一个能写出高质量代码、有效排查问题的优秀程序员。 3、编程能力高级：懂高级API和原理 就我自己的经历而言，我是在写了多年的Java代码后，才开始真正更细致的学习和掌握Java的一些更高级的API，我相信多数Java程序员也是如此。 我算是从2003年开始用Java写商业系统的代码，但直到在2007年加入淘宝后，才开始非常认真地学习Java的IO通信、并发这些部分的API。尽管以前也学过也写过一些这样的代码，但完全就是皮毛。当然，这些通常来说有很大部分的原因会是工作的相关性，多数的写业务系统的程序员可能基本就不需要用到这些，所以导致会很难懂这些相对高级一些的API，但这些API对真正的理解一门编程语言，我觉得至关重要。 在之前的程序员成长路线的文章里我也讲到了这个部分，在没有场景的情况下，只能靠自己去创造场景来学习好。我觉得只要有足够的兴趣，这个问题还是不大的，毕竟现在有各种开源，这些是可以非常好的帮助自己创造机会学习的，例如学Java NIO，可以自己基于NIO包一个框架，然后对比Netty，看看哪些写的是不如Netty的，这样会非常有助于真正的理解。 在学习高级API的过程中，以及排查问题的过程中，我自己越来越明白懂编程语言的运行原理是非常重要的，因此我到了后面的阶段开始学习Java的编译机制、内存管理、线程机制等。对于我这种非科班出身的而言，学这些会因为缺乏基础更难很多，但这些更原理性的东西学会了后，对自己的编程能力会有质的提升，包括以后学习其他编程语言的能力，学这些原理最好的方法我觉得是先看看一些讲相关知识的书，然后去翻看源码，这样才能真正的更好的掌握，最后是在以后写代码的过程中、查问题的过程中多结合掌握的原理，才能做到即使在N年后也不会忘。 在编程能力的成长上，我觉得没什么捷径。我非常赞同1万小时理论，在中级、高级阶段，如果有人指点或和优秀的程序员们共事，会好非常多。不过我觉得这个和读书也有点像，到了一定阶段后（例如高中），天分会成为最重要的分水岭，不过就和大部分行业一样，大部分的情况下都还没到拼天分的时候，只需要拼勤奋就好。 系统设计能力的成长 除了少数程序员会进入专深的领域，例如Linux Kernel、JVM，其他多数的程序员除了编程能力的成长外，也会越来越需要在系统设计能力上成长。 通常一个编程能力不错的程序员，在一定阶段后就会开始承担一个模块的工作，进而承担一个子系统、系统、跨多领域的更大系统等。 我自己在工作的第三年开始承担一个流程引擎的设计和实现工作，一个不算小的系统，并且也是当时那个项目里的核心部分。那个阶段我学会了一些系统设计的基本知识，例如需要想清楚整个系统的目标、模块的划分和职责、关键的对象设计等，而不是上来就开始写代码。但那个时候由于我是一个人写整个系统，所以其实对设计的感觉并还没有那么强力的感觉。 在那之后的几年也负责过一些系统，但总体感觉好像在系统设计上的成长没那么多，直到在阿里的经历，在系统设计上才有了越来越多的体会。（点击文末阅读原文，查看：我在系统设计上犯过的14个错，可以看到我走的一堆的弯路）。 在阿里有一次做分享，讲到我在系统设计能力方面的成长，主要是因为三段经历，负责专业领域系统的设计 -> 负责跨专业领域的专业系统的设计 -> 负责阿里电商系统架构级改造的设计。 第一段经历，是我负责HSF。HSF是一个从0开始打造的系统，它主要是作为支撑服务化的框架，是个非常专业领域的系统，放在整个淘宝电商的大系统来看，其实它就是一个很小的子系统，这段经历里让我最深刻的有三点： 1).要设计好这种非常专业领域的系统，专业的知识深度是非常重要的。我在最早设计HSF的几个框的时候，是没有设计好服务消费者/提供者要怎么和现有框架结合的，在设计负载均衡这个部分也反复了几次，这个主要是因为自己当时对这个领域掌握不深的原因造成的; 2). 太技术化。在HSF的阶段，出于情怀，在有一个版本里投入了非常大的精力去引进OSGi以及去做动态化，这个后来事实证明是个非常非常错误的决定，从这个点我才真正明白在设计系统时一定要想清楚目标，而目标很重要的是和公司发展阶段结合； 3). 可持续性。作为一个要在生产环境持续运行很多年的系统而言，怎么样让其在未来更可持续的发展，这个对设计阶段来说至关重要。这里最low的例子是最早设计HSF协议的时候，协议头里竟然没有版本号，导致后来升级都特别复杂；最典型的例子是HSF在早期缺乏了缺乏了服务Tracing这方面的设计，导致后面发现了这个地方非常重要后，全部落地花了长达几年的时间；又例如HSF早期缺乏Filter Chain的设计，导致很多扩展、定制化做起来非常不方便。 第二段经历，是做T4。T4是基于LXC的阿里的容器，它和HSF的不同是，它其实是一个跨多领域的系统，包括了单机上的容器引擎，容器管理系统，容器管理系统对外提供API，其他系统或用户通过这个来管理容器。这个系统发展过程也是各种犯错，犯错的主要原因也是因为领域掌握不深。在做T4的日子里，学会到的最重要的是怎么去设计这种跨多个专业领域的系统，怎么更好的划分模块的职责，设计交互逻辑，这段经历对我自己更为重要的意义是我有了做更大一些系统的架构的信心。 第三段经历，是做阿里电商的异地多活。这对我来说是真正的去做一个巨大系统的架构师，尽管我以前做HSF的时候参与了淘宝电商2.0-3.0的重大技术改造，但参与和自己主导是有很大区别的，这个架构改造涉及到了阿里电商众多不同专业领域的技术团队。在这个阶段，我学会的最主要的： 1). 子系统职责划分。在这种超大的技术方案中，很容易出现某些部分的职责重叠和冲突，这个时候怎么去划分子系统，就非常重要了。作为大架构师，这个时候要从团队的职责、团队的可持续性上去选择团队； 2). 大架构师最主要的职责是控制系统风险。对于这种超大系统，一定是多个专业领域的架构师和大架构师共同设计，怎么确保在执行的过程中对于系统而言最重要的风险能够被控制住，这是我真正的理解什么叫系统设计文档里设计原则的部分。 设计原则我自己觉得就是用来确保各个子系统在设计时都会遵循和考虑的，一定不能是虚的东西，例如在异地多活架构里，最重要的是如何控制数据风险，这个需要在原则里写上，最基本的原则是可接受系统不可用，但也要保障数据一致，而我看过更多的系统设计里设计原则只是写写的，或者千篇一律的，设计原则切实的体现了架构师对目标的理解（例如当时异地多活这个其实开始只是个概念，但做到什么程度才叫做到异地多活，这是需要解读的，也要确保在技术层面的设计上是达到了目标的），技术方案层面上的选择原则，并确保在细节的设计方案里有对于设计原则的承接以及执行； 3). 考虑问题的全面性。像异地多活这种大架构改造，涉及业务层面、各种基础技术层面、基础设施层面，对于执行节奏的决定要综合考虑人力投入、机器成本、基础设施布局诉求、稳定性控制等，这会比只是做一个小的系统的设计复杂非常多。 系统设计能力的成长，我自己觉得最重要的一是先在一两个技术领域做到专业，然后尽量扩大自己的知识广度。例如除了自己的代码部分外，还应该知道具体是怎么部署的，部署到哪去了，部署的环境具体是怎么样的，和整个系统的关系是什么样的。 像我自己，是在加入基础设施团队后才更加明白有些时候软件上做的一个决策，会导致基础设施上巨大的硬件、网络或机房的投入，但其实有可能只需要在软件上做些调整就可以避免，做做研发、做做运维可能是比较好的把知识广度扩大的方法。 第二点是练习自己做tradeoff的能力，这个比较难，做tradeoff这事需要综合各种因素做选择，但这也是所有的架构师最关键的，可以回头反思下自己在做各种系统设计时做出的tradeoff是什么。这个最好是亲身经历，听一些有经验的架构师分享他们选择背后的逻辑也会很有帮助，尤其是如果恰好你也在同样的挑战阶段，光听最终的架构结果其实大多数时候帮助有限。 技术Leader我觉得最好是能在架构师的基础上，后续注重成长的方面还是有挺大差别，就不在这篇里写了，后面再专门来写一篇。 程序员金字塔 我认为程序员的价值关键体现在作品上，被打上作品标签是一种很大的荣幸，作品影响程度的大小我觉得决定了金字塔的层次，所以我会这么去理解程序员的金字塔。 当然，要打造一款作品，仅有上面的两点能力是不够的，作品里很重要的一点是对业务、技术趋势的判断。 希望作为程序员的大伙，都能有机会打造一款世界级的作品，去为技术圈的发展做出贡献。 由于目前IT技术更新速度还是很快的，程序员这个行当是特别需要学习能力的。我一直认为，只有对程序员这个职业真正的充满兴趣，保持自驱，才有可能在这个职业上做好，否则的话是很容易淘汰的。 作者简介： 毕玄，2007年加入阿里，十多年来主要从事在软件基础设施领域，先后负责阿里的服务框架、Hbase、Sigma、异地多活等重大的基础技术产品和整体架构改造。