青语的可爱帝国_个人页

大概是发现了一个一眼就能解决的bug，修复完，复测发现另外一个，再解决，最后发现了一个bug链条！

不涉及到业务，只是聊聊目前的体系 1. 部署Web服务：使用ECS实例部署Web服务，可以使用多台服务器进行水平扩展，构建负载均衡集群，负载均衡采用SLB实现，将用户的访问请求均匀分发给后端ECS实例； 数据存储：将用户的数据存储在RDS数据库中，采用高可用的主备热备模式，使数据存储服务更加可靠； 静态资源：把不经常更新的静态资源存储在OSS对象存储服务中，以提高Web应用的性能； 网络：为保证网络的可用性，应使用VPN网络连接，将公司内网的服务器连接到云上的资源； 安全：为保证系统的安全，应使用安全组开启必要的端口；其他如安全认证等可依赖云计算平台提供的安全服务，如RAM管理、KMS加密等。

对现有NLP 的影响 ​ 现有NLP技术的主要困境仍然是标注成本，这个成本可以从两个方面来看：人力成本和时间成本。对于特定的场景，通常需要几千甚至上万的数据才能达到很好的效果。当然，如果能够明确的知道标注多少样本就能够达到预期的效果，通常项目也可以经过人力成本评估后确定是否继续。但是，真正影响NLP技术落地的是时间成本，即经过一段时间的标注后可能效果无法达到预期，那么项目可能面临推迟或者终止的风险。 ​ 大模型将会改变这一现状。大模型具有能力，并且能够通过instruction tuning 获得zero-shot的能力。因此，大模型可以仅使用少量的样本就能够在指定任务上达到非常好的效果，也将极大的降低人力成本和时间成本。但是，大模型的推理速度和推理成本是阻碍其广泛应用的主要问题，并且近期可能都无法将其小型化至合理的范围。所以，大模型很可能作为一个'超级教师模型'。经过少量标注样本微调后，大模型可以自动产生高质量的标注样本，然后使用这些样本来微调小模型。 ​ 一种可能的发展路径是：(1) 少量样本微调大模型；(2) 大模型产生大量标注数据；(3) 通过标注数据将大模型的知识蒸馏至小模型。通过这条路径，将会为NLP技术在各类项目和产品中的落地提供极大的支持。 下一步的方向 ​ 柏拉图在《理想国》中提到了'洞穴寓言'，大意是： 有一群囚徒被困在地下洞穴里，他们手、脚和脖子都被拷住，无法动弹，只能看到面前的墙壁。这些人的背后有一堆火，外界的所有事物都是通过墙壁上的阴影展示给这些囚徒。那么这些囚徒只能通过阴影来观察和想想真实的世界。 ​ 自然语言也是真实世界的'阴影'，或者说自然语言是高维真实世界的低维表示。显然，通过自然语言这些低维信息来学习高维真实世界是存在信息丢失的。举例来说，语言描述苹果可能是'红的'、“圆的”，而真实的苹果并不是严格的“圆”且颜色也不是严格的'红'，而是有着自己的纹理。所以，通过将视觉、声音等多个模态结合可能会带来更加智能的模型。 ​ 另一方面，现有模型更多的是'被动的'接收信息并作出应答，而且无法通过与周围进行交互来获得更多的知识，从而提高本身的'智能'。OpenAI提出的WebGPT、InstructGPT和ChatGPT都是尝试让模型与环境进行交互，从而提高模型的'智能'。相信随着多模态大模型的发展，模型与环境的交互方式也会越来越多样(例如：通过视觉传感器进行交互)，展示出来的'智能'也会越来越强大。 超越语言模型 ​ ChatGPT的“智能”主要来源于范式：“大数据+大模型+无监督预训练=涌现能力”。但这个范式并不是必须局限于语言，在任何存在大量数据的领域，通过设计合适的无监督预训练方式都可能会带来质的改变。因此，大模型的技术在不久的将来可能会对AI for Science 、自动驾驶等领域带来巨大的改变。 局限性 ​ ChatGPT一个最为人诟病的缺点是：你无法确信它给的答案是正确的。也就是说，ChatGPT 可能是胡编乱造的。但是，OpenAI的另一个工作WebGPT 则是尝试让模型自己浏览网页，并将浏览的结果合成最终的答案。显然，WebGPT生成的答案是有依据的，那么真实性也就更高。论文《Large Language Models Can Self-Improve》中证明了大模型不需要标注样本就可以通过自己生成的样本完成性能的提升。 那么一个可能改善ChatGPT 的方法是：使用WebGPT作为真实性的评估模型或者指导模型，通过WebGPT与ChatGPT之间的交互来改善ChatGPT的真实性问题。也就是，两个模型通过相互博弈来不断改进。

加载速度好慢，动态数据太多了

云栖大会以引领计算技术创新为宗旨，承载着计算技术的新思想、新实践、新突破。

未来万物皆是计算机。

最大的特点：开放

不会

入门视频加书，晋级还是靠自己看书

这次改版不错