我要提问
- 关于
图像渲染是什么
的搜索结果
回答
不幸的是，上一张幻灯片介绍的情况也会在这里出现，比如这是所有车的集合，如果你只合成这些车中很小的子集，对于人眼来说也许这样合成图像没什么问题，但你的学习算法可能会对合成的这一个小子集过拟合。特别是很多人都独立提出了一个想法，一旦你找到一个电脑游戏，里面车辆渲染的画面很逼真，那么就可以截图，得到数量巨大的汽车图片数据集。事实证明，如果你仔细观察一个视频游戏，如果这个游戏只有20辆独立的车，那么这游戏看起来还行。因为你是在游戏里开车，你只看到这20辆车，这个模拟看起来相当逼真。但现实世界里车辆的设计可不只20种，如果你用着20量独特的车合成的照片去训练系统，那么你的神经网络很可能对这20辆车过拟合，但人类很难分辨出来。即使这些图像看起来很逼真，你可能真的只用了所有可能出现的车辆的很小的子集。
所以，总而言之，如果你认为存在数据不匹配问题，我建议你做错误分析，或者看看训练集，或者看看开发集，试图找出，试图了解这两个数据分布到底有什么不同，然后看看是否有办法收集更多看起来像开发集的数据作训练。
我们谈到其中一种办法是人工数据合成，人工数据合成确实有效。在语音识别中。我已经看到人工数据合成显著提升了已经非常好的语音识别系统的表现，所以这是可行的。但当你使用人工数据合成时，一定要谨慎，要记住你有可能从所有可能性的空间只选了很小一部分去模拟数据。
回答
转自：思否 本文作者：Michael van der Gulik 原文链接：《Why WebAssembly is a big deal》 译者：敖小剑
WebAssembly 是每个程序员都应该关注的技术。WebAssembly 会变得更流行。 WebAssembly 将取代 JavaScript。WebAssembly 将取代 HTML 和 CSS。 WebAssembly 将取代手机应用。WebAssembly 将取代桌面应用。在 10 年内，我保证每个程序员至少需要知道如何使用工具来操作 WebAssembly 并理解它是如何工作的。
你可能会说，“太离谱了！” 好吧，请继续阅读。
什么是 WebAssembly 当前形式的 WebAssembly 是 Web 浏览器的新扩展，可以运行预编译代码…快速地。在 C ++ 中编写了一些小代码，然后使用 Emscripten 编译器将该代码编译为 WebAssembly。通过一些 Javascript 粘合，就可以在 Web 浏览器中调用这一小段代码，例如，运行粒子模拟。
WebAssembly 文件，扩展名为.wasm，本身是包含可执行指令的二进制格式。要使用该文件，必须编写一个运行某些 Javascript 的 HTML 文件来获取、编译和执行 WebAssembly 文件。WebAssembly 文件在基于堆栈的虚拟机上执行，并使用共享内存与其 JavaScript 包装器进行通信。
到目前为止，这似乎并不有趣。它看起来只不过是 JavaScript 的加速器。但是，聪明的读者会对 WebAssembly 可能成为什么有所了解。
WebAssembly 将成为什么？ 第一个重要发现是 WebAssembly 是一个安全的沙盒虚拟机。可以从 Internet 运行喜欢的 WebAssembly 代码，而确保它不会接管 PC 或服务器。四个主流 Web 浏览器对它的安全性非常有信心，它已经默认实现并启用了。它的真正安全性还有待观察，但安全性是 WebAssembly 的核心设计目标。
第二个重要发现是 WebAssembly 是一个通用的编译目标。它的原始编译器是一个 C 编译器，这个编译器很好地指示了 WebAssembly 虚拟机的低级和可重定向性。许多编程语言都使用 C 语言编写虚拟机，其他一些语言甚至使用 C 本身作为编译目标。
此时，有人整理了一个可以编译为 WebAssembly 的编程语言列表。这份名单将在未来很多年中继续增长。
WebAssembly 允许使用任何编程语言编写代码，然后让其他人在任何平台上安全地运行该代码，无需安装任何内容。朋友们，这是美好梦想的开始。
部署问题 我们来谈谈如何将软件提供给用户。
为新项目选择编程语言的一个重要因素是如何将项目部署到客户。您的程序员喜欢用 Haskell，Python，Visual Basic 或其他语言编写应用程序，具体取决于他们的喜好。要使用喜欢的语言，他们需要编译应用，制作一些可安装的软件包，并以某种方式将其安装在客户端的计算机上。有许多方法可以提供软件 - 包管理器，可执行安装程序或安装服务，如 Steam，Apple App Store，Google Play 或 Microsoft store。
每一个安装机制都意味着痛苦，从应用商店安装时的轻微疼痛，到管理员要求在他的 PC 上运行一些旧的 COBOL 代码时的集群头痛。
部署是一个问题。对于开发人员和系统管理员来说，部署一直是一个痛点。我们使用的编程语言与我们所针对的平台密切相关。如果大量用户在 PC 或移动设备上，我们使用 HTML 和 Javascript。如果用户是 Apple 移动设备用户，我们使用……呃…… Swift？（我实际上不知道）。如果用户在 Android 设备上，我们使用 Java 或 Kotlin。如果用户在真实计算机上并且愿意处理掉他们的部署问题，那么我们开发人员才能在我们使用的编程语言中有更多选择。
WebAssembly 有可能解决部署问题。
有了 WebAssembly，您可以使用任何编程语言编写应用，只要这些编程语言可以支持 WebAssembly，而应用可以在任何设备和任何具有现代 Web 浏览器的操作系统上运行。
硬件垄断 想购买台式机或笔记本电脑。有什么选择？好吧，有英特尔，有 AMD。多年来一直是双寡头垄断。保持这种双寡头垄断的一个原因是 x86 架构只在这两家公司之间交叉许可，而且通常预编译的代码需要 x86 或 x86-64（也就是 AMD-64）架构。还有其他因素，例如设计世界上最快的 CPU 是一件很艰难但也很昂贵的事情。
WebAssembly 是一种可让您在任何平台上运行代码的技术（之一）。如果它成为下一个风口，硬件市场将变得商品化。应用编译为 WebAssembly，就可以在任何东西上运行 - x86，ARM，RISC-V，SPARC。即便是操作系统市场也会商品化；您所需要的只是一个支持 WebAssembly 的浏览器，以便在硬件可以运行时运行最苛刻的应用程序。
编者注：Second State 研发的专为服务端优化的 WebAssembly 引擎 SSVM 已经可以运行在高通骁龙芯片上。Github 链接：https://github.com/second-sta...
云计算 但等等，还有更多。云计算成为IT经理办公室的流行词已有一段时间，WebAssembly 可以直接迎合它。
WebAssembly 在安全沙箱中执行。可以制作一个容器，它可以在服务器上接受和执行 WebAssembly 模块，而资源开销很小。对于提供的每个服务，无需在虚拟机上运行完整的操作系统。托管提供商只提供对可以上传代码的WebAssembly 容器的访问权限。它可以是一个原始容器，接收 socket 并解析自己的 HTTP 连接，也可以是一个完整的 Web 服务容器，其中 WebAssembly 模块只需要处理预解析的HTTP请求。
这还不存在。如果有人想变得富有，那么可以考虑这个想法。
编者注：目前已经有人正在实现这个想法，Byte Alliance 计划将WebAssembly 带到浏览器之外，Second State 已经发布了为服务端设计的WebAssembly 引擎开发者预览版。
不是云计算 WebAssembly 足以取代 PC 上本地安装的大多数应用程序。我们已经使用 WebGL（又名OpenGL ES 2.0）移植了游戏。我预测不久之后，受益于WebAssembly，像 LibreOffice 这样的大型应用可以直接从网站上获得，而无需安装。
在这种情况下，在本地安装应用没什么意义。本地安装的应用和 WebAssembly 应用之间几乎没有区别。WebAssembly 应用已经可以使用屏幕，键盘和鼠标进行交互。它可以在 2D 或 OpenGL 中进行图形处理，并使用硬件对视频流进行解码。可以播放和录制声音。可以访问网络摄像头。可以使用 WebSockets。可以使用 IndexedDB 存储大量数据在本地磁盘上。这些已经是 Web 浏览器中的标准功能，并且都可以使用 JavaScript 向 WebAssembly 暴露。
目前唯一困难的地方是 WebAssembly 无法访问本地文件系统。好吧，可以通过 HTML 使用文件上传对话，但这不算。最终，总会有人为此创建 API，并可能称之为 “WASI”。
“从互联网上运行应用程序！？胡说八道！“，你说。好吧，这是使用 Qt 和 WebAssembly 实现的文本编辑器 （以及更多）。
这是一个简单的例子。复杂的例子是在 WebBrowser 中运行的 Adobe Premier Pro 或 Blender。或者考虑像 Steam 游戏一样可以直接从网络上运行。这听起来像小说，但从技术上说这并非不能发生。
它会来的。
让我们裸奔！ 目前，WebAssembly 在包含 HTML 和 Javascript 包装器的环境中执行。为什么不脱掉这些？有了 WebAssembly，为什么还要在浏览器中包含 HTML 渲染器和 JavaScript 引擎？
通过为所有服务提供标准化 API，这些服务通常是 Web 浏览器提供的，可以创建裸 WebAssembly。就是没有 HTML和 Javascript 包装来管理的 WebAssembly。访问的网页是 .wasm 文件，浏览器会抓取并运行该文件。浏览器为WebAssembly 模块提供画布，事件处理程序以及对浏览器提供的所有服务的访问。
这目前还不存在。如果现在使用 Web 浏览器直接访问 .wasm 文件，它会询问是否要下载它。我假设将设计所需的 API 并使其工作。
结果是 Web 可以发展。网站不再局限于 HTML，CSS 和 Javascript。可以创建全新的文档描述语言。可以发明全新的布局引擎。而且，对于像我这样的 polyglots 最相关，我们可以选择任何编程语言来实现在线服务。
可访问性 但我听到了强烈抗议！可访问性怎么样？？搜索引擎怎么办？
好吧，我还没有一个好的答案。但我可以想象几种技术解决方案。
一个解决方案是我们保留内容和表现的分离。内容以标准化格式编写，例如 HTML。演示文稿由 WebAssembly 应用管理，该应用可以获取并显示内容。这允许网页设计师使用想要的任何技术进行任意演示 - 不需要 CSS，而搜索引擎和需要不同类型的可访问性的用户仍然可以访问内容。
请记住，许多 WebAssembly 应用并不是可以通过文本访问的，例如游戏和许多应用。盲人不会从图像编辑器中获得太多好处。
另一个解决方案是发明一个 API，它可以作为 WebAssembly 模块，来提供想在屏幕上呈现的 DOM，供屏幕阅读器或搜索引擎使用。基本上会有两种表示形式：一种是在图形画布上，另一种是产生结构化文本输出。
第三种解决方案是使用屏幕阅读器或搜索引擎可以使用的元数据来增强画布。执行 WebAssembly 并在画布上呈现内容，其中包含描述渲染内容的额外元数据。例如，该元数据将包括屏幕上的区域是否是菜单以及存在哪些选项，或者区域是否想要文本输入，以及屏幕上的区域的自然排序（也称为标签顺序）是什么。基本上，曾经在 HTML 中描述的内容现在被描述为具有元数据的画布区域。同样，这只是一个想法，它可能在实践中很糟糕。
可能是什么 1995年，Sun Microsystems 发布了 Java，带有 Java applets 和大量的宣传。有史以来第一次，网页可以做一些比
和 GIF 动画更有趣的事情。开发人员可以使应用完全在用户的 Web 浏览器中运行。它们没有集成到浏览器中，而是实现为繁重的插件，需要安装整个 JVM。1995年，这不是一个小的安装。applets 也需要一段时间来加载并使用大量内存。我们现在凭借大量内存，这不再是一个问题，但在 Java 生命的第一个十年里，它让体验变得令人厌烦。
applets 也不可靠。无法保证它们会运行，尤其是在用户使用 Microsoft 的实现时。他们也不安全，这是棺材里的最后一颗钉子。
以 JVM 为荣，其他语言最终演变为在 JVM 上运行。但现在，那艘船航行了。
FutureSplash / Macromedia / Adobe Flash 也是一个竞争者，但是是专有的，具有专有工具集和专有语言的专有格式。我读到他们确实在2009年开启了文件格式。最终从浏览器中删除了支持，因为它存在安全风险。
这里的结论是，如果希望您的技术存在于每个人的机器上，那么安全性就需要正视。我真诚地希望 WebAssembly 作为标准对安全问题做出很好的反应。
需要什么？ WebAssembly 仍处于初期阶段。它目前能很好的运行代码，而规范版本是 1.0，二进制格式定型。目前正在开展SIMD 指令支持。通过 Web Workers 进行多线程处理也正在进行中。
工具可用，并将在未来几年不断改进。浏览器已经让你窥视 WebAssembly 文件。至少 Firefox 允许查看WebAssembly 字节码，设置断点并查看调用堆栈。我听说浏览器也有 profiling 支持。
语言支持包括一套不错的语言集合–C，C++和Rust是一流的公民。C＃，Go和Lua显然有稳定的支持。Python，Scala，Ruby，Java和Typescript都有实验性支持。这可能是一个傲慢的陈述，但我真的相信任何想要在21世纪存在的语言都需要能够在 WebAssembly 上编译或运行。
在访问外部设备的 API 支持方面，我所知道的唯一可用于裸 WebAssembly 的 API 是 WASI，它允许文件和流访问等核心功能，允许 WebAssembly 在浏览器外运行。否则，任何访问外部世界的 API 都需要在浏览器中的 Javascript 中实现。除了本地机器上的文件访问，打印机访问和其他新颖的硬件访问（例如非标准蓝牙或USB设备）之外，应用所需的一切几乎都可以满足。“裸WebAssembly”并不是它成功的必要条件; 它只是一个小的优化，不需要浏览器包含对 HTML，CSS 或 Javascript 的支持。
我不确定在桌面环境中让 WebAssembly 成为一等公民需要什么。需要良好的复制和粘贴支持，拖放支持，本地化和国际化，窗口管理事件以及创建通知的功能。也许这些已经可以从网络浏览器中获得; 我经常惊讶与已经可能的事情。
引发爆炸的火花是创建允许现有应用移植的环境。如果创造了“用于 WebAssembly 的 Linux 子系统”，那么可以将大量现有的开源软件移植到 WebAssembly 上。它需要模拟一个文件系统 - 可以通过将文件系统的所有只读部分都缓存为 HTTP 请求来完成，并且所有可写部分都可以在内存中，远程存储或使用浏览器可以提供的任何文件访问。图形支持可以通过移植 X11 或 Wayland 的实现来使用 WebGL（我理解已经作为 AIGLX 存在？）。
一些 SDL 游戏已经被移植到 WebAssembly - 最着名的是官方演示。
一旦 JVM 在 WebAssembly 中运行，就可以在浏览器中运行大量的 Java 软件。同样适用于其他虚拟机和使用它们的语言。
与 Windows 软件的巨大世界一样，我没有答案。WINE 和 ReactOS 都需要底层的 x86 或 x86-64 机器，所以唯一的选择是获取源代码并移植它，或者使用 x86 模拟器。
尾声 WebAssembly 即将到来。 它来得很慢，但现在所有的部分都可以在你正在使用的浏览器上使用。现在我们等待构建用于从各种编程语言中定位 WebAssembly 的基础设施。一旦构建完成，我们将摆脱 HTML，CSS 和 Javascript 的束缚。
加入阿里云钉钉群享福利：每周技术直播，定期群内有奖活动、大咖问答 阿里云开发者社区
回答
本文转自量子位(ID:QbitAI) 边策 鱼羊 发自 凹非寺 量子位 报道 | 公众号 QbitAI 只用99行代码，你也可以像《冰雪奇缘》里的艾莎公主一样拥有冰雪魔法。
虽然你不能在现实世界中肆意变出魔法，但却能在计算机的虚拟世界挥洒特效。
或许你不知道，电影和动画中特效有时仅仅短短的一秒，却可能需要高性能计算机演算一周，花费惊人。
《冰雪奇缘》没有真人出演，预算却高达1.5亿美元，每一秒的镜头都是经费在燃烧。一般人想用电脑做出CG特效简直不可想象。
然而，最近一位来自中国的MIT博士，开发了一种新的CG特效编程语言Taichi（太极），大大降低了门槛。
△白色：雪；红色：果冻；蓝色：水 一个简单的物理场景，普通PC仅需几分钟即可渲染完成，相比TensorFlow提速了188倍、比PyTorch快13.4倍，代码长度只有其他底层方法的十分之一。
安装它就像TensorFlow一样容易，使用起来也是差不多：
import taichi as ti
甚至，Taichi的发明者胡渊鸣同学还为此编写了完整使用教程。
关于Taichi，胡同学已经发表了多篇文章，分别被SIGGRAGH 2018、ICRA 2019、NeurIPS2019、ICLR 2020等顶会收录。
计算机图形学知名学者、北大教授陈宝权给出很高的评价：
给胡渊鸣同学点赞！一己之力开发了物理模拟编程语言 Taichi！
像渊鸣这样如此投入写有影响力的开源代码实在是难能可贵。
像SIGGRAPH这样的，可能要投入1~2年才会有成果，论文接受率低，即使能发表出来，引用率也不高。
网友们在围观之后也纷纷表示：渊鸣大神太强了。
图形+系统+编译，真是创世的快乐。
88行代码模拟真实物理环境
正如胡同学本人所说，99行代码很短，背后的技术故事却很长。
故事的开头，要从Material Point Method（物质点法）说起。
MPM是一种在影视特效领域广受青睐的模拟连续介质方法，迪士尼的《冰雪奇缘》就用到了这项技术。
但在早期，MPM的运行速度非常慢，比如《冰雪奇缘》里安娜过雪地的镜头，据说要在集群上跑整整一个星期。
为了提高MPM的运行速度和性能，在大四毕业的那个暑假，胡渊鸣投入了Moving Least Squares MPM（MLS-MPM）的研究。
胡渊鸣的灵感是，用移动最小二乘法统一APIC（The Affine Particle-In-Cell Method）中的仿射梯度场（affine velocity field）和MPM中的变形梯度更新（deformation gradient update）两种离散化。
在宾夕法尼亚大学蒋陈凡夫教授的指导下，胡渊鸣等人完成了移动最小二乘物质点法（MLS-MPM）方法的研究，不仅实现了新的应力散度离散化，使MPM的运行速度快了两倍，还成功模拟了MPM此前并不支持的各种新现象。
比如材料切割：
刚性体的双向耦合：
这项成果最终发表在了SIGGRAPH 2018上。
为了进一步证明MLS-MPM的简易性，胡渊鸣用88行C++代码实现了MLS-MPM的demo。（代码详情请戳文末 taichi_mpm 项目链接）。
这个88行版本后来也成为了入门MPM的必备参考实现。
乾坤（ChainQueen）可微物理引擎
2017年的夏天结束之后，胡渊鸣正式进入MIT读博。
这时候，胡渊鸣又迸发了新的灵感：求出MLS-MPM的导数。有了导数，就能只用梯度下降来优化神经网络控制器。
在这一思想的指导下，ChainQueen诞生了。
胡渊鸣解释说，chain是为了纪念他在求导过程中被链式法则折磨的经历，而ChainQueen则与乾坤谐音。
乾坤基于MLS-MPM，是一种针对可变形对象的、实时的可微混合拉格朗日-欧拉物理模拟器。该模拟器在前向仿真和反向梯度计算中均实现了高精度。
这项研究发表在了ICRA 2019上，胡渊鸣也以此完成了硕士论文。
DiffTaichi
随后，胡同学将工作又推进一步，提出了可微分编程DiffTaichi，被ICLR 2020收录。
在这篇文章的代码中，胡同学创建了10个不同的物理模拟器，并根据现有基准对其性能进行基准测试。
Taichi中的可微分编程，可以通过蛮力的梯度下降有效地优化神经网络控制器，而不必使用强化学习。
10种可微分模拟器中的大多数模型可以在2-3小时内实现，而且大部分不需要GPU。这些示例中，弹性体、刚体、流体、光线的折射、弹性碰撞，常见物理环境应有尽有。
第一个示例可微分弹性对象模拟器，经过我们的实测，在2017版13寸的MacBook Pro上也能运行，而且完成优化只需不到十分钟的时间：
不仅是2D，更复杂的3D弹性体也能模拟：
还有可微分的3D流体模拟器，经过450步的梯度下降迭代，已经非常逼真：
DiffTaichi模拟水对光线折射的渲染器，一张图片经过它的渲染，甚至能骗过图像分类器。经过测试，VGG16将带有水波纹的松鼠图片当做金鱼，而且认为概率为99.91%。
在强化学习的模拟环境中，刚体机器人很常见，DiffTaichi也能模拟：
DiffTaichi还能模拟多个物体的复杂场景，比如台球：
用Taichi语言编写的模拟器大大简化了代码，可微分弹性对象模拟器只用了110行代码，而直接用CUDA编写则需要490行。
同时，Taichi的速度还很快，相比CUDA版本几乎没有什么损失，比TensorFlow快了188倍，比PyTorch快13.4倍。
而且神经网络控制器一般只需要几十次迭代，即可完成优化。
为何做Taichi
谈到为何要做Taichi，计算机图形学一直缺乏像TensorFlow那样的通用工具，每个要从事开发的人都必须了解基本原理，才能去做编程。
这和深度学习领域形成了鲜明的对比。
近年来，甚至有中学生，利用TensorFlow或者PyTorch，写一点代码，优化几个模型，就可以在一些顶会上发表论文，许多人看来，这是件坏事，因为让深度学习论文的含金量大大降低。
但胡渊鸣看到了另一面。他认为，深度学习这些年之所以能发展快、门槛低，就是因为有简单易用的好工具，计算机图形学让人望而却步，就是因为缺乏类似的工具，因此他开发了Taichi。
本来Taichi要做成一种单独的编程语言，但是为了方便大家使用，胡渊鸣用了一句import taichi as ti把Taichi语言假装成Python。
改成基于Python，这样做的好处不仅是降低学习门槛，还能使用很多现成的Python IDE，与numpy、matplotlib等工具库无缝衔接。
经过几个月的努力，胡渊鸣终于把Taichi改成了pypi安装包，让不同配置不同操作系统的机器都能顺利运行图形学的程序。
高一保送清华，博一6篇paper
说起胡渊鸣，这又是一位从少年时代起就熠熠闪光的“大神级”选手。
高一保送清华，竞赛生涯中，拿下APIO 2012、NOI 2012、ACM-ICPC 2013长沙区域赛、ACM-ICPC上海区域赛四块金牌，其中APIO 2012成绩是全场第一名。
2013年进入清华姚班，胡渊鸣与陈立杰、范浩强等人成为同班同学，这群年轻人的才华在这里汇聚、碰撞，与“姚班”二字相互成就。
本科期间，胡渊鸣先后前往东京大学、斯坦福大学访学，并曾于微软亚洲研究院实习，从事深度学习和计算机图形学研究。本科便有多篇论文中选CVPR、SIGGRAPH等国际顶会。
2017年，胡渊鸣进入MIT读博。入学13个月后，完成硕士论文ChainQueen，拿到MIT硕士学位。博一期间，共发表6篇顶会论文。
回答
作者：九章算法 链接：https://www.zhihu.com/question/22744854/answer/763206431 来源：知乎
首先，这个神仙项目请你pick： https://github.com/sindresorhus/awesome 各领域各语言资源大合集
另外，可以关注GitHub的每日榜单，看看大家都在关注些什么（虽然有国外小哥吐槽榜单上都是中文哈哈 https://github.com/trending/python?since=daily
推荐不同语言的几个项目：
Python ： youtube-dl这个程序是一个开源的python项目。支持MacOS、Linux和Windows平台，可以在官网直接下载编译好的程序。可以用来下载YouTube视频，国内的一些视频站也可以进行下载。 interview_internal_reference： 总结了2019年最新的阿里，腾讯，百度，美团，头条等技术面试题目以及答案，分析汇总。 sherlock： 高级机器视觉软件，可以用于广泛的自动化检测应用。它提供了最大的设计灵活性，丰富的已验证的工具和功能。 DeepFaceLab： 这是一个github上的开源项目，所有人都可以查看源代码也能免费使用。个人认为这个项目的最大优点就是安装超级简单，几乎是无需安装，使用过程也不复杂 Manim： 解释数学视频的动画引擎。可以用来创建精确的2D动画。 XSStrike：XSStrike是一个Cross Site Scripting检测套件，配备四个手写解析器，一个智能有效载荷生成器，一个强大的模糊引擎和一个非常快速的爬虫。 XSStrike不是像其他工具一样注入有效载荷并检查它的工作原理，而是通过多个解析器分析响应，然后通过与模糊引擎集成的上下文分析来保证有效载荷。 f="https://github.com/wangshub">Douyin -Bot：抖音机器人。是用于机器人算法的Python代码。教你如何在抖音上找到漂亮小姐姐~~ Photon：快速抓取工具，可以提取网址，电子邮件，文件，网站帐户等等。 google-images-download：可以实现搜索和下载数百个Google图像的Python脚本到本地。 faceswap是个基于dlib的换脸程序。模型训练速度较快，同样配置下更快的到达低loss值，而且有gui界面版本。 you-getyou-get 是py上一个方便的下载工具。这个爬虫神器能爬取视频网站和图片网站，你不用写任何代码就能很容易的把你喜欢的视频或者图片甚至音频文件给扒下来。而且支持腾讯、搜狐、新浪、B站、央视网、芒果TV，乐视网、优酷、熊猫斗鱼等等大多数的国内主流视频网站。 Java： advanced-java： Java工程师进阶知识扫盲，适合系统学习。 vhr：一个前后端分离的人力资源管理系统，采用SpringBoot+Vue开发。这个项目的权限管理模块已经开发完成，其他模块还在开发当中。可以管理角色和资源的关系，管理用户和角色的关系。 cat：作为服务端项目基础组件，cat提供了 Java, C/C++, Node.js, Python, Go 等多语言客户端，已经在美团点评的基础架构中间件框架（MVC框架，RPC框架，数据库框架，缓存框架等，消息队列，配置系统等）深度集成，为美团点评各业务线提供系统丰富的性能指标、健康状况、实时告警等。 jeecg-boot：一款基于代码生成器的JAVA快速开发平台！全新架构前后端分离：SpringBoot 2.x，Ant Design&Vue，Mybatis，Shiro，JWT。强大的代码生成器让前后端代码一键生成，无需写任何代码，绝对是全栈开发的福音！！ interviews：软件工程技术面试个人指南。可以这里找到针对很多面试问题的视频解决方案以及详细说明。 p3c：是阿里巴巴p3c项目组进行研发。根据《阿里巴巴Java开发规范》转化而成的自动化插件，并且实现了部分自动编程。 SpringAll：包括了Spring Boot，Spring Boot＆Shiro，Spring Cloud，Spring Boot＆Spring Security＆Spring Security OAuth2等系列教程。toBeTopJavaer：Java工程师成神之路。总结的很好，直接理解学习就完了。
JavaScript： quasar：Quasar Framework是MIT许可的开源项目。能在记录时间内构建高性能VueJS用户界面 Daily-Interview-Question：前端大厂面试题汇总 next.js：一个基于React的一个服务端渲染简约框架。它使用React语法，可以很好的实现代码的模块化，有利于代码的开发和维护。 javascript-algorithms：这个存储库包含许多流行算法和数据结构的基于JavaScript的示例。每个算法和数据结构都有自己独立的自述文件，包含相关说明和链接，供进一步阅读 baidu-netdisk-downloaderx：一款图形界面的百度网盘不限速下载器，支持Windows，Linux和Mac。重点在不限速！
其他好玩的项目~ ChineseBQB：国内表情包大集合~~ komeiji-satori/Dress：女装大佬项目，一张图你就懂了
chinese-poetry最全的中文诗歌古典文集数据库.包含5.5万首唐诗、26万首宋诗和2.1万首宋词。唐宋两朝近1.4万古诗人, 和两宋时期1千多位词人 thefuck该项目的主要作用是，在terminal 里输错命令之后无需修改，fuck 一下，自动帮你更正命令，既解气又实用。
加入阿里云钉钉群享福利：每周技术直播，定期群内有奖活动、大咖问答 阿里云开发者社区
回答
原版英文链接：点击这里
作者 | Md Kamaruzzaman 译者 | 无明 策划 | 小智
基础设施：条条道路通云端
对于云厂商来说，2019 年是硕果累累的一年。不仅初创公司在使用云计算，那些很注重安全的“保守派”公司（如政府机构、医疗保健机构、银行、保险公司，甚至是美国五角大楼）也在迁移到云端。这种趋势在 2020 年将会继续，大大小小的公司都将（或者至少有计划）迁移到云端。Gartner 公司最近发布了一个数字：
如果你是一个还在考虑要不要迁移到云端的决策者，不妨重新审视一下你的策略。如果你是一个独立开发者，并且还没使用过云基础设施，那么完全可以在 2020 年尝试一下。很多大型的云厂商（如亚马逊、微软、谷歌）都提供了免费的体验机会。谷歌在这方面做得特别大方，它提供了价值 300 美元的一年免费服务。
策划注：阿里、腾讯、华为等国内云厂商同样有免费云服务试用产品。
云平台：亚马逊领头，其他跟上
作为第一大云厂商，亚马逊在 2019 年可谓风生水起。凭借其丰富的产品组合，亚马逊将把它的优势延续到 2020 年。Canalys 发布的 2019 年第三季度报告指出，大型云厂商（AWS、Azure、GCP）占据 56% 的市场份额，其中 AWS 独享 32.6%。
其他云厂商也在努力缩短与 AWS 之间的差距。微软把主要目标转向了大型企业。最近，微软打败了亚马逊，从美国五角大楼拿到了一个 100 亿美元的大单子。这个单子将提升 Azure 的声誉，同时削弱 AWS 的士气。
谷歌一直在推动 CNCF，实现云计算运维的标准化。谷歌的长期目标是让云迁移变得更容易，方便企业从 AWS 迁移到 GCP。IBM 之前斥资 360 亿美元收购了 RedHat，也想要在云计算市场占有一席之地。
在亚太地区，阿里云市场规模超过了 AWS、Azure 的总和，全球排名第三。中国国内腾讯云等企业的增长势头也十分迅猛。
2020 年将出现更多的并购。当然，很多初创公司将会带来新的想法和创新，例如多云服务。因为竞争激烈，这些公司只能从降价和推出更多的创新产品来获取利润。
容器化：Kubernetes 将会更酷
在容器编排领域，虽然一度出现了“三足鼎立”（Kubernetes、Docker Swarm 和 Mesos），但 Kubernetes 最终脱颖而出，成为绝对的赢家。云是一个分布式系统，而 Kubernetes 是它的 OS（分布式的 Linux）。2019 年北美 KubeCon+CloudNativeCon 大会的参会者达到了 12000 名，比 2018 年增长了 50%。以下是过去 4 年参会人数的增长情况。
在 2020 年，Kubernetes 不仅不会后退，只会变得越来越强，你完全可以把赌注压在 Kubernetes 身上。另外值得一提的是，Migrantis 最近收购了 Docker Enterprise，不过收购数额不详。
几年前，人们张口闭口说的都是 Docker，而现在换成了 Kubernetes。Docker 在它的全盛时期未能盈利，反而在优势渐退几年之后才尝试变现。这再次说明，在现代技术世界，时机就是一切。
软件架构：微服务将成为主流
谷歌趋势表明，微服务架构范式在 2019 年持续增长了一整年。
随着软件行业整体逐步迁移到云端，微服务也将成为占主导地位的架构范式。微服务架构崛起的一个主要原因是它与云原生完美契合，可以实现快速的软件开发。我在之前的一篇博文中解释了微服务架构的基本原则及其优势和劣势。
https://towardsdatascience.com/microservice-architecture-a-brief-overview-and-why-you-should-use-it-in-your-next-project-a17b6e19adfd
我假设现在也存在一种回归到单体架构的趋势，因为在很多情况下，微服务架构有点过头了，而且做好微服务架构设计其实很难。微服务架构有哪些好的实践？在之前的另一篇博文中，我也给出了一些大概，希望对读者有用。
https://towardsdatascience.com/effective-microservices-10-best-practices-c6e4ba0c6ee2
编程语言（整体）：Python 将吞噬世界
机器学习、数据分析、数据处理、Web 开发、企业软件开发，甚至是拼接黑洞照片，Python 的影子无处不在。
在著名的编程语言排行榜网站 TIOBE 上，Python 位居最流行编程语言第三位，仅次于 Java 和 C 语言。
更有意思的是，在 2019 年，Python 的流行度翻了一番（从 5% 到 10%）。
Python 的崛起将在 2020 年延续，并缩短与 Java 和 C 语言之间的差距。另一门无所不在的编程语言 JavaScript 正面临下行的风险。为什么 Python 的势头会如此强劲？因为它的入手门槛低，有一个优秀的社区在支持，并受到数据科学家和新生代开发者的喜爱。
编程语言（企业方面）：Java 将占主导
之前的 TIOBE 网站截图显示，Java 仍然是一门占主导地位的编程语言，并将在 2020 年继续保持这种地位。JVM 是 Java 的基石，其他编程语言（如 Kotlin、Scala、Clojure、Groovy）也将 JVM 作为运行时。最近，Oracle 修改了 JVM 的许可协议。
新的许可协议意味着使用 Java、Kotlin、Scala 或其他 JVM 编程语言的公司需要向 Oracle 支付大额费用。所幸的是，OpenJDK 让 JVM 继续免费。另外，还有其他一些公司为 JVM 提供企业支持。
因为体积和速度方面的问题，基于 JVM 的编程语言并不适合用在今天的无服务器环境中。Oracle 正在推动 GraalVM 计划，旨在让 Java 变得更加敏捷和快速，让它更适合用在无服务器环境中。因为除了 Java，没有其他编程语言可以提供企业级的稳定性和可靠性，所以 Java 将在 2020 年继续占主导地位。
企业版 Java：Spring 继续发力
曾几何时，在企业开发领域，Spring 和 JavaEE 之间存在着白热化的竞争。但因为 Oracle 在 JavaEE 方面没有作为，在竞争中惨败，这导致了“MicroProfile”计划的形成，并最终促成了 JakartaEE。
虽然所有的政策和活动都是围绕 JavaEE 展开，但 Spring 事实上已经赢得了这场企业 JVM 之争。2020 年，Spring 将成为 JVM 生态系统的头牌。
有两个正在进展中的项目，它们旨在减小 Java 的体积，让它更适合用在无服务器环境中。
其中一个是 Micronaut（https://micronaut.io/）。
另一个是 Quarkus（https://quarkus.io/）。
这两个项目都使用了 GraalVM，它们在 2020 年将会得到 Java 社区更多的关注。
编程语言：后起之秀的突破
2000 年代，编程语言的发展出现了停滞。大多数人认为没有必要再去开发新的编程语言，Java、C 语言、C++、JavaScript 和 Python 已经可以满足所有的需求。但是，谷歌的 Go 语言为新编程语言大门打开了一扇大门。在过去十年出现了很多有趣的编程语言，比如 Rust、Swift、Kotlin、TypeScript。导致这种情况的一个主要原因是已有的编程语言无法充分利用硬件优势（例如多核、更快的网络、云）。另一个原因是现代编程语言更加关注开发者经济，即实现更快速更容易的开发。在 Stackoverflow 提供的一份开发者报告中，排名靠前的现代编程语言如下所示（Rust 连续 4 年名列第一）。
在之前的一篇博文中，我深入探讨了现代编程语言，对比 Rust 和 Go 语言，并说明了为什么现在是采用这些语言的好时机。
https://towardsdatascience.com/back-to-the-metal-top-3-programming-language-to-develop-big-data-frameworks-in-2019-69a44a36a842
最近，微软宣布他们在探索使用 Rust 来开发更安全的软件。
亚马逊最近也宣布要赞助 Rust。
谷歌宣布将 Kotlin 作为 Android 官方开发语言，所以，在 JVM 领域，Kotlin 成了 Java 的主要竞争对手。
Angular 使用 TypeScript 代替 JavaScript，将其作为主要的编程语言，其他 JavaScript 框架（如 React 和 Vue）也开始为 TypeScript 提供更多的支持。
这种趋势将在 2020 年延续下去，很多巨头公司将会深入了解新一代编程语言（如 Rust、Swift、TypeScript、Kotlin），它们会站出来公开表示支持。
Web：JavaScript 继续占主导地位
曾几何时，JavaScript 并不被认为是一门强大的编程语言。在当时，前端内容主要通过后端框架在服务器端进行渲染。2014 年，AngularJS 的出现改变了这种局面。从那个时候开始，更多的 JavaScript 框架开始涌现（Angular 2+、React、Vue、Meteor），JavaScript 已然成为主流的 Web 开发语言。随着 JavaScript 框架不断创新以及微服务架构的崛起，JavaScript 框架在 2020 年将继续主导前端开发。
JavaScript 框架：React 闪耀
虽然 React 是在 AngularJS 之后出现的，但在过去十年对 Web 开发产生了巨大的影响，这也让 Facebook 在与 Google+ 的竞争中打了一场胜战。React 为前端开发带来了一些新的想法，比如事件溯源、虚拟 DOM、单向数据绑定、基于组件的开发，等等。它对开发者社区产生了重大影响，以至于谷歌放弃了 AngularJS，并借鉴 React 的想法推出了彻底重写的 Angular 2+。React 是目前为止最为流行的 JavaScript 框架，下图显示了相关的 NPM 下载统计信息。
为了获得更好的并发和用户体验，Facebook 宣布完全重写 React 的核心算法，推出了 React-Fiber 项目。
2020 年，React 仍然是你开发新项目的首选 Web 框架。其他框架（如 Angular/Angular 2+ 或 Vue）呢？Angular 仍然是一个不错的 Web 开发框架，特别适合企业开发。我敢肯定谷歌在未来几年会在 Angular 上加大投入。Vue 是另一个非常流行的 Web 框架，由中国的巨头公司阿里巴巴提供支持。如果你已经在使用 Angular 或 Vue，就没必要再迁移到 React 了。
App 开发：原生应用
在移动 App 开发方面，有关混合应用开发的炒作有所消停。混合开发提供了更快的开发速度，因为只需要一个开发团队，而不是多个。但原生应用提供了更好的用户体验和性能。另外，混合应用需要经过调整才能使用一些高级特性。对于企业来说，原生应用仍然是首选的解决方案，这种趋势将在 2020 年延续。Airbnb 在一篇博文中非常详细地说明了为什么他们要放弃混合应用开发平台 React Native。
https://medium.com/airbnb-engineering/sunsetting-react-native-1868ba28e30a
尽管 Facebook 尝试改进 React Native，谷歌也非常努力地推动混合 App 开发平台 Flutter，但它们仍然只适合用于原型、POC、MVP 或轻量级应用的开发。所以，原生应用在 2020 年仍将继续占主导地位。
在原生应用开发方面，谷歌和苹果分别将 Kotlin 和 Swift 作为各自平台主要的编程语言。谷歌最近再次重申了对 Kotlin 的支持，这对于 Kotlin 用户来说无疑是个好消息。
混合应用开发：React Native
在很多情况下，混合应用是个不错的选择。在这方面也有很多选择：Xamarin、Inoic、React Native 和 Flutter。Facebook 基于成熟的 React 框架推出了 React Native。就像 React 在 Web 框架领域占据主导地位一样，React Native 在混合应用领域也占据着主导地位，如下图所示。
React Native 和 React 有共同的基因，都提供了高度的代码重用性以及“一次开发，到处运行”的能力。React Native 的另一个优势是 Facebook 本身也用它来开发移动应用。谷歌在这个领域起步较晚，但在去年，谷歌的混合应用开发框架 Flutter 获得了不少关注。Flutter 提供了更好的性能，但需要使用另一门不是那么流行的编程语言 Dart。React Native 在 2020 年将继续占主导地位。
API：REST 将占主导地位
REST 是 API 领域事实上的标准，被广泛用在基于 API 的服务间通信上。当然，除了 REST，我们还有其他选择，比如来自谷歌的 gRPC 和来自 Facebook 的 GraphQL。
它们提供了不同的能力。谷歌开发的 gRPC 作为远程过程调用（如 SOAP）的化身，使用 Protobuf 代替 JSON 作为消息格式。Facebook 开发的 GraphQL 作为一个集成层，避免频繁的 REST 调用。gRPC 和 GraphQL 都在各自的领域取得了成功。2020 年，REST 仍然是占主导地位的 API 技术，而 GraphQL 和 gRPC 将作为补充技术。
人工智能：Tensorflow 2.0 将占主导地位
谷歌和 Facebook 也是深度学习 / 神经网络领域的主要玩家。谷歌基于深度学习框架 Theano 推出了 TensorFlow，它很快就成为深度学习 / 神经网络的主要开发库。谷歌还推出了特别设计的 GPU（TPU）来加速 TensorFlow 的计算。
Facebook 在深度学习领域也不甘落后，他们拥有世界上最大的图像和视频数据集合。Facebook 基于另一个深度学习库 Torch 推出了深度学习库 PyTorch。TensorFlow 和 PyTorch 之间有一些区别，前者使用的是静态图进行计算，而 PyTorch 使用的是动态图。使用动态图的好处是可以在运行时纠正自己。另外，PyTorch 对 Python 支持更好，而 Python 是数据科学领域的一门主要编程语言。
随着 PyTorch 变得越来越流行，谷歌也赶紧在 2019 年 10 月推出了 TensorFlow 2.0，也使用了动态图，对 Python 的支持也更好。
2020 年，TensorFlow 2.0 和 PyTorch 将齐头并进。考虑到 TensorFlow 拥有更大的社区，我估计 TensorFlow 2.0 将成为占主导地位的深度学习库。
数据库：SQL是王者,分布式SQL是王后
在炒作 NoSQL 的日子里，人们嘲笑 SQL，还指出了 SQL 的种种不足。有很多文章说 NoSQL 有多么的好，并将要取代 SQL。但等到炒作的潮水褪去，人们很快就意识到，我们的世界不能没有 SQL。以下是最流行的数据库的排名。
可以看到，SQL 数据库占据了前四名。SQL 之所以占主导地位，是因为它提供了 ACID 事务保证，而 ACID 是业务系统最潜在的需求。NoSQL 数据库提供了横向伸缩能力，但代价是不提供 ACID 保证。
互联网公司一直在寻找“大师级数据库”，也就是既能提供 ACID 保证又能像 NoSQL 那样可横向伸缩的数据库。目前有两个解决方案可以部分满足对“大师级数据库”的要求，一个是亚马逊的 Aurora，一个是谷歌的 Spanner。Aurora 提供了几乎所有的 SQL 功能，但不支持横向写伸缩，而 Spanner 提供了横向写伸缩能力，但对 SQL 支持得不好。
2020 年，但愿这两个数据库能够越走越近，或者有人会带来一个“分布式 SQL”数据库。如果真有人做到了，那一定要给他颁发图灵奖。
数据湖：MinIO 将要崛起
现代数据平台非常的复杂。企业一般都会有支持 ACID 事务的 OLTP 数据库（SQL），也会有用于数据分析的 OLAP 数据库（NoSQL）。除此之外，它们还有其他各种数据存储系统，比如用于搜索的 Solr、ElasticSearch，用于计算的 Spark。企业基于数据库构建自己的数据平台，将 OLTP 数据库的数据拷贝到数据湖中。各种类型的数据应用程序（比如 OLAP、搜索）将数据湖作为它们的事实来源。
HDFS 原本是事实上的数据湖，直到亚马逊推出了对象存储 S3。S3 可伸缩，价格便宜，很快就成为很多公司事实上的数据湖。使用 S3 唯一的问题是数据平台被紧紧地绑定在亚马逊的 AWS 云平台上。虽然微软 Azure 推出了 Blob Storage，谷歌也有类似的对象存储，但都不是 S3 的对手。
对于很多公司来说，MinIO 或许是它们的救星。MinIO 是一个开源的对象存储，与 S3 兼容，提供了企业级的支持，并专门为云原生环境而构建，提供了与云无关的数据湖。
微软在 Azure Marketplace 是这么描述 MinIO 的：“为 Azure Blog Storage 服务提供与亚马逊 S3 API 兼容的数据访问”。如果谷歌 GCP 和其他云厂商也提供 MinIO，那么我们将会向多云迈出一大步。
大数据批处理：Spark 将继续闪耀
现如今，企业通常需要基于大规模数据执行计算，所以需要分布式的批处理作业。Hadoop 的 Map-Reduce 是第一个分布式批处理平台，后来 Spark 取代了 Hadoop 的地位，成为真正的批处理之王。Spark 是怎样提供了比 Hadoop 更好的性能的？我之前写了另一篇文章，对现代数据平台进行了深入分析。
https://towardsdatascience.com/programming-language-that-rules-the-data-intensive-big-data-fast-data-frameworks-6cd7d5f754b0
Spark 解决了 Hadoop Map-Reduce 的痛点，它将所有东西放在内存中，而不是在完成每一个昂贵的操作之后把数据保存在存储系统中。尽管 Spark 重度使用 CPU 和 JVM 来执行批处理作业，但这并不妨碍它成为 2020 年批处理框架之王。我希望有人能够使用 Rust 开发出一个更加高效的批处理框架，取代 Spark，并为企业省下大量的云资源费用。
大数据流式处理：Flink 是未来
几年前，实现实时的流式处理几乎是不可能的事情。一些微批次处理框架（比如 Spark Streaming）可以提供“几近”实时的流式处理能力。不过，Flink 改变了这一状况，它提供了实时的流式处理能力。
2019 年之前，Flink 未能得到足够的关注，因为它无法撼动 Spark。直到 2019 年 1 月份，中国巨头公司阿里巴巴收购了 Data Artisan（Flink 背后的公司）。
在 2020 年，企业如果想要进行实时流式处理，Flink 应该是不二之选。不过，跟 Spark 一样，Flink 同样重度依赖 CPU 和 JVM，并且需要使用大量的云资源。
字节码：WebAssembly将被广泛采用
我从 JavaScript 作者 Brandon Eich 的一次访谈中知道了 WebAssembly 这个东西。现代 JavaScript（ES5 之后的版本）是一门优秀的编程语言，但与其他编程语言一样，都有自己的局限性。最大的局限性是 JavaScript 引擎在执行 JavaScript 时需要读取、解析和处理“抽象语法树”。另一个问题是 JavaScript 的单线程模型无法充分利用现代硬件（如多核 CPU 或 GPU）。正因为这些原因，很多计算密集型的应用程序（如游戏、3D 图像）无法运行在浏览器中。
一些公司（由 Mozilla 带领）开发了 WebAssembly，一种底层字节码格式，让任何一门编程语言都可以在浏览器中运行。目前发布的 WebAssembly 版本可以支持 C++、Rust 等。
WebAssembly 让计算密集型应用程序（比如游戏和 AutoCAD）可以在浏览器中运行。不过，WebAssembly 的目标不仅限于此，它还要让应用程序可以在浏览器之外运行。WebAssembly 可以被用在以下这些“浏览器外”的场景中。
移动设备上的混合原生应用。没有冷启动问题的无服务器计算。在服务器端执行不受信任的代码。 我预测，2020 年将是 WebAssembly 取得突破的一年，很多巨头公司（包括云厂商）和社区将会拥抱 WebAssembly。
代码：低代码 / 无代码将更进一步
快速的数字化和工业 4.0 革命意味着软件开发者的供需缺口巨大。由于缺乏开发人员，很多企业无法实现它们的想法。为了降低进入软件开发的门槛，可以尝试无代码（No Code）或低代码（Low Code）软件开发，也就是所谓的 LCNC（Low-Code No-Code)。它已经在 2019 年取得了一些成功。
LCNC 的目标是让没有编程经验的人也能开发软件，只要他们想要实现自己的想法。
虽然我对在正式环境中使用 LCNC 框架仍然心存疑虑，但它为其他公司奠定了良好的基础，像亚马逊和谷歌这样的公司可以基于这个基础构建出有用的产品，就像 AWS Lambda 的蓬勃发展是以谷歌 App Engine 为基础。
2020 年，LCNC 将会获得更多关注。