研究报告简述
- 多年来，像谷歌这样的搜索引擎一直在改变内容的呈现方式，通过更好地理解用户需求，提供更准确的结果。
- 现在，技术使得组织采用这种新的语义搜索功能比以往任何时候都更容易。
- 这使得企业内部大量的知识得以释放，并将其置于员工的指尖。
- 因此，搜索引擎正在成为“寻找引擎”，寻找用户需要的答案。
如果你理解用户在搜索什么，你可以制作一个更好的搜索引擎:更好的理解=更好的结果。这是贯穿整个搜索引擎发展的指导原则。问题是，语言是复杂的。一个搜索查询中可能有很多单词——更不用说这些单词和它们不同的意思可能的组合——直到现在我们才开发出更好地理解用户意图并使更好的搜索成为现实的工具。
花点时间考虑这些统计数据，您就会明白为什么过去许多提高语义理解的尝试都失败了。迄今为止规模最大的百分比的话(超过90%)将只用于我们日常生活的一个小的次数,因此在任何数据集。太少的出现使得这些话不适合机器学习(ML)方法需要大量的训练数据集。
另一方面,有一小部分词汇使用所有的时间(这样的词“的”或“和”),变得过于模糊,因此也不适合毫升。这使得少量常用的“金发姑娘”字足以产生足够的例子,但不是经常,他们变得无用。所以，第一个挑战就是识别这些词——大海捞针。
第二个挑战是理解人们在对话中使用这些词汇时通过共享的世界知识给语言带来的意义。这就解释了为什么过去的语义搜索方法没有成功，为什么花了这么长时间才达到今天的水平。
但是，如果我们能够训练计算机，使其获得有效理解语言所必需的世界知识，并将其应用于语义搜索，情况会怎样呢?
一个搜索查询中可能有太多的单词，直到现在我们才开发工具来更好地理解用户意图，并使更好的搜索成为现实。
欢迎来到新的语义搜索时代
新的语义搜索已经将搜索引擎从基于用户在搜索栏中输入的字面词来显示内容，转向理解这些词的意图并显示用户真正需要的内容。换句话说，搜索引擎正变得越来越像文字搜索引擎。
例如，请考虑在谷歌这样的搜索引擎中输入“1 USD in GBP”或“country code 56”会产生什么结果。搜索结果会给出你想要的答案，而不仅仅是一系列包含你的搜索语言的结果。
新的语义搜索已经将搜索引擎从基于用户在搜索栏中输入的字面词来显示内容，转向理解这些词的意图并显示用户真正需要的内容。
通过从外部获取文本数据，新的语义搜索方法比过去的方法对细微差别有更广泛和更准确的理解。多亏了神经网络(NNs)和通用句子编码器，计算机正在接受阅读句子的训练，并对内容进行“抽象语义理解”。例如，搜索“1美元兑换成英镑”或“1美元兑换成英镑”可以用来训练系统将查询“理解”为[数字][货币][动作或短语][货币]。这个模式的意思是“将一种货币转换成另一种货币。”
通常，这些网络神经网络都是使用维基百科和MedLine等来源的内容广泛、目的交叉的文本进行培训的。有了足够的文本，我们就会有更多的例子来说明单词(和短语)是如何使用的，这会让我们对内容有更丰富的理解。通过这种方式，我们将外部世界的知识引入到我们的“搜索和发现”经验中，从而产生更好的结果。
为企业带来新的语义搜索
谷歌引入了新的语义搜索功能，通过真正理解用户的需求，它开始重新定义当前的挑战。这听起来很简单，作为消费者，我们已经开始期待每个服务提供商和搜索引擎都能提供这种搜索能力。
但在企业中，这并不总是可能的。由于无法访问成千上万的数据科学家和机器学习专家来实现更复杂的语义搜索功能，组织在很大程度上难以驾驭这种方法。语义搜索功能既昂贵又费时。
根据我们的经验，采用企业范围的搜索方法也遇到了三个主要障碍:
- 1. 传统上，数据是不可访问的，被锁在孤立的业务系统中。
- 2. 到目前为止，将最好的搜索引擎与最好的机器学习和自然语言处理(NLP)功能集成起来是很困难的，而且几乎是不可能的。
- 3.为了解决语言歧义问题，需要手工编码，因此技术未能有效和大规模地解决这个问题。
幸运的是，这些障碍正在逐渐消失。
对此，我们有信心-新语义搜索将成为每一个组织的信息的瑞士军刀。
数据仓库、数据湖和数据摄取工具的增长正在打破竖井，使数据更容易跨组织使用。专门为实现业务应用程序语义搜索而设计的新工具的出现，正在解决集成的挑战。
虽然搜索引擎、ML和NLP仍然是不同的技术，但我们正在更好地集成它们。事实上，许多搜索引擎公司和云服务提供商(如谷歌、微软和AWS)现在都提供了现成的伞形解决方案。此外，技术的发展使得不需要编码就可以实现更准确的模糊解决方案和NLP，这意味着新的语义搜索正在迅速成为企业组织现实和可维护的选择。
以我们的一个航空航天制造客户为例。制造车间的员工只需将条形码阅读器对准飞机部件的条形码，该工具的系统就会对如何使用或维护该部件进行全公司范围的搜索，只显示最相关的信息。我们将条形码解释为用户的查询“告诉我这部分的一切，包括如何维护或更换它。”
通过从组织内的专家那里获取企业知识，并通过这个新的语义搜索功能使这些知识变得可操作，我们帮助缩短了用户和所有业务系统之间的距离，并收集了知识。
与其去金融网站查询发票号码或去IT网站询问技术问题，不如想象一下拥有一个能够理解你的需求并提供正确回复的搜索工具的价值。
如果语义搜索最终是创造获取答案和信息的途径，那么创造一个单一的真理来源将是不可分割的一部分。设想使用一个查找工具来查找整个组织中所有问题的答案。在更广泛的业务环境中，可以使用新的语义搜索来改进对任意数量的信息点的访问，例如产品名称、收费代码、电子邮件地址、发票和合同编号、办公地点等等。
与其去金融网站查询发票号码、电子邮件地址，或者去IT网站询问技术问题，不如想象一下拥有一个能够理解你的需求并提供正确答复的搜索工具的价值——更不用说安慰了。
对此，我们有信心-新语义搜索将成为瑞士军刀的每一个组织的信息。公共搜索引擎提升了游戏的实用性和用户体验。现在企业也可以为客户和员工做同样的事情。
