中国人工智能学会通讯——机器学习在商务智能中的创新应用 1.3 结构化的知识

简介:

1.3 结构化的知识

我想说明一下图中的“小泡”,也就是开放数据连接“小泡”。我不知道你们有多少人从事这个领域,我之后可能会介绍。外部有很多东西,公司内部也有一些其他的东西,我们都知道公共知识有很大的增长,我们利用它可以做很多事情。如果说我们把整个维基百科中的东西都印刷出来,就像印刷出版《百科全书》那样,那会是多么庞大的工作。

公共知识为什么对我们来说会如此重要?这些非结构化的数据以文本形式储存在图书馆,因为收集整理这些数据是迈向数据结构化的重要一步。另外,我们还有知识图谱,比如谷歌将最早的免费知识图谱进行完善后免费将其回馈给社会,还有像Bing、百度等也在做这项工作,这跟建造工厂不是一回事。

image

如果说现在随机选择一个美国的搜索引擎进行搜索,我们会在搜索结果页面的右侧看到一些小框,它们并不来自于文件,左边是来自于文件,是典型搜索引擎的搜索结果。在右边,我们看到的东西其实都是来自于知识图谱的非结构化知识。

现在有越来越多的团体和企业想要做这样的一些知识图谱,我这边列出了一些。第一个Yago是在赛尔布鲁肯,非常有名。第二个是DBpedia,他们在欧洲做开放数据库,他们努力将很多领域的知识集中在一起。我们也跟他们有合作。Freebase还在,但是大不如前,它已成为Wikidata的一部分。大家可能都知道Wikidata,当然也有些中国人并不知道,Wikidata积极倡导将非结构化知识转化为结构化知识,它在此类项目中是最大的。Wikidata基金位于柏林,我们和他们在相关项目上有非常密切的合作。我在这里就不说Google Knowledge Vault了,因为它已不再那么干净了,其中部分或大部分都是自动收集的数据。

image

上面这张图其实有好几年的历史了,为什么没新的?这张照片的每一个小泡泡,都是一些基于数据的语意知识或者结构式知识库,一些像是Web 3.0,一些更像是语意网络,还有一些更像是数据库。但是其实它们在语意上面都是相互联系的,形成相互联系的开放数据。每个小泡上都至少有一种联系,将其与其他小泡连接在一起,在这么多泡泡当中,你会看电影数据库、名人信息数据库、化学元素数据库等。为什么已经过了好几年我们还在用这张图?因为现在这样的一张图没有办法再把其他这几年新的内容加进去,这张图已经容纳不下。

我们把DBpedia的数据库放在中心,因为他们正在努力将其他的数据库连接起来。在我们的项目当中,我们做了一个尝试,希望能够在工业应用中将不同数据类型连接在一起,一些我们使用的方法是和DBpedia的方法相同,用以解决一些行业问题。

image

从这边可以看到,有一些比较特殊的数据,这些数据你只能和大公司合作才能获得,比如你在阿里、京东工作,或者是大型的物流企业、电信企业。但是右边的数据就便宜的多,比如气象学数据、媒体新闻数据、地理数据和卫星数据等,这些都非常容易获得。但是图最上方的是科学知识、知识社区(包括维基百科)、其他开放数据等,蓝色方框中的是企业内部的数据。如果将不同来源的数据整合在一起,就会带来巨大的价值。

如果我们要为某一地区开发一个运输分析APP,可能会用到交通数据和开源知识社区数据,后者会为你提供开放式街景图、场所、产品类型、包装等一些信息。还有就是气象学数据,因为对运输而言,气象非常的重要。你还可以从物流公司获取地理数据和卫星数据。如果能够垂直整合这些数据,你就能够做出非常棒的产品。

相关文章
|
12月前
|
人工智能 自然语言处理 数据挖掘
云上玩转Qwen3系列之三:PAI-LangStudio x Hologres构建ChatBI数据分析Agent应用
PAI-LangStudio 和 Qwen3 构建基于 MCP 协议的 Hologres ChatBI 智能 Agent 应用,通过将 Agent、MCP Server 等技术和阿里最新的推理模型 Qwen3 编排在一个应用流中,为大模型提供了 MCP+OLAP 的智能数据分析能力,使用自然语言即可实现 OLAP 数据分析的查询效果,减少了幻觉。开发者可以基于该模板进行灵活扩展和二次开发,以满足特定场景的需求。
|
8月前
|
机器学习/深度学习 数据采集 算法
量子机器学习入门:三种数据编码方法对比与应用
在量子机器学习中,数据编码方式决定了量子模型如何理解和处理信息。本文详解角度编码、振幅编码与基础编码三种方法,分析其原理、实现及适用场景,帮助读者选择最适合的编码策略,提升量子模型性能。
614 8
|
9月前
|
机器学习/深度学习 人工智能 自然语言处理
Java 大视界 -- Java 大数据机器学习模型在自然语言生成中的可控性研究与应用(229)
本文深入探讨Java大数据与机器学习在自然语言生成(NLG)中的可控性研究,分析当前生成模型面临的“失控”挑战,如数据噪声、标注偏差及黑盒模型信任问题,提出Java技术在数据清洗、异构框架融合与生态工具链中的关键作用。通过条件注入、强化学习与模型融合等策略,实现文本生成的精准控制,并结合网易新闻与蚂蚁集团的实战案例,展示Java在提升生成效率与合规性方面的卓越能力,为金融、法律等强监管领域提供技术参考。
|
9月前
|
机器学习/深度学习 算法 Java
Java 大视界 -- Java 大数据机器学习模型在生物信息学基因功能预测中的优化与应用(223)
本文探讨了Java大数据与机器学习模型在生物信息学中基因功能预测的优化与应用。通过高效的数据处理能力和智能算法,提升基因功能预测的准确性与效率,助力医学与农业发展。
|
9月前
|
机器学习/深度学习 搜索推荐 数据可视化
Java 大视界 -- Java 大数据机器学习模型在电商用户流失预测与留存策略制定中的应用(217)
本文探讨 Java 大数据与机器学习在电商用户流失预测与留存策略中的应用。通过构建高精度预测模型与动态分层策略,助力企业提前识别流失用户、精准触达,实现用户留存率与商业价值双提升,为电商应对用户流失提供技术新思路。
|
12月前
|
机器学习/深度学习 数据采集 人工智能
智能嗅探AJAX触发:机器学习在动态渲染中的创新应用
随着Web技术发展,动态加载数据的网站(如今日头条)对传统爬虫提出新挑战:初始HTML无完整数据、请求路径动态生成且易触发反爬策略。本文以爬取“AI”相关新闻为例,探讨了通过浏览器自动化、抓包分析和静态逆向接口等方法采集数据的局限性,并提出借助机器学习智能识别AJAX触发点的解决方案。通过特征提取与模型训练,爬虫可自动推测数据接口路径并高效采集。代码实现展示了如何模拟AJAX请求获取新闻标题、简介、作者和时间,并分类存储。未来,智能化将成为采集技术的发展趋势。
314 1
智能嗅探AJAX触发:机器学习在动态渲染中的创新应用
|
9月前
|
机器学习/深度学习 存储 分布式计算
Java 大视界 --Java 大数据机器学习模型在金融风险压力测试中的应用与验证(211)
本文探讨了Java大数据与机器学习模型在金融风险压力测试中的创新应用。通过多源数据采集、模型构建与优化,结合随机森林、LSTM等算法,实现信用风险动态评估、市场极端场景模拟与操作风险预警。案例分析展示了花旗银行与蚂蚁集团的智能风控实践,验证了技术在提升风险识别效率与降低金融风险损失方面的显著成效。
|
10月前
|
机器学习/深度学习 分布式计算 Java
Java 大视界 -- Java 大数据机器学习模型在遥感图像土地利用分类中的优化与应用(199)
本文探讨了Java大数据与机器学习模型在遥感图像土地利用分类中的优化与应用。面对传统方法效率低、精度差的问题,结合Hadoop、Spark与深度学习框架,实现了高效、精准的分类。通过实际案例展示了Java在数据处理、模型融合与参数调优中的强大能力,推动遥感图像分类迈向新高度。
|
10月前
|
机器学习/深度学习 存储 Java
Java 大视界 -- Java 大数据机器学习模型在游戏用户行为分析与游戏平衡优化中的应用(190)
本文探讨了Java大数据与机器学习模型在游戏用户行为分析及游戏平衡优化中的应用。通过数据采集、预处理与聚类分析,开发者可深入洞察玩家行为特征,构建个性化运营策略。同时,利用回归模型优化游戏数值与付费机制,提升游戏公平性与用户体验。
|
10月前
|
机器学习/深度学习 人工智能 运维
阿里云PAI人工智能平台介绍、优势及收费标准,手动整理
阿里云人工智能平台PAI是面向开发者和企业的机器学习与深度学习工程平台,提供数据标注、模型构建、训练、部署及推理优化等全链路服务。内置140+优化算法,支持PyTorch、TensorFlow等多种框架,具备高性能训练与推理能力,适用于自动驾驶、金融风控、智能推荐、智慧医疗等多个行业场景。PAI提供零代码开发、可视化建模、大模型一键部署等功能,助力企业快速构建AI应用。支持多种购买方式,如按量付费、预付费等,满足不同业务需求。