digoal
2023-09-21
PostgreSQL , PolarDB , 生产力 , 生产工具 , 生产资料 , 人货场 , 供需连 , chat , image search , 相似圈选
新生产力工具AI会催生下一级人类文明跃迁吗? 数据库进化出了哪些与AI相结合的能力? AI加持后的数据库应用场景有哪些变化?
- 火的运用: 化学能、石器时代 -> 机械、...
- 量子的运用: 原子能、计算机、互联网络
- AI的运用: 万物智能
1、现有数据采集、存储、分析, 以人类易于理解的属性和值为中心进行设计.
- 属性: 文本, 时间, 数值, 布尔, IP, 范围, 经纬度, 路径, 多边形 等.
- 值: 对应的值.
- 搜索方法: 大、小、等、排序、不等、包含、不包含、距离、范围相交、范围包含、 ...
2、下一代数据采集、存储、分析, 将以AI(大模型)易于理解的属性和值为中心进行设计.
- 属性: 向量!
- 值: 浮点数组
- 搜索方法: 相似、不同纬度的互补、完全不相干
3、数据库进化出了哪些与AI相结合的能力, 以PostgreSQL|PolarDB 开源为例(vector, embeddings, hnsw等向量插件):
- 向量类型.
- 向量搜索方法: 目前只支持相似. 我相信未来一定会支持 “不同纬度的互补、完全不相干”的快速搜索. (因为这些在现实世界都是热点需求.)
- 向量索引. 加速各种向量搜索方法.
向量插件使用方法参考文末内容.
任何工具, 本质上都是在解决不同资源的供需连接问题. 例如:
- chatgpt: 提问者 + 知识资源提供方
- image search: 搜图者 + 图片创作者
- 相似侵权 search: 搜索方(注册企业名称, 图片设计, 商标设计等) + 内容提供方
- 营销目标人群搜索: 商家 + 买家
- 职位匹配: 求职者 + 用人企业
- 企业合作匹配: 供应链上下游企业之间
AI加持后的数据库应用的几个阶段:
1、存量数据向量化
调用大模型对存量数据进行向量化处理. 使用方法参考:
https://developer.aliyun.com/article/1328091
2、相似选择 ( 同性相斥, 臭味相投. order by 向量距离 ) 例如:
- chatgpt: 提问者 + 知识资源提供方
- image search: 搜图者 + 图片创作者
- 相似侵权 search: 搜索方(注册企业名称, 图片设计, 商标设计等) + 内容提供方
- 营销目标人群搜索: 商家 + 买家
- 职位匹配: 求职者 + 用人企业
向量相似搜索方法参考:
https://developer.aliyun.com/article/1323055
3、互补选择 ( 异性相吸, 毫不相干. 不同纬度的互补、完全不相干. order by 向量距离 desc OR order by 向量互补距离 ? ) 例如:
- 组合创新.
- 一对多组合 (向量在不同方向叠加互补? 魔神坛斗士里的“仁、义、礼、智、信、忠、孝、悌、忍”合体)
向量的几种搜索颇有“道”的味道, 向量在未来也许可以和东方古老智慧进行融合:
