开发者社区 > 视觉智能 > 图像搜索 > 正文

图像搜索中,商品图片批量索引有没有建议,10qps的接口调用太坑了,有没有方案?

商品图片批量索引有没有建议,10qps的接口调用太坑了,偶尔一次初始化要命的,有没有方案?

展开
收起
饭也太好吃了 2023-06-02 16:51:17 95 0
5 条回答
写回答
取消 提交回答
  • 针对商品图片批量索引,以下是一些建议:

    优化接口设计:优化接口的QPS限制,将批量接口拆分成多个单体接口以降低单个接口的QPS。还可以通过异步调用的方式将接口调用次数降至最低。 使用并行化技术:使用并行化技术,比如多线程、协程等来加速批量操作。通过并行化技术,可以同时操作多个图片,从而缩短批量操作的时间。 缓存初始化成本高的资源:对于偶尔需要初始化的资源,可以通过缓存来降低初始化成本。可以缓存已经读取过的图片数据,避免重复读取。 使用分布式架构:通过使用分布式架构,可以将计算和存储分散到多台服务器上,从而降低单点故障率和提高整体性能。 优化图片处理算法:可以通过优化图片处理算法来提高处理效率。比如,可以尝试使用更快的图片处理库或者优化图片处理逻辑。 希望这些建议可以帮助您优化批量索引的接口调用和性能。

    2023-06-02 23:24:54
    赞同 展开评论 打赏
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    阿里云MaxCompute是一款高效大数据计算平台,支持海量数据存储和分布式计算,阿里云DataWorks是一款数据集成和管理工具,可以帮助您快速构建数据仓库和分析平台。可以使用MaxCompute存储商品图片的特征向量,并使用DataWorks构建图像搜索引擎,提供高效的搜索和查询服务。

    2023-06-02 18:55:21
    赞同 展开评论 打赏
  • 公众号:网络技术联盟站,InfoQ签约作者,阿里云社区签约作者,华为云 云享专家,BOSS直聘 创作王者,腾讯课堂创作领航员,博客+论坛:https://www.wljslmz.cn,工程师导航:https://www.wljslmz.com

    阿里云图像搜索的商品图片批量索引是一个比较消耗资源的操作,对于接口调用频率较高或者需要批量处理大量图片的情况,建议您使用以下几种方案来解决:

    1. 使用异步处理:将批量索引任务放到消息队列中,通过消息队列异步处理。可以使用阿里云的消息服务(MNS)和函数计算(FC)组合,将消息发送至 MNS 队列中,由 FC 异步消费消息并进行批量索引操作。

    2. 增加接口调用并发数:在图像搜索服务控制台中有一个“限流设置”选项,您可以根据自己的实际需求适当提高接口并发数。但需要注意的是,过高的并发数可能会带来服务器资源的负载压力。

    3. 将图片数据存储到对象存储(OSS)中:如果您的图片源数据存储在 OSS 中,那么您可以使用 OSS 的事件通知机制将图片上传事件通知给函数计算,然后使用函数计算进行批量索引操作。

    4. 提高图片处理效率:可以考虑优化图片的处理效率,例如:使用更高效的算法、使用 GPU 加速等。

    2023-06-02 18:25:26
    赞同 展开评论 打赏
  • 北京阿里云ACE会长

    如果您需要对大量商品图片进行批量索引,您可以考虑使用阿里云图像搜索提供的数据导入工具,将您的商品图片批量导入到图像搜索实例中。

    数据导入工具支持多种数据源和导入方式,包括本地文件、OSS 等,可以轻松地将您的商品图片导入到图像搜索实例中。

    此外,您可以使用多线程或者批处理等技术来提高数据导入的效率和速度,以便更快地完成商品图片的批量索引工作。

    如果您仍然遇到性能问题,您可以考虑升级您的图像搜索实例,以获得更高的性能和更快的响应速度。您可以根据您的需求选择适当的实例配置和规格,以满足您的性能要求。阿里云图像搜索提供了多种数据导入方式,包括使用 API 接口进行数据导入。以下是使用 API 接口进行商品图片批量索引的一般步骤:

    准备数据:将您的商品图片保存在本地或者 OSS 中,并生成对应的图片 URL。

    创建索引库:在阿里云图像搜索控制台中创建一个索引库,并设置索引库的名称、描述、索引字段等相关信息。

    创建数据源:在阿里云图像搜索控制台中创建一个数据源,并设置数据源的名称、描述、数据源类型等相关信息。在创建数据源时,需要指定数据源来源,即您的商品图片所在的位置。

    创建导入任务:使用 API 接口创建一个导入任务,将您的商品图片导入到索引库中。在创建导入任务时,需要指定数据源、索引库、导入类型、图片 URL 等相关信息。

    启动导入任务:启动创建的导入任务,将您的商品图片批量导入到索引库中。

    监控导入进度:在阿里云图像搜索控制台中,您可以查看导入任务的进度和状态,以便及时发现和解决导入问题。

    2023-06-02 17:37:34
    赞同 展开评论 打赏
  • 对于批量索引商品图片,您可以考虑以下几种方案:

    批量异步处理:将待处理的图片列表放到一个队列中,使用异步任务进行处理。每次从队列中取出一部分图片进行处理,处理完成后再取下一部分,这样可以降低瞬间的压力。如果基于阿里云平台,可以使用消息服务(MNS)等服务实现异步任务处理。

    图片压缩优化:对图片进行压缩、尺寸调整等优化,可以减少图片大小和网络传输开销。另外,也可以将图片进行分片处理,降低单个请求的数据量。可以使用类似 Sharp、GraphicsMagick 等图片处理库来实现。

    使用云存储服务:将商品图片存储到云存储服务上,例如阿里云的 OSS、华为云的 OBS、腾讯云的 COS 等,这样可以避免单机存储容量不足的问题,并且可以方便地实现图片的 CDN 加速。

    延迟加载处理:将图片的索引和存储操作延迟到用户需要访问时再执行,这样可以减少启动时的负载。可以在前端使用类似懒加载等技术,或者在后端使用类。

    2023-06-02 17:31:20
    赞同 展开评论 打赏

基于阿里云深度学习技术,进行视觉内容搜索,在指定图像库中搜索出相同或相似的视觉信息,适用于内容比对、内容精确查找、相似素材搜索等场景。

相关电子书

更多
拍立淘 – 图像搜索和识别 立即下载
图像搜索与识别在大规模场景中的研究与实践 立即下载
拍立淘-图像搜索和识别 立即下载