开发者社区 > 云原生 > Serverless > 正文

函数计算,那个千问的API调用要是连续对话,如果一直对话历史消息会很长的,而且历史消息是要计费tok

函数计算,那个千问的API调用要是连续对话,如果一直对话历史消息会很长的,而且历史消息是要计费token的,这个有什么解决办法吗?

展开
收起
巴拉巴拉巴拉 2023-08-24 10:08:40 104 0
2 条回答
写回答
取消 提交回答
  • 北京阿里云ACE会长

    我已经认真阅读了 你的问题:

    【 函数计算,那个千问的API调用要是连续对话,如果一直对话历史消息会很长的,而且历史消息是要计费tok
    函数计算,那个千问的API调用要是连续对话,如果一直对话历史消息会很长的,而且历史消息是要计费token的,这个有什么解决办法吗? 】

    并思考了

    建议如下:


    在函数计算中,如果你使用千问(Thousand Questions)API 进行连续对话,确实可能会导致历史消息变得很长,从而增加控件令牌的数量。为了解决这个问题,你可以尝试以下方法:
    1 . 优化对话逻辑:避免在连续对话中涉及过多无关紧要的问题,尽量减少对话的长度。 2. 使用会话管理:可以将对话过程中的信息存储
    在一个会话中,这样可以避免在每次调用时都提交大量历史消息。会话管理可以帮助您实现对话状态的持久化,从而减少历史消息的长度。 3.定期清除历史消息:在保证对话流畅性的前提下,可以定期清除一些不重要的历史
    消息这样可以避免历史消息过长,降低计费令牌的数量。

    1. 使用缓存:将对话过程中的数据进行缓存,以减少重复调用 API 的次数。这样可以降低计费令牌的数量。 5.
      按需购买代币:根据实际需求购买相应数量的代币,苏格兰因为历史消息过长而导致代币不足的问题。
    2023-08-26 16:58:17
    赞同 展开评论 打赏
  • 可以考虑总结下关键内容,这个 ai 工具都有类似的问题哈,目前应该都不太好解决这个

    此答案来自钉钉群“阿里函数计算官网客户

    2023-08-24 17:35:01
    赞同 展开评论 打赏

快速交付实现商业价值。

相关产品

  • 函数计算
  • 相关电子书

    更多
    Spring Boot2.0实战Redis分布式缓存 立即下载
    CUDA MATH API 立即下载
    API PLAYBOOK 立即下载