开发者社区> 问答> 正文

Tokenization是什么意思啊?

已解决

Tokenization是什么意思啊?

展开
收起
游客ihzapojsw2ysk 2022-07-27 07:59:03 477 0
1 条回答
写回答
取消 提交回答
  • 推荐回答

    将要拆分的文本分为tokens,tokens包括words,numbers,dates,punctuation。

    2022-07-27 08:26:37
    赞同 展开评论 打赏
问答地址:
问答排行榜
最热
最新

相关电子书

更多
低代码开发师(初级)实战教程 立即下载
冬季实战营第三期:MySQL数据库进阶实战 立即下载
阿里巴巴DevOps 最佳实践手册 立即下载