首页
AI Coding
NEW
沸点
课程
直播
活动
AI刷题
APP
插件
搜索历史
清空
创作者中心
写文章
发沸点
写笔记
写代码
草稿箱
创作灵感
查看更多
会员
登录
注册
确定删除此收藏集吗
删除后此收藏集将被移除
取消
确定删除
确定删除此文章吗
删除后此文章将被从当前收藏集中移除
取消
确定删除
编辑收藏集
名称:
描述:
0
/100
公开
当其他人关注此收藏集后不可再更改为隐私
隐私
仅自己可见此收藏集
取消
确定
bert分词和代码
订阅
Shiym
更多收藏集
微信扫码分享
微信
新浪微博
QQ
1篇文章 · 0订阅
利用 Bert 将文本token化
在Token 到底是个啥?这篇文章中,介绍了token的概念。 我们可以这么认为,token是自然语言处理场景中(如文本生成、AI聊天),AI模型处理的最小单位。 在计算机视觉中,模型是以像素为单位