![[给力]](http://lf-web-assets.juejin.cn/obj/juejin-web/xitu_juejin_web/img/jj_emoji_129.0b59244.png)
github：
github.com
乔克小霸王
菜菜测试开发工程师
获得徽章 0
- 63
- 今日已学不欠：Token（词元）JYM,快来学习打卡
![[灵光一现]](//lf-web-assets.juejin.cn/obj/juejin-web/xitu_juejin_web/img/jj_emoji_25.51e6984.png)
Token 是大语言模型在处理文本前，把文本切分成的一种“最小语言单位”。切分后的 token 会被映射为一个数字编号（ID），供模型理解和运算。74 - 有点意思：如何设计一个像YouTube的短视频平台架构？
整个系统过程，核心分为9步：
1、用户创建视频并上传，以及获取视频相关详细信息。
2、原始视频文件存放到对象存储Object Storage（例如亚马逊的S3）。
3、与此同步，视频元数据存放到数据库和缓存中（以便更快检索）。
4、在转码服务器对原始视频文件进行转码。转码目的是为了对视频的帧率，码率进行调整，将视频使用的编码格式进行变换。。
5、转码后的视频再存到另一个对象存储位置。
6、转码完成后，通过MQ消息队列进行服务通知。
7、转码状态处理器，负责把视频的最新数据更新到元数据数据库，同时写入刷新缓存。
8、此后，当有用户访问视频时（则发起视频流请求），该请求将会转到CDN（内容分发网络）。
9、CDN则负责从对象存储中提取视频，并以视频流方式返回。
（图转自bytebytego，翻译整理by dogstar）展开27 - 总结几个平时用到的 AI 入口
百度文心一言：
yiyan.baidu.com
阿里通义千问：tongyi.aliyun.com
清华大学ChatGLM内侧：chatglm.cn
CSDN的ChatGPT:so.csdn.net
国内ChatGPT代理:v11977032.chat.360qnw.com 展开2366
![[灵光一现]](http://lf-web-assets.juejin.cn/obj/juejin-web/xitu_juejin_web/img/jj_emoji_25.51e6984.png)
![[看]](http://lf-web-assets.juejin.cn/obj/juejin-web/xitu_juejin_web/img/jj_emoji_97.39cdc9f.png)
兄弟们好好上分。