零基础入门AI

TF-IDF是一种非常重要且实用的文本推荐算法，它的主要思想是：如果一个关键字在一篇文章中出现的频率越高，但同时它在整个语料库中出现的频率越低，则这个关键字对这篇文章越重要，越有好的文档区分能力。

1个token究竟是多少？ 按Openai 的估算，1 token ~= 3/4 words，100个token大约是75个单词。 输入的文本是如何被分解为 token 的呢？

什么是 Ollama？ Ollama 是一个可以在本地部署和管理开源大语言模型的框架，由于它极大的简化了开源大语言模的安装和配置细节，一经推出就广受好评，目前已在github上获得了46k star。

本文介绍一种搭建本地编程助手的方法：IDE （VS Code / PyCharm）插件Continue + 本地开源大语言模型框架 Ollama + 代码大语言模型 Code Llama。

基于 LLaMA 的小羊驼（Vicuna），仅用少量的数据微调（费用约为300美元），就达到了ChatGPT 90%的性能，实在是企业或者个人研究的必备良心平替。