轻松部署本地大模型,构建个人健康应用

123 阅读5分钟

在过去的一周,我重新构建了一个与健康相关的项目,并将其上传至我的 GitHub 上。这个项目的核心目标是通过数据分析和算法模型来提供健康管理方面的建议,希望能够帮助人们更好地规划自己的健康生活。大家也可以下载这个项目源码,给我提供宝贵的建议和改进意见。(github://)

此次代码重构的最大的不同是我将项目的运行模式从原来依赖的在线服务器切换到了本地运行。

现在所有的模型都是在我本地跑的,如果不在家,可以打开ngrok服务获得动态IP地址,进行访问。

以下是安装步骤,大家也可以一起学习下:

image.png image.png image.png image.png

这种本地方式虽然导致了响应速度有减慢,但在可控性方面提供了更大的灵活性,使得我可以更方便地对模型进行调优和优化。这个过程对我来说不仅仅是技术上的挑战,也让我在思考如何更好地管理项目代码、如何高效地微调大模型等方面积累了宝贵的经验。我是48G的内存,还没有用完。

image.png

最初,我的项目包含了许多不同的功能和模块,虽然每一部分都很重要,但在面对重构的任务时,我学会了从整体上重新审视,确定哪些部分是最关键的,哪些部分是可以延后或者简化的。然后通过这种的方式我还将我所有的代码分类,让我更好的管理我的代码,更方便d地改写我的代码,通过这种专注,我不仅提高了开发效率,也避免了过度扩展和不必要的复杂性。

image.png

在上一周 我还读了《最重要的事只有一件》这本书提出了一个深刻的理念——在我们每天的生活中,常常会有许多琐碎的任务让我们分散精力,让我们什么都做不好。这本书给我的启示是:我需要在很多任务中找出最重要的那一件事,将所有的精力和资源投入到这件事上,这样才能取得真正的突破。

书中还强调了“成功的秘诀在于集中注意力”。如果现在发生了一些事情 这些事情不在你的计划之内,你就需要清楚现在面临的这两件事情 哪一个相对重要 对你自己的印象比较多 这个影响不是近期而是长远的 这样的你就很好的可以来区分你现在该做什么,而去舍弃另一件事情。

比如说 当我开始做这个app的时候我就很纠结 我到底用是谁的大模型 我是个学生 这个的费用又不能很贵 但又可以解决用户在国内使用的问题,回答相关的内容又很专业 我不知道用哪一个 后来想了想 用了一个国内的gpt镜像的api 到后来 我又想了想 其实就是算力 如果算力好了的话 那么其实就是不怎么花钱 所以我开始学习大模型的构建 到了这次我终于把我的大模型真正意义的接入到了我的app中

image.png

在这本中 正如他的书名所说《最重要的事只有一件》是的 在大多时候 你需要知道现在所有的事情中哪一件事情是你必须要完成的 不完成你就会损失很多东西 当你知道这件事情了后 那么你就开始全力投入做这件事情,直到把这件事情做完、做到,你就可以进行到下一件事情了。

image.png

例如,在重构项目时,我主要的地方是在用户的体验感受上,并不是在添加一些额外的功能了 我的功能很全 就是我的交互太差了 这一点是我必须要意识到的 要不然这和我的PMF就离的很远了 这是最不理想的一点。所以我必须要很把我的交互做的很好 让用户觉得这个产品用起来很轻松很容易。

时间管理是《最重要的事只有一件》中另一个重要的主题。书中提到,很多人之所以感到时间不够用,往往是因为他们没有明确的目标和计划,导致精力分散,最终无法完成重要的任务。相反,如果你能合理地规划时间,并且专注于最关键的事情,你就能有效避免拖延和效率低下。

书中还提到,专注于一个目标,并持续不断地投入努力,能够产生类似复利的效应。虽然短期内可能看不到显著的变化,但通过长期的坚持和积累,最终会产生巨大的回报。在我的项目重构过程中,我深刻体会到这一点。虽然重构过程中的改动是渐进的,且每一步的效果并不会立刻就有回应,但我相信,随着时间的推移,持续的优化将为项目带来越来越好的结果。