年前使用了 DeepSeek V3，大部分情况确实比我之前使用的 AI 软件好用，就切换工具了。也蛮神奇的，过年 DeepSeek 突然火了——新发布的 R1 模型性能和成本过于惊人了。
看了一些本地搭建的资料，所需的资源台式机能够支持（4060ti 16G，没错，这张显卡买了很久，现在终于来实现购买它的目标了），想尝试用它来处理一些本地数据，所以年后就来本地搭建了。
搭建相关资料网上很多，我就不赘述了，只讲一下个人经验。
一、软件选择
1. 模型
在 HF-Mirror 或 ModelScope 魔搭 下载模型。
极限使用 DeepSeek 32B 蒸馏的 Q3_K_M，但尝试的效果并不算好，Q2 还乱回复了。
最后就选择 14B 蒸馏的 Q6_K_L 了，效果还能接受。
2. LM Studio
最开始尝试了 LM Studio，界面舒适方便，自带聊天框，不需要额外去安装软件。
但性能似乎有一些问题，模型跑的时候内存都没有超过 16G，没有使用交换内存，按理来说完全跑在显卡上，回答速度应该是没问题的，但它就是回答的很慢。
我知道 LM Studio 肯定会多一些性能损耗，但这些损耗应该是在可控范围内的，不应该出现这种情况。
3. Ollama
我切换了 Ollama，命令行稍微麻烦些。
神奇的事情出现了，同一个模型，回答速度就正常了。
所以就选择 Ollama 了。
4. Cherry Studio
是我试用各个聊天框软件，感觉最合适的一个。推荐。
LM Studio 有一个比 Ollama 好用的点，就是能在 UI 界面上方便切换模型，而惊喜的是，Cherry Studio 在选择不同聊天时，模型是自动切换的，这样就打消了我最后一个顾虑。
最终选择 Ollama + Cherry Studio 组合来运行本地模型。
二、应用
1. 本地知识库
Cherry Studio 里面可以直接搭建，不需要使用 AnythingLLM，一个软件聊天框、本地知识库都有了，回答效果还可以。
记得安装向量模型，比如 Nomic-Embed-Text。
我认为这个功能是非常适合个人在本地搭建的。一个适中的模型，就可以提供很大的便利。
2. 代码
本地代码模型方面试了下 Qwen Coder 2.5、Claude 3.5，配合 VSCode 相关插件如 Cline，看看能否完全本地化，但 AI 效果并不好。
本地的 Claude 和 Cursor 的 Claude 没法比。
依靠本地知识库，投喂一些代码文档资料，让本地 AI 帮助分析可能会更有用些。让它做想要的修改效果，可能有些难为它了（也应该和我的显卡是入门级有关，模型体量不足）。
三、最后
目前来说，个人一般情况不建议本地做部署的，没大需求别折腾，直接用官方满血版比本地版好太多。
如果做本地知识库等应用，还是很推荐的。