跳到主要内容

DeepSeek 本地部署 并搭建本地知识库

阅读需 3 分钟

年前使用了 DeepSeek V3,总体比我当时使用的 AI 软件好用,就切换工具了。也蛮神奇的,过年 DeepSeek 突然火了——新发布的 R1 模型性能和成本过于惊人了。

看了一些本地搭建的资料,所需的资源台式机能够支持(4060ti 16G,没错,这张显卡买了很久,现在终于来实现购买它的目标了),想用它处理一些本地数据,就着手搭建了。

搭建相关资料网上很多,我就不赘述了,只讲一下个人经验。

一、软件选择

1. 模型

HF-MirrorModelScope 魔搭 下载模型。

2025-02-28_194934

极限使用 DeepSeek 32B 蒸馏的 Q3_K_M,但尝试的效果并不算好,Q2 还乱回复了。

最后就选择 14B 蒸馏的 Q6_K_L 了,效果能接受。

2. LM Studio

最开始尝试了 LM Studio,界面舒适,自带聊天框,不需要额外安装软件。

但性能有一些问题,跑模型的时候内存没有超过 16G,没有使用交换内存,按理来说完全跑在显卡上,回答速度是没问题的,但它就是回答的很慢。

我知道 LM Studio 肯定会多一些性能损耗,但这些损耗应该在可控范围内,不应该出现这种情况。

2025-02-11_083150

3. Ollama

切换到 Ollama,神奇的事情出现了,同一个模型,回答速度正常了。

所以我选择了 Ollama

4. Cherry Studio

是我试用各个聊天框软件,感觉最全面的一个。

LM Studio 比 Ollama 好用的一个点,是能在 UI 界面上方便切换模型,而惊喜的是,Cherry Studio 在选择不同聊天时,模型会自动切换。这样就打消了我最后一个顾虑。

所以我选择了 Cherry Studio

5. 最终搭配

最终选择 Ollama + Cherry Studio 组合来运行本地模型。

回答速度适合

2025-02-28_192447

性能消耗正好达到边界

2025-02-28_192110

二、实际应用

1. 本地知识库

Cherry Studio 可以直接搭建本地知识库,效果不错,不需要使用 AnythingLLM。这样一个软件同时拥有聊天框、本地知识库等功能。

记得安装向量模型,比如 Nomic-Embed-Text

我认为这个应用非常适合个人在本地搭建。一个适中的模型,就可以提供很大的便利。

2025-02-28_193622

2. 代码

我尝试了Qwen Coder 2.5Claude 3.5,配合 VSCode 相关插件如 Cline,看看能否完全本地化,但效果并不好,感觉还是很基础的修改,没有联动。

而使用外部 API 的 CursorClaude可以理解我的想法,做一些重复操作,我 review 代码时只需要少量改动。另外,要注意代码安全,外部 API 总归是不安全的。如果是修改开源代码,就不用顾虑太多了。

我认为依靠本地知识库,投喂一些代码文档资料,让本地 AI 帮助分析可能会更有用些。让它做想要的修改效果,可能有些难为它了(与我的显卡是入门级,模型体量不足也有关)。

三、总结

目前来说,一般情况不建议个人在本地部署,直接用官方满血版比本地版好太多。如果搭建本地知识库,是推荐的,效果不错。

明确你的目的是部署成功还是本地应用。

暂时未加入评论功能,请在对应公众号文章下或 GitHub Issues下留言反馈。