deepseek一直服务器繁忙教你本地部署丝滑使用

因 DeepSeek 的迅速走红,大量用户涌入访问,致使官方服务器不堪重负,多次出现宕机状况,这无疑极大地影响了用户体验。

本文将为大家详细讲解怎样在本地完成 DeepSeek 的部署,以便大家能随时随地畅快使用 DeepSeek。

在此先进行一些知识普及:

实际上,我们在本地部署的并非真正的 DeepSeek 大模型,而是经过蒸馏处理的模型。若要部署真实的 r1 或 v3 版本,通常是企业级才会涉及的应用。

Ollama 的下载与安装

Ollama 作为一款轻量级的本地 AI 模型运行框架,能够支持在本地运行各类开源大语言模型,像 Llama、Mistral 等都不在话下。

只需在浏览器中输入网址: https://ollama.com/ ,然后根据自身系统选择对应的版本进行下载即可。

小火箭

小火箭

完成安装后,Ollama 便已启动运行。它依托 CMD 命令工具,我们可通过在命令行输入 “ollama” 指令,来确认其是否成功安装。

要是呈现出类似下图的信息,那就意味着顺利下载安装完成。

小火箭

安装 DeepSeek - r1 模型的步骤,还是要在刚刚的 Ollama 网站完成。于网站内找到 Model 区域,然后选中 deepseek - r1 模型。

小火箭

小火箭

当搜索时,会出现多个版本,它们的差异主要体现在参数方面。

具体有 1.5b、7b、8b、14b、32b、70b、671b 等不同参数版本。

每个版本所对应的内存需求各不相同。

要是你电脑的运行内存是 8G,那么可以下载经过蒸馏处理的 1.5b、7b、8b 版本模型。

要是你电脑的运行内存达到 16G,就能够下载 14b 蒸馏后的模型。

在此次操作中,我挑选的是 14b 模型,一般来说,参数越大,使用 DeepSeek 所能获得的效果也就越佳。

通过输入 “ollama run deepseek - r1:14b” 指令来执行下载操作。

小火箭

小火箭

我在操作过程中,首次尝试遭遇了失败,反复进行了两次,才最终成功。

我们还能够在命令行输入 “ollama list”,以此来确认模型是否成功下载。若出现如下图所示的内容,便意味着模型已成功下载。

小火箭

在命令行里键入 “ollama run deepseek - r1:14b”,以此来启动模型。

一旦成功启动,我们就能输入想要询问的问题。此时,模型会先展开深度思索(即 think 标签所涵盖的部分),思索完毕后,便会给出问题的答案。

小火箭

注意:ollama默认是将模型下载到C盘的

ChatBox 的下载与安装

Chatbox AI 官网宣称其为办公学习的得力 AI 助手,是一款全平台的 AI 客户端,官方提供免费下载。

利用 ollama 完成模型下载后,我们固然能够在命令行中运用 deepseek,但命令行的操作形式在美观度上有所欠缺。鉴于此,我们不妨借助 ChatBox。它具备美观的用户界面(UI),只需接入 ollama 的 Api,即可投入使用。

ChatBox 支持多平台下载,我在此选择的是 Windows 版本进行下载。

小火箭

安装启动后,点击设置

小火箭

模型提供方选择ollama API

小火箭

然后现在可以选择模型了

小火箭

能成功使用

小火箭

版权声明:
作者:小火箭shadowrocket
链接:https://www.shadowrocket888.org/842.html
来源:小火箭官网
文章版权归作者所有,未经允许请勿转载。

THE END
分享
二维码
< <上一篇
下一篇>>