本地部署deepseek R1大模型教程

正在加载问候语...

近日,中国AI初创公司深度求索(DeepSeek)宣布推出新一代大语言模型DeepSeek-V3。其开源版本DeepSeek R1系列凭借媲美GPT-O1的性能表现和完全免费的开源策略,在GitHub和Hugging Face等平台引发全球开发者热议。

🌟 为什么开发者都在关注DeepSeek R1?

  • 性能比肩顶级模型:多项基准测试超越GPT-4o和Claude 3.5、gpt o1
  • 全规格开源免费:1.5B到70B参数模型全部开放下载
  • 超长上下文支持:最高支持128k tokens上下文窗口

💻 五分钟快速部署指南

通过Ollama安装deepseek R1大模型

首先安装Ollama官方客户端:🔗 Ollama官方客户端

图片[1]-本地部署deepseek R1推理大模型教程

安装完后打开Ollama,它会在后台运行:

图片[2]-本地部署deepseek R1推理大模型教程

接着CMD打开win命令提示符界面,然后执行下面的安装命令,根据你显卡的情况选择,1.5B大概4Gb显存。

图片[3]-本地部署deepseek R1推理大模型教程

安装完后就可以对话了,如果关闭了命令行窗口,再打开时就再执行下面的安装命令就可以直接运行了,只要你安装过了。需要注意Ollama要打开的状态。

图片[4]-本地部署deepseek R1推理大模型教程

更优雅的使用

在命令行对话很不舒服很不优雅,那么就可以通过这个浏览器扩展来使用。Web UI 控制端【点击安装

图片[5]-本地部署deepseek R1推理大模型教程

安装完这个浏览器扩展后,我们打开它。

图片[6]-本地部署deepseek R1推理大模型教程

它会自动检测本地是否正在运行Ollama,可以看到左上角出现了安装的deepseek R1模型。

图片[7]-本地部署deepseek R1推理大模型教程

我们先不着急使用,先到设置中设置下文本嵌入模型。

图片[8]-本地部署deepseek R1推理大模型教程

现在就可以愉快的开始使用了。

图片[9]-本地部署deepseek R1推理大模型教程
图片[10]-本地部署deepseek R1推理大模型教程
图片[11]-本地部署deepseek R1推理大模型教程

想象一下,在本地运行一个不属于GPT 4o的大模型是多么的,,,。也可以对接本地知识库,IDE等,舒服。

安装命令


1.5B Qwen DeepSeek R1:

ollama run deepseek-r1:1.5b

7B Qwen DeepSeek R1:

ollama run deepseek-r1:7b

8B Llama DeepSeek R1:

ollama run deepseek-r1:8b

14B Qwen DeepSeek R1:

ollama run deepseek-r1:14b

32B Qwen DeepSeek R1

ollama run deepseek-r1:32b

70B Llama DeepSeek R1

ollama run deepseek-r1:70b

推理配置建议


{
  "temperature": 0.6,
  "top_p": 0.95,
  "max_length": 32768
}

📥 模型资源下载

🤗 HuggingFace模型库

deepsseek官方开源仓库

业内专家点评:
“DeepSeek-V3的开源策略将大幅降低企业AI应用门槛,其长上下文处理能力在医疗、法律等专业领域具有显著优势。”

© 版权声明
THE END
喜欢就支持一下吧