戳戳猫的小窝
更新日志
关于
## 1.Ollama本地部署 在Ollama官网下载客户端。 [Ollama](https://ollama.com/) 安装完毕后，选择想要安装的大模型，如：qwen2.5。 打开终端，输入： ``` ollama run qwen2.5 ``` Ollama会中远程下载模型，并运行。 ## 2.llama.cpp本地部署 [ggml-org/llama.cpp: LLM inference in C/C++](https://github.com/ggml-org/llama.cpp) 另一种从本地运行大模型的方法，灵活性更高，但是模型需要自己从其他地方下载，如[Hugging Face – The AI community building the future.](https://huggingface.co/)和[魔搭社区](https://modelscope.cn)。 运行命令： ``` llama-cli -m model-name.gguf -ngl 29 ``` ## 3.大模型UI [Cherry Studio - 全能的AI助手](https://cherry-ai.com/) [Chatbox AI官网：办公学习的AI好助手，全平台AI客户端，官方免费下载](https://chatboxai.app/zh)
7.大模型本地部署