Ollama - 本地大模型一键运行
开源的本地大语言模型运行平台，一条命令即可下载并运行 Llama 等开源模型，自带 API 服务，无显卡也能用 CPU 跑。
下载链接
快速上手
安装好 Ollama 后仅需执行 ollama run llama3，即可运行 Meta 最新发布的 llama3 模型，直接在命令行中跟本地大模型对话，非常方便。
- 首次运行需要下载模型文件，llama3 默认是 8b 版本，大小是 4.7G
- 运行 8b 版本大概需要占用 4~5GB 内存
- Ollama 会优先使用显卡，实测 1080 显卡也能有流畅的输出；没有显卡也会使用 CPU 来运行，不过速度就很慢
- llama3 70b 版本需要比较高的配置才能运行，推荐 64G 内存 + 24G 显存
- 支持的模型列表：https://ollama.com/library
- 支持以服务的方式在后台运行：
ollama serve - 支持 API 方式调用，默认端口是 11434
curl http://localhost:11434/api/chat -d '{
"model": "llama3",
"messages": [
{ "role": "user", "content": "why is the sky blue?" }
]
}'- 常用参数，需要以环境变量方式设置
#设置服务监听的主机地址，支持局域网访问
OLLAMA_HOST=0.0.0.0
#同一个模型的最大并发处理数
OLLAMA_NUM_PARALLEL=4
#模型加载数量，设置为2则表示2个模型同时运行
OLLAMA_MAX_LOADED_MODELS=2