轻兔推荐

ollama下载链接： https://ollama.com/download

安装好ollama后仅需要执行 ollama run llama3 即可运行Meta最新发布的llama3模型，直接就可以在命令行中跟本地大模型对话，非常方便

• 首次运行需要下载模型文件llama3默认是8b版本，大小是4.7G
• 运行8b版本大概是需要占用4～5GB内存
• ollama会优先使用显卡，实测1080显卡也能有流畅的输出，没有显卡也会使用CPU来运行，不过速度就很慢
• llama3 70b版本就需要比较高的配置才能运行，推荐64G内存+24G显存
• 支持的模型列表 https://ollama.com/library
• 支持以服务的方式在后台运行： ollama serve
• 支持API方式调用，默认端口是：11434

curl http://localhost:11434/api/chat -d '{
  "model": "llama3",
  "messages": [
    { "role": "user", "content": "why is the sky blue?" }
  ]
}'

• 常用参数，需要以环境变量方式设置

#设置服务监听的主机地址，支持局域网访问
OLLAMA_HOST=0.0.0.0 

#同一个模型的最大并发处理数
OLLAMA_NUM_PARALLEL=4

#模型加载数量，设置为2则表示运行2个模型同时运行
OLLAMA_MAX_LOADED_MODELS=2

相关链接

• GitHub： https://github.com/ollama/ollama
• 官网：https://ollama.com