Ollama 不是一个大语言模型, 它只是一个允许大模型的脚手架。
Ollama 是一个强大的框架，设计用于在 Docker 容器中部署 LLM。
Ollama 的主要功能是在 Docker 容器内部署和管理 LLM 的促进者，它使该过程变得非常简单。
它帮助用户快速在本地运行大模型，通过简单的安装指令，可以让用户执行一条命令就在本地运行开源大型语言模型。
这里使用的是CPU模式, GPU模式请自行百度
docker pull luode0320/ollama:latest
docker run -d \
--restart=always \
-p 11434:11434 \
--name ollama \
-v /usr/local/src/ollama:/root/.ollama \
--name ollama \
luode0320/ollama:latest
docker exec -it ollama ollama --version
# ollama version is 0.1.38
3B模型需要8G内存，7B 至少需要 8GB 内存，运行 13B 至少需要 16GB 内存。
docker exec -it ollama ollama run gemma:2b
[root@luode ~]# docker exec -it ollama ollama run gemma:2b
success
>>> 你好
你好！有什么我可以帮助你的吗？
docker exec -it ollama ollama list # 查看安装的模型
docker exec -it ollama ollama rm <name> # 删除模型
Content type
Image
Digest
sha256:96e6b7657…
Size
3.7 GB
Last updated
4 months ago
docker pull luode0320/ollama