Appearance
Ollama安装和使用
Ollama 是一种用于在本地部署和运行大语言模型(LLM)的工具或平台。与OpenAI提供的云端API不同,Ollama允许用户在本地计算资源上运行模型,从而提供更高的隐私性和可控性。以下是关于Ollama的一些关键点:
Ollama的作用
本地运行LLM:Ollama允许用户在本地计算资源(如GPU)上运行大语言模型。这对于希望完全控制其数据隐私的用户来说非常有用。
兼容性:Ollama通常与OpenAI的API兼容,这意味着如果你已经熟悉如何使用OpenAI的API,那么使用Ollama也会非常直观。
自定义和优化:用户可以根据自身需求对模型进行微调、优化,甚至部署自己训练的模型。
Ollama相关命令和API用法
Ollama 提供了一系列命令行工具和API,用于管理、部署和调用本地运行的模型。
常见命令行用法
安装Ollama: 请看官网
https://ollama.com/download/linux 通过这个命令,你可以下载并安装Ollama。
列出可用模型:
ollama list
这个命令会列出你本地已下载的所有模型。
启动模型:
ollama run [model_name]
启动指定的模型,
[model_name]
是模型的名称。
端口和api
默认端口是11434,api是http://localhost:11434
兼容 OpenAI API 的 API 路径是:http://localhost:11434/v1/chat/completions