ollama是什么
开源框架
Ollama是一个开源框架,专为在本地机器上便捷部署和运行大型语言模型(LLM)而设计。
其主要特点和功能包括简化部署、轻量级与可扩展性、提供简洁的API支持、
包含预构建模型库、支持从多种平台导入模型、跨平台支持以及命令行工具和环境变量配置。
Ollama通过极简的命令行操作简化了模型管理流程,
支持离线运行、多模型并行、私有化部署等场景。
它还提供了一系列预先训练好的大型语言模型,
用户可以直接选用这些模型应用于自己的应用程序,
无需从头训练或自行寻找模型源。
此外,Ollama支持多种大型语言模型,如Llama 3、Mistral、Gemma 2等,
并且提供了详细的文档和社区支持,
使得用户能够轻松地在本地环境中高效利用大型语言模型进行自然语言处理任务。
官方网站: https://ollama.com/
官方github: https://github.com/ollama/ollama
注意访问需要科学上网 ,请自行解决
也可尝试使用手机流量开热点链接,此方法不保证完全可行
ollama安装
以windows系统为例
在下载界面,直接下载安装即可
https://ollama.com/download
安装后,有应用图表点击运行即可
运行之后,浏览器访问:http://ip:11434/
提示Ollama is running
ollama下载模型
以千问1.5b 为例
在模型界面,找到qwen2.5 点进去 切换qwen2.5:1.5b
https://ollama.com/library/qwen2.5:1.5b
给出的模型下载代码,直接放到windows 的cmd 命令行运行
ollama run qwen2.5:1.5b
第一次下载比较慢,后续可直接运行
ollama 配置
Ollama默认只监听本地请求(localhost)。
为了开放局域网访问,需要设置环境变量OLLAMA_HOST为0.0.0.0,使其监听所有网络接口。
打开环境变量设置:
右键点击“此电脑”或“计算机”,选择“属性”。
在左侧点击“高级系统设置”。
在弹出的窗口中,点击“环境变量”。
添加环境变量:
在“系统变量”部分,点击“新建”。
在“变量名”输入框中输入OLLAMA_HOST。
在“变量值”输入框中输入0.0.0.0,然后点击“确定”。
重启Ollama服务:
关闭并重新启动Ollama服务,以使环境变量生效。
dify 配置
注意dify 的模型选的ollama ,同时名称必须与ollama run qwen2.5:1.5b 中的qwen2.5:1.5b一致,若不一致会报授权问题
地址填写http://ip:11434
这样就可以在dify 中调用qwen 模型了
一辈子很短,努力的做好两件事就好;
第一件事是热爱生活,好好的去爱身边的人;
第二件事是努力学习,在工作中取得不一样的成绩,实现自己的价值,而不是仅仅为了赚钱;