【安装docker,部署dify,安装ollama,部署本地大模型,最终实现dify创建agent,向量知识库】

安装docker,部署dify,安装ollama,部署本地大模型,最终实现dify创建agent,向量知识库安装dockerwindows需开启虚拟化安装wsl,mac不用下载安装docker验证安装成功配置镜像下载安装difydify地址https://github.com/langgenius/dify解压并配置解压后进入docker目录启动dify服务安装ollama部署大模型ollama常用命令一、模型管理最常用二、模型运行与交互核心操作三、服务器与进程控制命令 作用 示例在dify中使用本地模型创建智能体知识库配置本地模型安装供应商添加供应商模型创建知识库部署向量模型同样可以让ai推荐添加模型供应商 embding模型创建知识库上传文件下一步后选择高质量和向量检索模式点击保存等待完成创建智能体并使用知识库创建智能体选择智能体添加知识库发布效果安装dockerwindows需开启虚拟化安装wsl,mac不用1右键任务栏打开任务管理器定位到性能2确认开启虚拟化下载安装docker1,docker官网下载地址https://www.docker.com/products/docker-desktop/2下载并安装完成后windows下如果提示不可用或wsl相关问题下载wsl在 PowerShell管理员模式中输入wsl--install验证安装成功docker--version配置镜像镜像代码{builder:{gc:{defaultKeepStorage:20GB,enabled:true}},experimental:false,registry-mirrors:[https://docker.m.daocloud.io,https://docker.1ms.run,https://docker.xuanyuan.me]}下载安装difydify地址https://github.com/langgenius/dify解压并配置解压后进入docker目录1重命名.env.example 成 .env,使用记事本编辑,其他内容不要动关注这几个配置env# HTTP portNGINX_PORT80# SSL settings are only applied when HTTPS_ENABLED is trueNGINX_SSL_PORT443EXPOSE_NGINX_PORT80EXPOSE_NGINX_SSL_PORT4432如果你的 80 或 443 端口被占用如 IIS、Apache、Nginx 等服务建议修改对外暴露端口envEXPOSE_NGINX_PORT8080EXPOSE_NGINX_SSL_PORT8443启动dify服务1确保你在 dify/docker 目录下运行dockercompose up-d2启动成功后3访问difyhttp://localhost 或者在配置了端口 http://localhost:8080安装ollama下载地址https://ollama.com/download安装完毕后配置模型下载路径部署大模型1可以自己找资料或将电脑配置发送给ai让ai推荐可部署模型(我安装部署了 ollama,电脑配置是 16g内存8g独立现存1t硬盘windows11系统ollama版本是 0.32.5推荐可部署模型)2,在ollama中获取部署命令https://ollama.com/library3安装效果ollama常用命令一、模型管理最常用命令 作用 示例ollama list 查看本地已下载的所有模型 ollama listollama pull 模型名 从远程仓库下载模型到本地 ollama pull qwen2.5-coder:7bollama rm 模型名 删除本地指定的模型 ollama rm llama3.1:8bollama cp 源模型 新模型名 复制一个已有模型并重命名用于创建自定义版本的基础 ollama cp qwen:7b my-qwen二、模型运行与交互核心操作命令 作用 示例ollama run 模型名 运行模型进入交互式对话命令行 ollama run qwen2.5-coder:7bollama run 模型名 “你的问题” 单次查询运行模型后立即退出返回结果 ollama run llama3.1:8b “你好”对话中 /bye 或 CtrlD 退出交互式对话模式 在对话中输入 /bye三、服务器与进程控制命令 作用 示例ollama serve 启动Ollama服务端通常开机自启无需手动执行 ollama serveollama ps 查看当前正在运行的模型进程显示模型名、显存占用等 ollama psollama stop 模型名 停止正在运行的某个模型释放显存 ollama stop qwen:7bollama kill 强制终止所有正在运行的模型进程 ollama kill四、自定义模型与高级操作命令 作用 示例ollama create 新模型名 -f ./Modelfile 根据Modelfile配置文件创建自定义模型 ollama create my-coder -f ./Modelfile.txtollama show 模型名 查看模型的详细信息配置参数、系统提示词等 ollama show llama3.1:8bollama pull 模型名 --insecure 从非官方或私有仓库下载模型需配合环境变量 一般用不到在dify中使用本地模型创建智能体知识库配置本地模型安装供应商1,要选择 ollama,我已经安装过所以可安装列表中没有ollama,红框示例 openAI添加供应商模型模型名称 在命令行中 使用ollama 命令查看基础url是写死的http://host.docker.internal:11434/ 因为dify是部署在docker中ollama是部署在windows中ollama默认端口是 11434创建知识库部署向量模型同样可以让ai推荐我之前已经发送过电脑配置所以直接问推荐embding模型部署模型参考上述步骤部署大模型添加模型供应商 embding模型创建知识库上传文件下一步后选择高质量和向量检索模式点击保存等待完成创建智能体并使用知识库创建智能体选择智能体添加知识库发布效果