# 大模型智能体实战:Coze与Dify从入门到企业级部署
2025年是智能体(AI Agent)的落地元年。如果说大语言模型是“大脑”,那么智能体就是“手脚并用”的数字员工。过去我们通过编写代码来实现业务逻辑,现在我们可以通过编排AI能力来构建系统。作为AI时代的开发者,我们需要理解RAG(检索增强生成)、工作流、私有化部署等技术,并能够熟练使用Coze、Dify等平台快速构建可落地的智能体应用。
本专栏将从零开始,深入剖析RAG知识库、智能体架构、Coze与Dify双平台实战、API集成以及企业级私有化部署,带领你从理论到工程,全面掌握智能体开发的核心技能。
# 第一章:RAG入门与知识库搭建
# 1.1 RAG是什么?
RAG(Retrieval-Augmented Generation,检索增强生成)是一种结合信息检索与文本生成的技术。它的核心思想是:在大模型生成答案之前,先从外部知识库中检索出相关片段,作为上下文注入到Prompt中,让大模型“有据可依”。这就像给学生考试时提供开卷参考资料,能显著提升回答的准确性和可靠性。
# 1.2 为什么需要RAG?
大模型存在两个天然缺陷:
- 知识冻结:模型的训练数据截止到某个时间点,无法获取最新信息。例如,让模型推荐“当前热门影片”就会失效。
- 幻觉现象:面对缺乏公开数据的专有领域(如企业内部文档),模型容易编造内容。
下图清晰地说明了RAG的必要性:

通过引入向量数据库,将企业私有知识转换为向量存储,RAG能够给模型提供“提示和思路”,使回答准确率从60%提升到90%以上。

# 1.3 RAG执行流程
一个完整的RAG流程如下图所示:

核心步骤可分解为:
- 文档加载与解析:将PDF、Word、TXT等文件转换为文本。
- 文本分段(Chunking):将长文本按段落或固定长度切分,并设置重叠。
- 向量化(Embedding):调用Embedding模型将每个片段转换为高维向量。
- 索引构建:将向量存入向量数据库(如Weaviate、Pinecone)。
- 用户提问:将问题同样向量化。
- 相似性检索:在向量库中查找与问题最相似的Top-K个片段。
- 重排序(ReRanker):对检索结果进行二次精排,提升相关性。
- 生成答案:将精选片段和问题一起喂给LLM,生成最终回复。
下图强调了难点步骤(蓝色部分):

# 1.4 知识库搭建平台对比
目前市面上有多种知识库搭建平台,各有侧重:
| 平台 | 核心定位 | 技术特点 |
|---|---|---|
| Cherry Studio | 个人轻量级知识管理 | 支持多模型、一键安装、全本地场景 |
| ima(腾讯) | 跨终端知识库 | 集成腾讯混元与DeepSeek-R1,支持微信端 |
| Dify | 企业级RAG应用开发 | 开源、工作流整合、支持自定义模型 |
| RAGFlow | 高精度文档解析 | 处理复杂表格和手写体,准确率高 |
| FastGPT | 快速构建问答库 | 轻量,部署简单 |
下图展示了核心定位和技术特点对比:

核心功能清单对比如下:

# 1.5 Cherry Studio搭建个人知识库
Cherry Studio是一个对小白极其友好的桌面客户端,支持多模型同时回答、高度自定义参数,并且可以全本地运行,保障数据安全。
步骤1:下载并安装
访问官网 https://cherry-ai.com/ (opens new window) 下载客户端,安装过程为傻瓜式。


步骤2:注册模型服务商(以硅基流动为例)
在 https://siliconflow.cn/ (opens new window) 注册账号,新用户有免费Token。

步骤3:创建并复制API密钥
进入API管理页面,创建密钥并复制。


步骤4:在Cherry Studio中配置API密钥
点击设置,填入密钥。


步骤5:选择大语言模型
在模型列表中选择需要使用的模型。


步骤6:添加嵌入模型
需要配置嵌入模型才能进行知识库检索,确认模型名称后添加。


步骤7:创建知识库并导入文件
点击“知识库”新建,支持上传文件、文件夹、网页链接或直接粘贴文本。


步骤8:检索与生成
可以直接在知识库内检索,查看匹配片段及得分。

也可以选择知识库后提问,模型将基于知识库内容生成答案。



提示:如果上传的文件包含手写内容或复杂表格,解析效果可能不佳,可以先用Doc2X等工具预处理,再上传。

整体流程如下图所示:

# 1.6 ima搭建个人知识库
ima是腾讯推出的知识库工具,支持多端同步,集成腾讯混元和DeepSeek-R1满血版。
步骤1:下载安装
访问 https://ima.qq.com/ (opens new window) 下载客户端。


登录账号即可。

步骤2:新建知识库
在左侧导航中点击“知识库”,新建一个专属库。


步骤3:导入本地文件
支持上传PDF、Word、TXT等格式。



步骤4:基于知识库生成
选择知识库后提问,模型会引用库中内容进行回答。


步骤5:组合互联网网页构成知识库
可以在微信公众号中搜索相关文章,并加入ima知识库。



导入后即可结合大模型进行搜索。


步骤6:添加第三方知识库
在PC端和手机端公众号均可查看和管理。


手机端:


# 1.7 Dify搭建知识库
Dify是一个开源的大模型应用开发平台,可以方便地构建私有知识库。
步骤1:创建知识库
在Dify控制台中新建知识库。

步骤2:上传文件
支持TXT、PDF、Excel、CSV等多种格式。

步骤3:分段设置
根据文档结构选择分段标识符(如\n\n为段落),并设置重叠长度(10%~20%)。

步骤4:选择索引方式
一般选择“高质量”,准确率更高(需消耗Token)。如果是问答文档,可选“Q&A”模式。

步骤5:检索设置
选择Embedding模型和ReRanker模型,设置Top K(返回片段数)和Score阈值。

支持混合检索(向量+全文)。
设置完成后保存并处理。

测试:创建一个聊天助手,将知识库设为该文档,提问即可看到引用内容。

# 第二章:智能体(AI Agent)概论
# 2.1 什么是智能体?
智能体是一个能够自主感知环境、做出决策并采取行动的计算机系统。它通常以大语言模型为核心,具备独立思考、调用工具、逐步完成目标的能力。举例:
- Hyperwrite插件能自动预订航班机票。

- “林间聊愈室”情感陪伴App广受好评。

- ShopSpot多模态智能体可实现图像识别与库存分析。

- 豆包集成了大量智能体。

- Coze开发的智能体可一键发布到豆包、飞书、公众号等平台。

# 2.2 智能体的发展阶段
智能体的发展可类比自动驾驶的不同阶段,最终目标是通用人工智能(AGI)。


国内各大模型厂商也纷纷推出智能体平台。

# 2.3 智能体的核心要素
OpenAI研究者翁丽莲在博客中提出了现代AI Agent架构,其核心公式为:
Agent = LLM + 记忆 + 工具 + 规划 + 行动
架构图如下:

各部分详解:
- 大模型(大脑):提供推理、规划和知识理解。
- 记忆:短期记忆(上下文窗口)和长期记忆(向量数据库、微调等)。

- 工具使用:调用外部API、搜索引擎等扩展能力。

- 规划决策:通过思维链(CoT)分解任务,通过反思优化策略。

- 行动:执行具体操作,如检索、推理、编程。
多智能体协作可完成更复杂任务。

# 2.4 搭建智能体的三个Level
- Level 1:提示词立人设——通过Prompt定义角色,直接与LLM交互。
- Level 2:工作流——定义固定的执行步骤,按顺序调用各节点。
- Level 3:自主任务拆解——智能体根据目标自主拆分任务、选择工具、控制进度,完成后结束。

# 2.5 Level 1示例:在Cherry Studio中创建简易智能体
- 创建智能体,填写名称和提示词(可借助LLM生成)。

- 进一步编辑智能体,设置模型温度等参数。

- 添加到助手列表并使用。

其他平台如豆包、腾讯元器、讯飞星火也都支持类似方式。

# 第三章:Coze与Dify平台深度对比与选型
# 3.1 Coze(扣子)平台介绍
Coze由字节跳动推出,定位为AI应用开发平台,其最大优势是上手极其简单,提供100+预制模板,与字节系产品(抖音、飞书等)深度集成,一键发布到多个平台。
官网:https://www.coze.cn/ (opens new window)

# 3.2 Dify平台介绍
Dify(DefineModify)由苏州语灵人工智能推出,是一个开源的大语言模型应用开发平台,内置RAG、Agent、Workflow等全链路功能,适合企业级定制和私有化部署。
官网:https://dify.ai/zh (opens new window)

# 3.3 对比表格与选型建议
| 对比维度 | Coze(扣子) | Dify |
|---|---|---|
| 发布时间 | 2024年2月1日上线,2025年7月26日开源 | 2023年由苏州语灵推出 |
| 适用用户 | 零技术背景个人、小团队 | 开发者、技术团队、企业 |
| 核心优势 | 零代码、快速上线、字节生态 | 开源、企业级功能、模型自由 |
| 学习曲线 | 低(几小时内) | 中等(1-2天) |
| 扩展性 | 依赖预设插件,有限 | 支持自定义模型和代码节点 |
| 部署方式 | 云端托管和私有化(开源版功能弱) | 云端和完全私有化部署 |
| 成本 | 免费版+积分付费 | 免费版+分层付费(开源免费) |
选型建议:
- 个人或快速验证:选Coze。
- 企业级私有化、深度定制:选Dify。
- 需要代码级集成:选Dify。
# 第四章:使用Coze搭建智能体
# 4.1 Coze创建智能体流程
登录Coze平台,点击“创建智能体”,填写名称、描述,即可开始。

Coze内置了丰富的插件和模板:


# 4.2 案例:深夜情感主持
① 创建智能体

② 填写提示词
角色设定为深夜情感主持,提供倾听、分析与安抚技能。



③ 模型参数设置
调整温度等参数。

④ 测试

⑤ 设置开场白与预设问题

⑥ 发布
可发布到豆包、飞书、微信等多个平台。



# 4.3 案例:高考报考指南
① 创建智能体

② 填写提示词

③ 使用插件
添加头条搜索插件,获取实时资讯。

添加头条图片搜索插件,丰富内容。


④ 使用知识库
上传高考相关文档,构建知识库。





# 4.4 案例:家庭记账助手
① 创建智能体

② 填写提示词


③ 使用变量
为了持久化存储用户交互数据(如收支记录),需要使用变量。

设置变量 record 存储记录。



④ 使用数据库
更结构化地存储收支数据,使用Coze内置数据库。




⑤ 其他功能
- 长期记忆:自动总结聊天记录,作为上下文。
- 文件盒子:保存用户上传的文件,后续可引用。
# 第五章:使用Dify搭建智能体
# 5.1 Dify创建智能体流程
在Dify中,可以创建三种应用:聊天助手、Agent、工作流。

# 5.2 案例:时事评论助手(Agent模式)
① 创建Agent


② 配置提示词
定义角色为资深媒体评论员,要求深度分析、多视角、给出建议。


③ 测试
输入新闻事件,Agent自动规划并生成评论。

④ 查看Agent日志
可追踪每个步骤的输入输出。



⑤ 发布

# 5.3 案例:北京旅行助手
① 创建空白Agent

② 添加提示词
使用结构化模板,包含角色、技能、目标、工作流程。

③ 添加对话开场白和内容审查
在“管理”中添加开场白和预设问题。

设置内容审查,拦截敏感提问。

提问被拦截示例:

④ 完整测试
输入目的地、天数、预算,生成详细旅行计划。

# 第六章:工作流深度设计
# 6.1 什么是工作流?
工作流是为完成某项任务而设计的一系列自动化步骤的有序组合。在大模型应用中,某些复杂需求难以通过单次问答解决,需要通过多个节点链式调用来实现。
常见场景:
- 电商订单处理:审核→库存检查→生成物流单→财务对账。
- AI批改作业:提交→识别错误→生成反馈→推荐练习。
- 自媒体智能体:输入爆款视频→提取标题→生成大纲→生成图片→合成视频。
# 6.2 Coze工作流案例
Coze支持可视化工作流设计,通过节点连接实现流程。
- 案例1:一键生成行业调研PPT(详见《Coze案例:一键生成行业调研PPT.md》)
- 案例2:复刻爆款视频(详见《Coze案例:复刻爆款视频.md》)
- 案例3:根据官方模板复刻应用-海报(详见《Coze案例:根据官方模板复刻应用:海报.md》)
发布与模板:
- 应用可发布到商店,但只可体验,不可复制。
- 不可发布为模板(权限严格)。


# 6.3 Dify工作流案例
Dify的工作流节点支持代码节点,灵活度更高。
- 案例1:客户投诉分类助手(详见《Dify案例:客户投诉分类助手.md》)
- 案例2:一键生成行业调研报告(详见《Dify案例:一键生成行业调研报告.md》)
# 第七章:Python调用工作流
# 7.1 Dify API调用
步骤1:发布工作流
必须在Dify中发布后才能通过API调用。

步骤2:查看API文档

步骤3:创建API密钥
在工作流设置中创建API Key,注意密钥与工作流绑定。


步骤4:请求格式
使用POST请求 https://api.dify.ai/v1/workflows/run,请求头包含Bearer Token和JSON格式。
请求体示例:
{
"inputs": {"target": "新能源汽车发展概况"},
"response_mode": "streaming",
"user": "postman_test"
}
2
3
4
5
流式模式(streaming)适合长任务,阻塞模式(blocking)可能超时。
步骤5:Postman测试



发送请求后,收到流式响应,最后一条为workflow_finished,包含输出。



步骤6:Python代码实现
安装requests库,编写函数发送流式请求,解析SSE事件。
import requests
import json
def stream_dify_workflow(target, api_key, base_url="https://api.dify.ai/v1"):
headers = {"Authorization": f"Bearer {api_key}", "Content-Type": "application/json"}
payload = {
"inputs": {"target": target},
"response_mode": "streaming",
"user": "python_request"
}
with requests.post(f"{base_url}/workflows/run", headers=headers, json=payload, stream=True) as resp:
for line in resp.iter_lines():
if line:
decoded = line.decode('utf-8')
if decoded.startswith("data: "):
data = json.loads(decoded[6:])
if data.get("event") == "workflow_finished":
return data.get("data", {}).get("outputs", {}).get("output")
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
运行后控制台输出最终生成内容。

步骤7:查看Dify后台日志
可追踪每个节点的运行详情。




# 7.2 Coze API调用
步骤1:发布应用
Coze的API功能通过应用发布启用。

步骤2:获取工作流ID和应用ID
在API Playground中查看。

步骤3:授权API Key
点击“授权”生成Token。


步骤4:添加参数
parameters字段对应工作流的输入变量。

步骤5:运行
Shell命令示例:
curl -X POST 'https://api.coze.cn/v1/workflow/stream_run' \
-H "Authorization: Bearer {api_key}" \
-H "Content-Type: application/json" \
-d '{
"workflow_id": "{workflow_id}",
"app_id": "{app_id}",
"parameters": {"link": "..."}
}'
2
3
4
5
6
7
8
运行结果包含Message(携带内容)和Done结束标志。


步骤6:Python代码(使用官方SDK)
安装 cozepy,编写如下代码:
from cozepy import Coze, TokenAuth, COZE_CN_BASE_URL
coze = Coze(auth=TokenAuth(token="YOUR_API_KEY"), base_url=COZE_CN_BASE_URL)
stream = coze.workflows.runs.stream(
workflow_id="YOUR_WORKFLOW_ID",
parameters={"link": "https://bilibili.com/..."}
)
for event in stream:
if event.event == "message":
print(event.message.content)
2
3
4
5
6
7
8
9
10
注意要传入parameters参数,否则可能报错。

# 第八章:Coze开源私有化部署(Windows)
# 8.1 Coze开源背景
字节跳动于2025年7月26日开源Coze,采用Apache 2.0协议,可免费商用。硬件要求极低(2核CPU+4GB内存即可运行),普通家用电脑也能部署。
Coze开源包含两大核心组件:
- Coze Studio:可视化开发工具。
- Coze Loop:运维管理平台。
# 8.2 安装Docker
Coze依赖Docker运行。从官网下载Docker Desktop,安装后配置镜像加速器(国内环境必需)。

配置镜像加速:

# 8.3 下载Coze Studio代码
使用Git克隆或直接下载ZIP包。

# 8.4 配置模型
方案1:火山方舟云端API
在火山引擎创建API Key和Endpoint,修改配置YAML文件。


方案2:本地Ollama模型
安装Ollama,拉取模型,修改配置文件中的base_url。

# 8.5 启动Coze
在项目目录下执行:
docker compose --profile '*' up -d

访问 http://localhost:8888 即可使用。

# 8.6 Coze Loop部署
Coze Loop需要Go环境和Docker,下载源码后修改端口配置(避免冲突),启动服务访问 http://localhost:8082。


# 第九章:Dify私有化部署(Windows/服务器)
# 9.1 安装Docker Desktop
从官网下载安装,过程简单。


安装完成后重启,接受协议。

# 9.2 拉取Dify代码
从GitHub或本地资料获取,进入docker目录,复制 .env.example 为 .env,修改端口等配置。

# 9.3 启动Dify
在终端执行 docker compose up -d。

完成后访问 http://localhost(或自定义端口)初始化管理员。

# 第十章:企业级大模型全栈部署(Dify+Ollama+Xinference)
# 10.1 整体架构
企业级部署的核心是数据安全,需要完全私有化。我们采用 Dify作为应用编排层,Ollama提供LLM推理,Xinference提供Embedding和ReRanker服务,三者协同工作。
整体架构图如下:

三条主线分别是:Dify部署、Ollama部署、Xinference部署。

# 10.2 租用服务器
- Dify服务器:腾讯云轻量应用服务器(4核8GB,Ubuntu)。
- GPU服务器:AutoDL平台(RTX 4090,两台:一台Ollama,一台Xinference)。
# 10.3 部署Docker与Dify
在腾讯云服务器上安装Docker(参考第九章),下载Dify源码,部署Dify服务。
# 10.4 部署Ollama(LLM)
在GPU服务器A上安装Ollama,启动服务(绑定6006端口),并下载模型(如 qwen2.5:7b)。


Dify接入:在Dify后台配置Ollama供应商,填入服务器IP和端口,模型名称。



# 10.5 部署Xinference(Embedding/ReRank)
在GPU服务器B上安装Xinference(版本1.13.0),启动服务(绑定6006端口)。
下载Embedding模型(如 bge-large-zh-v1.5)和ReRanker模型(bge-reranker-base),可通过在线界面或离线上传。

使用 xinference launch 加载模型。


Dify接入:在Dify中添加Xinference供应商,填写模型ID和地址。


至此,企业级私有化大模型平台搭建完成。
# 结语
大模型智能体技术正在重塑软件开发范式。从RAG知识库到工作流编排,从Coze的快速迭代到Dify的企业级部署,作为开发者,我们需要掌握编排AI能力的核心思维。
本专栏从理论到实践,从平台到代码,从云端到私有化,为你构建了一条完整的技能树。希望你能动手搭建一个属于自己的智能体,并逐步将AI能力融入实际业务中。未来已来,智能体将是AI系统的最小工作单元,让我们一起拥抱这个变革的时代!