# 大模型智能体实战:Coze与Dify从入门到企业级部署

2025年是智能体(AI Agent)的落地元年。如果说大语言模型是“大脑”,那么智能体就是“手脚并用”的数字员工。过去我们通过编写代码来实现业务逻辑,现在我们可以通过编排AI能力来构建系统。作为AI时代的开发者,我们需要理解RAG(检索增强生成)、工作流、私有化部署等技术,并能够熟练使用Coze、Dify等平台快速构建可落地的智能体应用。

本专栏将从零开始,深入剖析RAG知识库、智能体架构、Coze与Dify双平台实战、API集成以及企业级私有化部署,带领你从理论到工程,全面掌握智能体开发的核心技能。

# 第一章:RAG入门与知识库搭建

# 1.1 RAG是什么?

RAG(Retrieval-Augmented Generation,检索增强生成)是一种结合信息检索与文本生成的技术。它的核心思想是:在大模型生成答案之前,先从外部知识库中检索出相关片段,作为上下文注入到Prompt中,让大模型“有据可依”。这就像给学生考试时提供开卷参考资料,能显著提升回答的准确性和可靠性。

# 1.2 为什么需要RAG?

大模型存在两个天然缺陷:

  • 知识冻结:模型的训练数据截止到某个时间点,无法获取最新信息。例如,让模型推荐“当前热门影片”就会失效。
  • 幻觉现象:面对缺乏公开数据的专有领域(如企业内部文档),模型容易编造内容。

下图清晰地说明了RAG的必要性:

image-20250304161644357

通过引入向量数据库,将企业私有知识转换为向量存储,RAG能够给模型提供“提示和思路”,使回答准确率从60%提升到90%以上。

image-20250304162010172

# 1.3 RAG执行流程

一个完整的RAG流程如下图所示:

langchain+chatglm

核心步骤可分解为:

  1. 文档加载与解析:将PDF、Word、TXT等文件转换为文本。
  2. 文本分段(Chunking):将长文本按段落或固定长度切分,并设置重叠。
  3. 向量化(Embedding):调用Embedding模型将每个片段转换为高维向量。
  4. 索引构建:将向量存入向量数据库(如Weaviate、Pinecone)。
  5. 用户提问:将问题同样向量化。
  6. 相似性检索:在向量库中查找与问题最相似的Top-K个片段。
  7. 重排序(ReRanker):对检索结果进行二次精排,提升相关性。
  8. 生成答案:将精选片段和问题一起喂给LLM,生成最终回复。

下图强调了难点步骤(蓝色部分):

image-20250624150647769

# 1.4 知识库搭建平台对比

目前市面上有多种知识库搭建平台,各有侧重:

平台 核心定位 技术特点
Cherry Studio 个人轻量级知识管理 支持多模型、一键安装、全本地场景
ima(腾讯) 跨终端知识库 集成腾讯混元与DeepSeek-R1,支持微信端
Dify 企业级RAG应用开发 开源、工作流整合、支持自定义模型
RAGFlow 高精度文档解析 处理复杂表格和手写体,准确率高
FastGPT 快速构建问答库 轻量,部署简单

下图展示了核心定位和技术特点对比:

image-20250811104941047

核心功能清单对比如下:

image-20250811105023854

# 1.5 Cherry Studio搭建个人知识库

Cherry Studio是一个对小白极其友好的桌面客户端,支持多模型同时回答、高度自定义参数,并且可以全本地运行,保障数据安全。

步骤1:下载并安装

访问官网 https://cherry-ai.com/ (opens new window) 下载客户端,安装过程为傻瓜式。

image-20250206181403088-1754883509018

image-20250206181433602-1754883509018

步骤2:注册模型服务商(以硅基流动为例)

在 https://siliconflow.cn/ (opens new window) 注册账号,新用户有免费Token。

image-20250206174217391-1754883509018

步骤3:创建并复制API密钥

进入API管理页面,创建密钥并复制。

image-20250206175314322-1754883509018

image-20250206175402386-1754883509018

步骤4:在Cherry Studio中配置API密钥

点击设置,填入密钥。

image-20250206183839216-1754883509018

image-20250206183905198-1754883509018

步骤5:选择大语言模型

在模型列表中选择需要使用的模型。

image-20250206184025494-1754883509018

image-20250206184238324-1754883509018

步骤6:添加嵌入模型

需要配置嵌入模型才能进行知识库检索,确认模型名称后添加。

image-20250215135814799-1754883509018

image-20250215135934550-1754883509018

步骤7:创建知识库并导入文件

点击“知识库”新建,支持上传文件、文件夹、网页链接或直接粘贴文本。

image-20250215140253800-1754883509018

image-20250215140732900-1754883509018

步骤8:检索与生成

可以直接在知识库内检索,查看匹配片段及得分。

image-20250812222348625

也可以选择知识库后提问,模型将基于知识库内容生成答案。

image-20250215145428200

image-20250215145454709-1754883509018

image-20250215145819873-1754883509019

提示:如果上传的文件包含手写内容或复杂表格,解析效果可能不佳,可以先用Doc2X等工具预处理,再上传。

image-20250215150539651-1754883509019

整体流程如下图所示:

个人知识库流程-1754883509018

# 1.6 ima搭建个人知识库

ima是腾讯推出的知识库工具,支持多端同步,集成腾讯混元和DeepSeek-R1满血版。

步骤1:下载安装

访问 https://ima.qq.com/ (opens new window) 下载客户端。

image-20250220145636939

image-20250304164117927

登录账号即可。

image-20250304164209677

步骤2:新建知识库

在左侧导航中点击“知识库”,新建一个专属库。

image-20250304164621289

image-20250304165129596

步骤3:导入本地文件

支持上传PDF、Word、TXT等格式。

image-20250304165508356

image-20250304165612962

image-20250304165629002

步骤4:基于知识库生成

选择知识库后提问,模型会引用库中内容进行回答。

image-20250304170741992

image-20250304170840265

步骤5:组合互联网网页构成知识库

可以在微信公众号中搜索相关文章,并加入ima知识库。

image-20250303100647404

image-20250303100722195

image-20250303100806443

导入后即可结合大模型进行搜索。

image-20250303100836069

image-20250303100927510

步骤6:添加第三方知识库

在PC端和手机端公众号均可查看和管理。

image-20250812231019343

image-20250812231035068

手机端:

image-20250303095858747

image-20250303095917783

# 1.7 Dify搭建知识库

Dify是一个开源的大模型应用开发平台,可以方便地构建私有知识库。

步骤1:创建知识库

在Dify控制台中新建知识库。

image-20250607143032172

步骤2:上传文件

支持TXT、PDF、Excel、CSV等多种格式。

image-20250607143135427

步骤3:分段设置

根据文档结构选择分段标识符(如\n\n为段落),并设置重叠长度(10%~20%)。

image-20250607143327109

步骤4:选择索引方式

一般选择“高质量”,准确率更高(需消耗Token)。如果是问答文档,可选“Q&A”模式。

image-20250607143620519

步骤5:检索设置

选择Embedding模型和ReRanker模型,设置Top K(返回片段数)和Score阈值。

image-20250625091147173

支持混合检索(向量+全文)。

设置完成后保存并处理。

image-20250607144635958

测试:创建一个聊天助手,将知识库设为该文档,提问即可看到引用内容。

image-20250625091738440


# 第二章:智能体(AI Agent)概论

# 2.1 什么是智能体?

智能体是一个能够自主感知环境、做出决策并采取行动的计算机系统。它通常以大语言模型为核心,具备独立思考、调用工具、逐步完成目标的能力。举例:

  • Hyperwrite插件能自动预订航班机票。 image-20250303164504505
  • “林间聊愈室”情感陪伴App广受好评。 image-20250303140514542
  • ShopSpot多模态智能体可实现图像识别与库存分析。 image-20250303140408935
  • 豆包集成了大量智能体。 image-20250304094205137
  • Coze开发的智能体可一键发布到豆包、飞书、公众号等平台。 image-20250304183542047

# 2.2 智能体的发展阶段

智能体的发展可类比自动驾驶的不同阶段,最终目标是通用人工智能(AGI)。

image-20250303164845240

image-20250303164732606

国内各大模型厂商也纷纷推出智能体平台。

image-20250303150056133

# 2.3 智能体的核心要素

OpenAI研究者翁丽莲在博客中提出了现代AI Agent架构,其核心公式为:

Agent = LLM + 记忆 + 工具 + 规划 + 行动

架构图如下:

Snipaste_2026-06-30_14-29-18

各部分详解:

  • 大模型(大脑):提供推理、规划和知识理解。
  • 记忆:短期记忆(上下文窗口)和长期记忆(向量数据库、微调等)。 image-20250304105140008
  • 工具使用:调用外部API、搜索引擎等扩展能力。 image-20250619163714339
  • 规划决策:通过思维链(CoT)分解任务,通过反思优化策略。 image-20250619172832609 image-20250619172902680
  • 行动:执行具体操作,如检索、推理、编程。

多智能体协作可完成更复杂任务。 image-20250303170514410

# 2.4 搭建智能体的三个Level

  • Level 1:提示词立人设——通过Prompt定义角色,直接与LLM交互。
  • Level 2:工作流——定义固定的执行步骤,按顺序调用各节点。
  • Level 3:自主任务拆解——智能体根据目标自主拆分任务、选择工具、控制进度,完成后结束。

image-20250303161901672

# 2.5 Level 1示例:在Cherry Studio中创建简易智能体

  1. 创建智能体,填写名称和提示词(可借助LLM生成)。 image-20250304173856562 image-20250812235029396
  2. 进一步编辑智能体,设置模型温度等参数。 image-20250812235546940 image-20250812235535963
  3. 添加到助手列表并使用。 image-20250812235219131 image-20250217093857846

其他平台如豆包、腾讯元器、讯飞星火也都支持类似方式。

image-20250813001245716 image-20250811151925105 image-20250813000624933 image-20250813000649048


# 第三章:Coze与Dify平台深度对比与选型

# 3.1 Coze(扣子)平台介绍

Coze由字节跳动推出,定位为AI应用开发平台,其最大优势是上手极其简单,提供100+预制模板,与字节系产品(抖音、飞书等)深度集成,一键发布到多个平台。

官网:https://www.coze.cn/ (opens new window)

image-20251123225135736

# 3.2 Dify平台介绍

Dify(DefineModify)由苏州语灵人工智能推出,是一个开源的大语言模型应用开发平台,内置RAG、Agent、Workflow等全链路功能,适合企业级定制和私有化部署。

官网:https://dify.ai/zh (opens new window)

image-20250305175209621

# 3.3 对比表格与选型建议

对比维度 Coze(扣子) Dify
发布时间 2024年2月1日上线,2025年7月26日开源 2023年由苏州语灵推出
适用用户 零技术背景个人、小团队 开发者、技术团队、企业
核心优势 零代码、快速上线、字节生态 开源、企业级功能、模型自由
学习曲线 低(几小时内) 中等(1-2天)
扩展性 依赖预设插件,有限 支持自定义模型和代码节点
部署方式 云端托管和私有化(开源版功能弱) 云端和完全私有化部署
成本 免费版+积分付费 免费版+分层付费(开源免费)

选型建议:

  • 个人或快速验证:选Coze。
  • 企业级私有化、深度定制:选Dify。
  • 需要代码级集成:选Dify。

# 第四章:使用Coze搭建智能体

# 4.1 Coze创建智能体流程

登录Coze平台,点击“创建智能体”,填写名称、描述,即可开始。

image-20250813013249609

Coze内置了丰富的插件和模板:

image-20250305174953069

image-20250813013230877

# 4.2 案例:深夜情感主持

① 创建智能体

image-20250813014033707

② 填写提示词

角色设定为深夜情感主持,提供倾听、分析与安抚技能。

image-20250813014212708

image-20250813014225535

image-20250813014246094

③ 模型参数设置

调整温度等参数。

image-20250813014535382

④ 测试

image-20250813014655301

⑤ 设置开场白与预设问题

image-20250813014928492

⑥ 发布

可发布到豆包、飞书、微信等多个平台。

image-20250813015011630

image-20250813015042857

image-20250813015056880

# 4.3 案例:高考报考指南

① 创建智能体

image-20250813105719515

② 填写提示词

image-20250813105933513

③ 使用插件

添加头条搜索插件,获取实时资讯。

image-20250813110414868

添加头条图片搜索插件,丰富内容。

image-20250813112036662

image-20250813112105289

④ 使用知识库

上传高考相关文档,构建知识库。

image-20250813113033401

image-20250813113219125

image-20250813113235730

image-20250813113319180

image-20250813113422657

# 4.4 案例:家庭记账助手

① 创建智能体

image-20250813113715971

② 填写提示词

image-20250813113757540

image-20250813113847001

③ 使用变量

为了持久化存储用户交互数据(如收支记录),需要使用变量。

image-20250813114228011

设置变量 record 存储记录。

image-20250813114546293

image-20250813114533086

image-20250813114728034

④ 使用数据库

更结构化地存储收支数据,使用Coze内置数据库。

image-20250813114855877

image-20250813115138967

image-20250813115057843

image-20250813115425813

⑤ 其他功能

  • 长期记忆:自动总结聊天记录,作为上下文。
  • 文件盒子:保存用户上传的文件,后续可引用。

# 第五章:使用Dify搭建智能体

# 5.1 Dify创建智能体流程

在Dify中,可以创建三种应用:聊天助手、Agent、工作流。

image-20250310004816503

# 5.2 案例:时事评论助手(Agent模式)

① 创建Agent

image-20250813121148431

image-20250813121357585

② 配置提示词

定义角色为资深媒体评论员,要求深度分析、多视角、给出建议。

image-20250813122127238

image-20250813121847505

③ 测试

输入新闻事件,Agent自动规划并生成评论。

image-20250305180234164

④ 查看Agent日志

可追踪每个步骤的输入输出。

image-20250813122635759

image-20250305180600837

image-20250305180644523

⑤ 发布

image-20250813122350842

# 5.3 案例:北京旅行助手

① 创建空白Agent

image-20250606153539748

② 添加提示词

使用结构化模板,包含角色、技能、目标、工作流程。

image-20250606153640513

③ 添加对话开场白和内容审查

在“管理”中添加开场白和预设问题。

image-20250624162108566

设置内容审查,拦截敏感提问。

image-20250624162331993

提问被拦截示例:

image-20250624162443680

④ 完整测试

输入目的地、天数、预算,生成详细旅行计划。

image-20250624162733663


# 第六章:工作流深度设计

# 6.1 什么是工作流?

工作流是为完成某项任务而设计的一系列自动化步骤的有序组合。在大模型应用中,某些复杂需求难以通过单次问答解决,需要通过多个节点链式调用来实现。

常见场景:

  • 电商订单处理:审核→库存检查→生成物流单→财务对账。
  • AI批改作业:提交→识别错误→生成反馈→推荐练习。
  • 自媒体智能体:输入爆款视频→提取标题→生成大纲→生成图片→合成视频。

# 6.2 Coze工作流案例

Coze支持可视化工作流设计,通过节点连接实现流程。

  • 案例1:一键生成行业调研PPT(详见《Coze案例:一键生成行业调研PPT.md》)
  • 案例2:复刻爆款视频(详见《Coze案例:复刻爆款视频.md》)
  • 案例3:根据官方模板复刻应用-海报(详见《Coze案例:根据官方模板复刻应用:海报.md》)

发布与模板:

  • 应用可发布到商店,但只可体验,不可复制。
  • 不可发布为模板(权限严格)。

image-20250813173417045

image-20250813173332121

# 6.3 Dify工作流案例

Dify的工作流节点支持代码节点,灵活度更高。

  • 案例1:客户投诉分类助手(详见《Dify案例:客户投诉分类助手.md》)
  • 案例2:一键生成行业调研报告(详见《Dify案例:一键生成行业调研报告.md》)

# 第七章:Python调用工作流

# 7.1 Dify API调用

步骤1:发布工作流

必须在Dify中发布后才能通过API调用。

image-20250812142553850

步骤2:查看API文档

image-20250812143212156

步骤3:创建API密钥

在工作流设置中创建API Key,注意密钥与工作流绑定。

image-20250812143353011

image-20250812150557416

步骤4:请求格式

使用POST请求 https://api.dify.ai/v1/workflows/run,请求头包含Bearer Token和JSON格式。

请求体示例:

{
  "inputs": {"target": "新能源汽车发展概况"},
  "response_mode": "streaming",
  "user": "postman_test"
}
1
2
3
4
5

流式模式(streaming)适合长任务,阻塞模式(blocking)可能超时。

步骤5:Postman测试

image-20250812144236772

image-20250812144308034

image-20250812144506652

发送请求后,收到流式响应,最后一条为workflow_finished,包含输出。

image-20250812144742151

image-20250812144814228

image-20250812144846294

步骤6:Python代码实现

安装requests库,编写函数发送流式请求,解析SSE事件。

import requests
import json

def stream_dify_workflow(target, api_key, base_url="https://api.dify.ai/v1"):
    headers = {"Authorization": f"Bearer {api_key}", "Content-Type": "application/json"}
    payload = {
        "inputs": {"target": target},
        "response_mode": "streaming",
        "user": "python_request"
    }
    with requests.post(f"{base_url}/workflows/run", headers=headers, json=payload, stream=True) as resp:
        for line in resp.iter_lines():
            if line:
                decoded = line.decode('utf-8')
                if decoded.startswith("data: "):
                    data = json.loads(decoded[6:])
                    if data.get("event") == "workflow_finished":
                        return data.get("data", {}).get("outputs", {}).get("output")
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18

运行后控制台输出最终生成内容。

image-20250812151410775

步骤7:查看Dify后台日志

可追踪每个节点的运行详情。

image-20250812145334640

image-20250812145442050

image-20250812145513192

image-20250812145529448

# 7.2 Coze API调用

步骤1:发布应用

Coze的API功能通过应用发布启用。

image-20250813145826661

步骤2:获取工作流ID和应用ID

在API Playground中查看。

image-20250813150925985

步骤3:授权API Key

点击“授权”生成Token。

image-20250813151145365

image-20250813151323753

步骤4:添加参数

parameters字段对应工作流的输入变量。

image-20250813151718254

步骤5:运行

Shell命令示例:

curl -X POST 'https://api.coze.cn/v1/workflow/stream_run' \
-H "Authorization: Bearer {api_key}" \
-H "Content-Type: application/json" \
-d '{
  "workflow_id": "{workflow_id}",
  "app_id": "{app_id}",
  "parameters": {"link": "..."}
}'
1
2
3
4
5
6
7
8

运行结果包含Message(携带内容)和Done结束标志。

image-20250813152407941

image-20250813152519965

步骤6:Python代码(使用官方SDK)

安装 cozepy,编写如下代码:

from cozepy import Coze, TokenAuth, COZE_CN_BASE_URL

coze = Coze(auth=TokenAuth(token="YOUR_API_KEY"), base_url=COZE_CN_BASE_URL)
stream = coze.workflows.runs.stream(
    workflow_id="YOUR_WORKFLOW_ID",
    parameters={"link": "https://bilibili.com/..."}
)
for event in stream:
    if event.event == "message":
        print(event.message.content)
1
2
3
4
5
6
7
8
9
10

注意要传入parameters参数,否则可能报错。

image-20250815014227105


# 第八章:Coze开源私有化部署(Windows)

# 8.1 Coze开源背景

字节跳动于2025年7月26日开源Coze,采用Apache 2.0协议,可免费商用。硬件要求极低(2核CPU+4GB内存即可运行),普通家用电脑也能部署。

Coze开源包含两大核心组件:

  • Coze Studio:可视化开发工具。
  • Coze Loop:运维管理平台。

# 8.2 安装Docker

Coze依赖Docker运行。从官网下载Docker Desktop,安装后配置镜像加速器(国内环境必需)。

image-20251111160545138

配置镜像加速:

image-20251118113106995

# 8.3 下载Coze Studio代码

使用Git克隆或直接下载ZIP包。

image-20251117184702974

# 8.4 配置模型

方案1:火山方舟云端API

在火山引擎创建API Key和Endpoint,修改配置YAML文件。

image-20251118092704469

image-20251118152946085

方案2:本地Ollama模型

安装Ollama,拉取模型,修改配置文件中的base_url。

image-20251118154113127

# 8.5 启动Coze

在项目目录下执行:

docker compose --profile '*' up -d
1

image-20251118153815941

访问 http://localhost:8888 即可使用。

image-20251118155219214

# 8.6 Coze Loop部署

Coze Loop需要Go环境和Docker,下载源码后修改端口配置(避免冲突),启动服务访问 http://localhost:8082。

image-20251118160139754

image-20251119145214972


# 第九章:Dify私有化部署(Windows/服务器)

# 9.1 安装Docker Desktop

从官网下载安装,过程简单。

image-20250310004148625

image-20250305161642755

安装完成后重启,接受协议。

image-20250305162135442

# 9.2 拉取Dify代码

从GitHub或本地资料获取,进入docker目录,复制 .env.example 为 .env,修改端口等配置。

image-20250311190257712

# 9.3 启动Dify

在终端执行 docker compose up -d。

image-20250310003459328

完成后访问 http://localhost(或自定义端口)初始化管理员。

image-20250307120331043


# 第十章:企业级大模型全栈部署(Dify+Ollama+Xinference)

# 10.1 整体架构

企业级部署的核心是数据安全,需要完全私有化。我们采用 Dify作为应用编排层,Ollama提供LLM推理,Xinference提供Embedding和ReRanker服务,三者协同工作。

整体架构图如下:

image-20250818101754473

三条主线分别是:Dify部署、Ollama部署、Xinference部署。

image-20250715101933277

# 10.2 租用服务器

  • Dify服务器:腾讯云轻量应用服务器(4核8GB,Ubuntu)。
  • GPU服务器:AutoDL平台(RTX 4090,两台:一台Ollama,一台Xinference)。

# 10.3 部署Docker与Dify

在腾讯云服务器上安装Docker(参考第九章),下载Dify源码,部署Dify服务。

# 10.4 部署Ollama(LLM)

在GPU服务器A上安装Ollama,启动服务(绑定6006端口),并下载模型(如 qwen2.5:7b)。

image-20250715171441197

image-20250715171628036

Dify接入:在Dify后台配置Ollama供应商,填入服务器IP和端口,模型名称。

image-20250624141307483

image-20250605143150148

image-20250624142011454

# 10.5 部署Xinference(Embedding/ReRank)

在GPU服务器B上安装Xinference(版本1.13.0),启动服务(绑定6006端口)。

下载Embedding模型(如 bge-large-zh-v1.5)和ReRanker模型(bge-reranker-base),可通过在线界面或离线上传。

image-20250607165828234

使用 xinference launch 加载模型。

image-20250607144551455

image-20250607144523662

Dify接入:在Dify中添加Xinference供应商,填写模型ID和地址。

image-20250606144534636

image-20250625094055030

至此,企业级私有化大模型平台搭建完成。


# 结语

大模型智能体技术正在重塑软件开发范式。从RAG知识库到工作流编排,从Coze的快速迭代到Dify的企业级部署,作为开发者,我们需要掌握编排AI能力的核心思维。

本专栏从理论到实践,从平台到代码,从云端到私有化,为你构建了一条完整的技能树。希望你能动手搭建一个属于自己的智能体,并逐步将AI能力融入实际业务中。未来已来,智能体将是AI系统的最小工作单元,让我们一起拥抱这个变革的时代!

最近更新: 2026/6/30
 |  Copyright © -Present Kelsen All Rights Reserved. | Author KelsenJing
大模型智能体实战:Coze与Dify从入门到企业级部署