技术架构

• 基础层：本地服务器/私有云环境（部署大模型、数据库等）。

• 核心层：知识库建设（数据预处理、向量化、索引）。

• 应用层：智能体开发和部署。

实施步骤

阶段一：基础环境搭建

• 部署大语言模型：
• 选用Qwen、DeepSeek-R1等开源大语言模型，部署在GPU服务器。模型参数根据具体硬件配置进行选择。
• 优化（可选）：通过量化和剪枝技术减少资源占用。

• 部署辅助模型：
• Embedding模型：选择合适的开源嵌入模型进行本地部署，用于文本向量化，支持多语言处理。嵌入模型选择，首先考虑语言支持，中文支持较好的有Qwen3-Embedding系列、BGE系列、M3E系列等；其次要看模型大小，应考虑硬件配置和响应速度，可参考下表。

模型大小	参数量	显存需求	速度	适用场景
Small	<100M	2-4GB	快	快速原型、资源受限
Base	100-300M	4-8GB	中等	生产环境、平衡性能
Large	300M-1B	8-16GB	慢	高精度要求、离线处理
XLarge	1B-10B	16GB+	很慢	极致精度、离线处理

• Reranker模型：重排模型的参与可以提升查询检索的相关性。本地化部署可选择可选择BGE系列。

来源	公司/团队	模型/版本	模型参数	调用方式	官方链接
国内	BAAI	bge-reranker-v2-m3	567M	开源，自行部署	https://huggingface.co/BAAI/bge-reranker-v2-m3
国内	博查	bocha-semantic-reranker	80M	官方API	https://open.bochaai.com
国外	Cohere	cohere-rerank-v3.5	-	官方API	https://cohere.com/rerank
国外	Jina	jina-reranker-v2-base	278M	官方API	https://jina.ai/reranker

• 数据库建设：
• 使用轻量级向量数据库（ChromaDB等），存储向量化知识索引。
• 构建关系型数据库（MySQL）存储结构化元数据（如资料分类表、文档关系链接）。数据库内网运行，加密存储。

• 智能体开发平台建设：
• 部署AI应用协同平台（基于微服务架构）。目前该领域高质量开源软件较多，其中 LangChain、Dify、RagFlow、Maxkb等较为各有特色，平台提供零代码/低代码界面，支持拖拽创建智能体、监控应用性能等
• 支持应用快速开发、测试部署，几乎无需编程基础。
• 集成模型API接口。
• 提供用户权限管理。

阶段二：基础资料知识库建设

• 数据汇集与治理：
• 源数据汇集：导入资料，以Markdown、Docx、TXT等优先。
• 分类清洗：按业务维度分类。清洗策略包括：
• 去除冗余信息（重复内容、无意义段落）。
• 格式化处理（统一日期、单位命名）。
• 建立索引关系：使用实体识别（BERT）链接相关文档。

• 资料向量化：
• 通过Embedding模型将文字转化为768维向量（数字矩阵）。
• 构建语义索引库，支持FastAPI查询接口。

• 重排序优化：
• 应用重排模型（reranker），提升查询-知识相关性。
• 输出优化索引库，集成至数据库层。

阶段三：智能体开发