VTJ.PRO 在线应用开发平台的LLM模型管理与配置

LLM 模型管理与配置本节详细介绍了 VTJ.PRO 平台中大型语言模型LLM的基础设施和管理逻辑。系统支持多个提供商、专门的模型用途如代码生成或多模态视觉并包含一个缓存层以优化 AI 代理工作流的性能。数据模型与实体平台使用结构化的实体模型来定义 LLM 的能力和连接参数。LLMModelEntityLLMModelEntity表示由外部服务提供的特定模型实例例如 GPT-4、Claude-3。它包含 API 端点、认证密钥和模型特定参数的配置。关键字段包括name模型的显示名称。valueAPI 调用中使用的技术标识符例如gpt-4-turbo。provider服务提供商由LLMProvider枚举定义。purpose主要使用场景由LLMPurpose枚举定义。apiKey提供商的凭证。baseUrlAPI 端点用于代理服务或本地部署。枚举Provider 与 Purpose系统对模型进行分类以确保为特定任务使用正确的工具LLMProvider支持OpenAI、DeepSeek、Ollama、Moonshot、Zhipu、Groq和Anthropic。LLMPurpose将模型分类为Coder针对 DSL 和代码生成优化或Multimodal支持图像/视觉输入。实体关系图下图说明了LLMModelEntity在后端服务层中如何与其操作枚举相关联。模型实体空间LLMModelService 实现LLMModelService是检索和管理模型的主要接口。它扩展了BaseCrudService以提供标准的 CRUD 操作同时实现了模型选择和缓存的专用逻辑。缓存支持的检索为了在频繁的 AI 代理请求期间最小化数据库开销该服务对模型列表使用了缓存机制。getModels()检索所有启用的模型优先使用缓存结果如果可用。getCoderModels()过滤模型列表仅返回标记为LLMPurpose.Coder的模型。这些模型通常由vtj/coder引擎用于生成 Vue 组件和 DSL。getMultiModel()返回标记为LLMPurpose.Multimodal的第一个可用模型用于图像转代码或基于视觉的分析。数据流请求到模型选择此图显示了针对特定模型如 Coder 模型的请求如何从服务层通过缓存流向数据库。LLM 模型解析流程管理界面平台提供了一个专用的管理界面用于管理 LLM 配置位于llms.vue视图中。配置界面管理员可以执行以下操作提供商设置定义新的 LLM 端点包括为兼容 OpenAI 的代理设置自定义baseUrl。凭证管理安全存储apiKey值。用途分配明确将模型标记为Coder或Multimodal以使其在特定工作台工作流中启用。状态切换启用或禁用模型无需删除其配置。前端集成管理界面通过LlmController与后端交互该控制器公开了由LLMModelService管理的 CRUD 端点。组件文件路径角色视图frontend/src/views/admin/llms.vue模型 CRUD 操作的管理界面控制器backend/src/business/llm/llm.controller.tsLLM 管理的 REST API 端点服务backend/src/business/llm/llm.service.ts业务逻辑和缓存管理与 AI 代理工作流的集成在此模块中配置的模型由AIService使用。当 AI 代理需要执行任务时它根据任务类型例如聊天 vs. 代码生成向LLMModelService查询合适的模型。它从LLMModelEntity中检索apiKey和baseUrl。它使用这些参数初始化一个兼容 OpenAI 的客户端实例以将响应流式传输回工作台。参考资料官网文档https://vtj.pro/在线平台https://app.vtj.pro/开源仓库https://gitee.com/newgateway/vtj