magentic LLM辅助重试机制：解决复杂输出模式遵循难题的终极方案

magentic LLM辅助重试机制解决复杂输出模式遵循难题的终极方案【免费下载链接】magenticSeamlessly integrate LLMs as Python functions项目地址: https://gitcode.com/gh_mirrors/ma/magentic在当今AI驱动的应用开发中大型语言模型LLM已成为构建智能系统的核心组件。然而LLM输出的不可预测性常常给开发者带来挑战特别是在需要严格遵循特定格式或结构的场景下。magentic作为一款能够无缝将LLM集成为Python函数的强大工具提供了创新的LLM辅助重试机制为解决复杂输出模式遵循难题提供了终极方案。为什么需要LLM辅助重试机制LLM偶尔会返回无法解析为请求的输出类型或函数调用的结果。此外您定义的Pydantic模型可能具有额外的验证这些验证无法仅通过类型注解来表示。在这些情况下LLM辅助重试机制可以自动将输出以及相关的错误消息重新提交给LLM为其提供更多信息以满足输出模式要求的机会。图1magentic LLM辅助重试机制工作流程示意图快速启用LLM辅助重试要启用重试功能只需在prompt或chatprompt中将max_retries参数设置为非零值。这个简单的配置就能让您的AI应用具备自我修正能力显著提高输出质量和可靠性。以下是一个实际示例展示了LLM辅助重试如何解决输出验证问题LLM首先返回一个不是爱尔兰的国家Pydantic模型验证失败错误信息为Country must be Ireland原始输出以及包含错误的消息被重新提交给LLMLLM正确满足输出要求返回Irelandfrom typing import Annotated from magentic import prompt from pydantic import AfterValidator, BaseModel def assert_is_ireland(v: str) - str: if v ! Ireland: raise ValueError(Country must be Ireland) return v class Country(BaseModel): name: Annotated[str, AfterValidator(assert_is_ireland)] capital: str prompt( Return a country, max_retries3, ) def get_country() - Country: ... get_country()深入了解RetryChatModel实现LLM辅助重试的核心实现位于RetryChatModel类中该类封装了其他ChatModel捕获异常并将其重新提交给LLM。这个设计模式允许您灵活地实现自己的重试处理逻辑。图2magentic LLM辅助重试机制架构图RetryChatModel的关键代码实现如下class RetryChatModel(ChatModel): Wraps another ChatModel to add LLM-assisted retries. def __init__( self, chat_model: ChatModel, *, max_retries: int, ): self._chat_model chat_model self._max_retries max_retries def complete( self, messages: Iterable[Message[Any]], functions: Iterable[Callable[..., Any]] | None None, output_types: Iterable[type[OutputT]] | None None, *, stop: list[str] | None None, ) - AssistantMessage[OutputT]: Request an LLM message with retry logic. with logfire.span( LLM-assisted retries enabled. Max {max_retries}, max_retriesself._max_retries, ): messages list(messages) num_retry 0 while True: try: message self._chat_model.complete( messagesmessages, functionsfunctions, output_typesoutput_types, stopstop, ) except ToolSchemaParseError as e: if num_retry self._max_retries: raise messages self._make_retry_messages(e) else: return message num_retry 1 logfire.warn( Retrying Chat Completion. Attempt {num_retry}, num_retrynum_retry, )直接使用RetryChatModel除了通过max_retries参数启用重试外您还可以直接使用RetryChatModel将其作为model参数传递给装饰器。这种方式提供了更大的灵活性允许您自定义重试行为。from magentic import OpenaiChatModel from magentic.chat_model.retry_chat_model import RetryChatModel prompt( Return a country, modelRetryChatModel(OpenaiChatModel(gpt-4o-mini), max_retries3), ) def get_country() - Country: ...LLM辅助重试的适用场景LLM辅助重试旨在解决LLM生成无效输出的情况。对于LLM提供商的速率限制、互联网连接问题或其他无法通过重新提示LLM解决的问题应使用其他方法处理例如jd/tenacity或hynek/stamina等Python函数重试库。总结magentic的LLM辅助重试机制通过智能地捕获和处理LLM输出错误为开发者提供了一种简单而强大的方式来提高AI应用的可靠性和准确性。无论是处理复杂的Pydantic模型验证还是确保函数调用的正确格式RetryChatModel都能显著减少手动干预让您的AI应用更加健壮和用户友好。通过简单的配置您可以让magentic自动处理LLM输出问题让您的开发工作更加高效应用更加稳定。立即尝试magentic的LLM辅助重试机制体验智能重试带来的开发便利要开始使用magentic请克隆仓库git clone https://gitcode.com/gh_mirrors/ma/magentic并参考官方文档了解更多详细信息。【免费下载链接】magenticSeamlessly integrate LLMs as Python functions项目地址: https://gitcode.com/gh_mirrors/ma/magentic创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考