语言图平台¶
概述¶
LangGraph 平台是一个用于将智能体应用部署到生产环境的商业解决方案,它基于开源的 LangGraph 框架构建。
LangGraph 平台由多个组件组成,这些组件协同工作,以支持 LangGraph 应用的开发、部署、调试和监控:
- LangGraph 服务器:该服务器定义了一套规范的 API 和架构,其中融入了部署智能体应用的最佳实践,使你能够专注于构建智能体逻辑,而无需开发服务器基础设施。
- LangGraph 工作室:LangGraph 工作室是一款专门的集成开发环境(IDE),它可以连接到 LangGraph 服务器,从而实现应用的本地可视化、交互和调试。
- LangGraph 命令行界面:LangGraph 命令行界面是一个命令行工具,用于与本地的 LangGraph 进行交互。
- Python/JS 软件开发工具包(SDK):Python/JS SDK 提供了一种以编程方式与已部署的 LangGraph 应用进行交互的方法。
- 远程图:远程图(RemoteGraph)允许你像在本地运行一样与任何已部署的 LangGraph 应用进行交互。
- LangGraph 控制平面:LangGraph 控制平面指的是控制平面用户界面(UI),用户可以在该界面创建和更新 LangGraph 服务器,同时还包括支持该 UI 体验的控制平面 API。
- LangGraph 数据平面:LangGraph 数据平面指的是 LangGraph 服务器、每个服务器对应的基础设施,以及持续轮询 LangGraph 控制平面更新的“监听器”应用。
LangGraph 平台提供了几种不同的部署选项,具体内容可参考部署选项指南。
为何使用 LangGraph 平台?¶
**LangGraph 平台**可解决将大语言模型(LLM)应用部署到生产环境时出现的常见问题,让您能够专注于智能体逻辑,而无需管理服务器基础设施。
-
流式支持:随着智能体变得越来越复杂,将令牌输出和中间状态流式传输回用户通常会带来诸多好处。若没有这种流式支持,用户可能需要在无任何反馈的情况下等待长时间的操作完成。LangGraph 服务器提供了 多种流式模式,可针对各种应用需求进行优化。
-
后台运行:对于处理时间较长(例如数小时)的智能体,保持开放连接可能不太实际。LangGraph 服务器支持在后台启动智能体运行,并提供轮询端点和 Webhook 来有效监控运行状态。
-
支持长时间运行:普通的服务器设置在处理需要长时间才能完成的请求时,常常会遇到超时或中断的问题。LangGraph 服务器的 API 通过发送定期的心跳信号,为这些任务提供了强大的支持,可防止在长时间处理过程中意外关闭连接。
-
处理突发请求:某些应用,尤其是那些具有实时用户交互的应用,可能会遇到“突发”的请求负载,即大量请求会同时冲击服务器。LangGraph 服务器包含一个任务队列,确保即使在高负载情况下,请求也能得到一致处理,不会丢失。
-
重复发送消息:在用户驱动的应用中,用户快速发送多条消息是很常见的。如果处理不当,这种“重复发送消息”的情况可能会打乱智能体的流程。LangGraph 服务器提供了内置策略来处理和管理此类交互。
-
检查点和内存管理:对于需要持久化(例如对话记忆)的智能体,部署一个强大的存储解决方案可能会很复杂。LangGraph 平台包含优化的 检查点 和 内存存储,无需自定义解决方案即可管理跨会话的状态。
-
人工干预支持:在许多应用中,用户需要一种干预智能体流程的方式。LangGraph 服务器为人工干预场景提供了专门的端点,简化了将人工监督集成到智能体工作流程中的过程。
通过使用 LangGraph 平台,您可以获得一个强大、可扩展的部署解决方案,该方案可缓解上述挑战,让您无需手动实现和维护这些功能。这使您能够更多地专注于构建有效的智能体行为,而减少解决部署基础设施问题的精力投入。