LangGraph 运行时(Pregel)¶
Pregel 实现了 LangGraph 的运行时,负责管理 LangGraph 应用程序的执行。
编译 StateGraph 或创建 入口点 会生成一个 Pregel 实例,该实例可以使用输入进行调用。
本指南将从高层次解释运行时,并提供直接使用 Pregel 实现应用程序的说明。
注意: Pregel 运行时以 谷歌的 Pregel 算法 命名,该算法描述了一种使用图进行大规模并行计算的高效方法。
概述¶
在 LangGraph 中,Pregel 将 参与者(actors) 和 通道(channels) 整合到一个应用程序中。参与者 从通道读取数据,并将数据写入通道。Pregel 按照 Pregel 算法/整体同步并行(Bulk Synchronous Parallel) 模型,将应用程序的执行组织成多个步骤。
每个步骤包含三个阶段:
- 规划(Plan):确定在这一步骤中要执行哪些 参与者。例如,在第一步中,选择订阅特殊 输入 通道的 参与者;在后续步骤中,选择订阅上一步中更新的通道的 参与者。
- 执行(Execution):并行执行所有选定的 参与者,直到所有参与者执行完毕、有一个失败或达到超时时间。在此阶段,通道更新对参与者不可见,直到下一步。
- 更新(Update):用本步骤中 参与者 写入的值更新通道。
重复上述步骤,直到没有 参与者 被选中执行,或者达到最大步骤数。
参与者¶
参与者**是一个 PregelNode。它会订阅通道,从通道读取数据,并向通道写入数据。可以将其视为 Pregel 算法中的一个**参与者。PregelNodes 实现了 LangChain 的可运行接口。
通道¶
通道用于在参与者(Pregel节点)之间进行通信。每个通道都有一个值类型、一个更新类型和一个更新函数,该更新函数接受一系列更新并修改存储的值。通道可用于将数据从一个链发送到另一个链,或者在未来的步骤中将数据从一个链发送给自己。LangGraph 提供了一些内置通道:
基本通道:LastValue 和 Topic¶
- LastValue:默认通道,存储发送到该通道的最后一个值,适用于输入和输出值,或用于将数据从一个步骤发送到下一个步骤。
- Topic:一个可配置的发布 - 订阅主题,适用于在**参与者**之间发送多个值,或用于累积输出。可以配置为对值进行去重,或在多个步骤中累积值。
高级通道:Context 和 BinaryOperatorAggregate¶
Context
:公开上下文管理器的值,并管理其生命周期。适用于访问需要设置和/或清理的外部资源;例如,client = Context(httpx.Client)
。- BinaryOperatorAggregate:存储一个持久值,通过对当前值和发送到该通道的每个更新应用二元运算符来更新该值,适用于在多个步骤中计算聚合值;例如,
total = BinaryOperatorAggregate(int, operator.add)
示例¶
虽然大多数用户会通过 StateGraph API 或 入口点 装饰器与 Pregel 进行交互,但也可以直接与 Pregel 进行交互。
以下是几个不同的示例,让你了解 Pregel API 的使用方法。
from langgraph.channels import EphemeralValue
from langgraph.pregel import Pregel, Channel
node1 = (
Channel.subscribe_to("a")
| (lambda x: x + x)
| Channel.write_to("b")
)
app = Pregel(
nodes={"node1": node1},
channels={
"a": EphemeralValue(str),
"b": EphemeralValue(str),
},
input_channels=["a"],
output_channels=["b"],
)
app.invoke({"a": "foo"})
from langgraph.channels import LastValue, EphemeralValue
from langgraph.pregel import Pregel, Channel
node1 = (
Channel.subscribe_to("a")
| (lambda x: x + x)
| Channel.write_to("b")
)
node2 = (
Channel.subscribe_to("b")
| (lambda x: x + x)
| Channel.write_to("c")
)
app = Pregel(
nodes={"node1": node1, "node2": node2},
channels={
"a": EphemeralValue(str),
"b": LastValue(str),
"c": EphemeralValue(str),
},
input_channels=["a"],
output_channels=["b", "c"],
)
app.invoke({"a": "foo"})
from langgraph.channels import EphemeralValue, Topic
from langgraph.pregel import Pregel, Channel
node1 = (
Channel.subscribe_to("a")
| (lambda x: x + x)
| {
"b": Channel.write_to("b"),
"c": Channel.write_to("c")
}
)
node2 = (
Channel.subscribe_to("b")
| (lambda x: x + x)
| {
"c": Channel.write_to("c"),
}
)
app = Pregel(
nodes={"node1": node1, "node2": node2},
channels={
"a": EphemeralValue(str),
"b": EphemeralValue(str),
"c": Topic(str, accumulate=True),
},
input_channels=["a"],
output_channels=["c"],
)
app.invoke({"a": "foo"})
此示例展示了如何使用 BinaryOperatorAggregate 通道来实现一个归约器。
from langgraph.channels import EphemeralValue, BinaryOperatorAggregate
from langgraph.pregel import Pregel, Channel
node1 = (
Channel.subscribe_to("a")
| (lambda x: x + x)
| {
"b": Channel.write_to("b"),
"c": Channel.write_to("c")
}
)
node2 = (
Channel.subscribe_to("b")
| (lambda x: x + x)
| {
"c": Channel.write_to("c"),
}
)
def reducer(current, update):
if current:
return current + " | " + "update"
else:
return update
app = Pregel(
nodes={"node1": node1, "node2": node2},
channels={
"a": EphemeralValue(str),
"b": EphemeralValue(str),
"c": BinaryOperatorAggregate(str, operator=reducer),
},
input_channels=["a"],
output_channels=["c"],
)
app.invoke({"a": "foo"})
此示例展示了如何在图中引入循环,即让一个链写入它所订阅的通道。执行将持续进行,直到向该通道写入 None 值为止。
from langgraph.channels import EphemeralValue
from langgraph.pregel import Pregel, Channel, ChannelWrite, ChannelWriteEntry
example_node = (
Channel.subscribe_to("value")
| (lambda x: x + x if len(x) < 10 else None)
| ChannelWrite(writes=[ChannelWriteEntry(channel="value", skip_none=True)])
)
app = Pregel(
nodes={"example_node": example_node},
channels={
"value": EphemeralValue(str),
},
input_channels=["value"],
output_channels=["value"],
)
app.invoke({"value": "a"})
高级 API¶
LangGraph 提供了两个用于创建 Pregel 应用程序的高级 API:StateGraph(图 API) 和 函数式 API。
StateGraph(图 API) 是一种更高级的抽象,它简化了 Pregel 应用程序的创建过程。它允许你定义一个由节点和边组成的图。当你编译该图时,StateGraph API 会自动为你创建 Pregel 应用程序。
from typing import TypedDict, Optional
from langgraph.constants import START
from langgraph.graph import StateGraph
class Essay(TypedDict):
topic: str
content: Optional[str]
score: Optional[float]
def write_essay(essay: Essay):
return {
"content": f"Essay about {essay['topic']}",
}
def score_essay(essay: Essay):
return {
"score": 10
}
builder = StateGraph(Essay)
builder.add_node(write_essay)
builder.add_node(score_essay)
builder.add_edge(START, "write_essay")
# 编译图。
# 这将返回一个 Pregel 实例。
graph = builder.compile()
编译后的 Pregel 实例将与一个节点和通道列表相关联。你可以通过打印它们来查看这些节点和通道。
你将看到类似如下的内容:
{'__start__': <langgraph.pregel.read.PregelNode at 0x7d05e3ba1810>,
'write_essay': <langgraph.pregel.read.PregelNode at 0x7d05e3ba14d0>,
'score_essay': <langgraph.pregel.read.PregelNode at 0x7d05e3ba1710>}
你应该会看到类似如下的内容
{'topic': <langgraph.channels.last_value.LastValue at 0x7d05e3294d80>,
'content': <langgraph.channels.last_value.LastValue at 0x7d05e3295040>,
'score': <langgraph.channels.last_value.LastValue at 0x7d05e3295980>,
'__start__': <langgraph.channels.ephemeral_value.EphemeralValue at 0x7d05e3297e00>,
'write_essay': <langgraph.channels.ephemeral_value.EphemeralValue at 0x7d05e32960c0>,
'score_essay': <langgraph.channels.ephemeral_value.EphemeralValue at 0x7d05e2d8ab80>,
'branch:__start__:__self__:write_essay': <langgraph.channels.ephemeral_value.EphemeralValue at 0x7d05e32941c0>,
'branch:__start__:__self__:score_essay': <langgraph.channels.ephemeral_value.EphemeralValue at 0x7d05e2d88800>,
'branch:write_essay:__self__:write_essay': <langgraph.channels.ephemeral_value.EphemeralValue at 0x7d05e3295ec0>,
'branch:write_essay:__self__:score_essay': <langgraph.channels.ephemeral_value.EphemeralValue at 0x7d05e2d8ac00>,
'branch:score_essay:__self__:write_essay': <langgraph.channels.ephemeral_value.EphemeralValue at 0x7d05e2d89700>,
'branch:score_essay:__self__:score_essay': <langgraph.channels.ephemeral_value.EphemeralValue at 0x7d05e2d8b400>,
'start:write_essay': <langgraph.channels.ephemeral_value.EphemeralValue at 0x7d05e2d8b280>}
在 函数式 API 中,你可以使用 entrypoint
来创建一个 Pregel 应用程序。entrypoint
装饰器允许你定义一个接受输入并返回输出的函数。
from typing import TypedDict, Optional
from langgraph.checkpoint.memory import InMemorySaver
from langgraph.func import entrypoint
class Essay(TypedDict):
topic: str
content: Optional[str]
score: Optional[float]
checkpointer = InMemorySaver()
@entrypoint(checkpointer=checkpointer)
def write_essay(essay: Essay):
return {
"content": f"Essay about {essay['topic']}",
}
print("节点: ")
print(write_essay.nodes)
print("通道: ")
print(write_essay.channels)
节点:
{'write_essay': <langgraph.pregel.read.PregelNode object at 0x7d05e2f9aad0>}
通道:
{'__start__': <langgraph.channels.ephemeral_value.EphemeralValue object at 0x7d05e2c906c0>, '__end__': <langgraph.channels.last_value.LastValue object at 0x7d05e2c90c40>, '__previous__': <langgraph.channels.last_value.LastValue object at 0x7d05e1007280>}