如何在 LangSmith 中传递自定义 run ID 或为图运行设置标签和元数据¶
在 IDE 或终端中调试图运行有时可能很困难。LangSmith 允许您使用追踪数据来调试、测试和监控使用 LangGraph 构建的 LLM 应用程序 —— 有关如何入门的更多信息,请阅读 LangSmith 文档。
为了更轻松地识别和分析图调用期间生成的追踪,您可以在运行时设置额外的配置(请参阅 RunnableConfig):
字段 | 类型 | 描述 |
---|---|---|
run_name | str |
此调用的追踪运行名称。默认为类名。 |
run_id | UUID |
此调用的追踪运行唯一标识符。如果不提供,将生成新的 UUID。 |
tags | List[str] |
此调用及其任何子调用的标签(例如,一个链调用 LLM)。您可以使用这些标签进行筛选。 |
metadata | Dict[str, Any] |
此调用及其任何子调用的元数据(例如,一个链调用 LLM)。键应为字符串,值应为 JSON 可序列化的。 |
LangGraph 图实现了 LangChain Runnable 接口,并在 invoke
、ainvoke
、stream
等方法中接受第二个参数 (RunnableConfig
)。
LangSmith 平台允许您根据 run_name
、run_id
、tags
和 metadata
搜索和过滤追踪。
TLDR¶
import uuid
# 生成随机 UUID -- 它必须是 UUID
config = {"run_id": uuid.uuid4()}, "tags": ["my_tag1"], "metadata": {"a": 5}}
# 适用于所有标准 Runnable 方法
# 例如 invoke, batch, ainvoke, astream_events 等
graph.stream(inputs, config, stream_mode="values")
接下来的 how to 指南其余部分将展示一个完整的代理。
设置¶
首先,让我们安装所需的包并设置我们的 API 密钥
import getpass
import os
def _set_env(var: str):
if not os.environ.get(var):
os.environ[var] = getpass.getpass(f"{var}: ")
_set_env("OPENAI_API_KEY")
_set_env("LANGSMITH_API_KEY")
为 LangGraph 开发设置 LangSmith
注册 LangSmith 可以快速发现并改进你的 LangGraph 项目的问题。LangSmith 允许你使用追踪数据来调试、测试和监控使用 LangGraph 构建的 LLM 应用 —— 了解如何入门,请阅读 这里 的更多信息。
定义图¶
在此示例中,我们将使用预构建的 ReAct 代理。
API Reference: ChatOpenAI | create_react_agent | tool
from langchain_openai import ChatOpenAI
from typing import Literal
from langgraph.prebuilt import create_react_agent
from langchain_core.tools import tool
# First we initialize the model we want to use.
model = ChatOpenAI(model="gpt-4o", temperature=0)
# For this tutorial we will use custom tool that returns pre-defined values for weather in two cities (NYC & SF)
@tool
def get_weather(city: Literal["nyc", "sf"]):
"""Use this to get weather information."""
if city == "nyc":
return "It might be cloudy in nyc"
elif city == "sf":
return "It's always sunny in sf"
else:
raise AssertionError("Unknown city")
tools = [get_weather]
# Define the graph
graph = create_react_agent(model, tools=tools)
运行你的图¶
现在我们已经定义了图,让我们运行一次并在 LangSmith 中查看追踪。为了使我们的追踪在 LangSmith 中易于访问,我们将通过配置传递一个自定义的 run_id
。
这假设你已经设置了 LANGSMITH_API_KEY
环境变量。
请注意,你也可以通过设置 LANGCHAIN_PROJECT
环境变量来配置要追踪到哪个项目,默认情况下运行将被追踪到 default
项目。
import uuid
def print_stream(stream):
for s in stream:
message = s["messages"][-1]
if isinstance(message, tuple):
print(message)
else:
message.pretty_print()
inputs = {"messages": [("user", "what is the weather in sf")]}
config = {"run_name": "agent_007", "tags": ["cats are awesome"]}
print_stream(graph.stream(inputs, config, stream_mode="values"))
================================ Human Message =================================
what is the weather in sf
================================== Ai Message ==================================
Tool Calls:
get_weather (call_9ZudXyMAdlUjptq9oMGtQo8o)
Call ID: call_9ZudXyMAdlUjptq9oMGtQo8o
Args:
city: sf
================================= Tool Message =================================
Name: get_weather
It's always sunny in sf
================================== Ai Message ==================================
The weather in San Francisco is currently sunny.
在 LangSmith 中查看追踪¶
现在我们已经运行了图,让我们前往 LangSmith 查看我们的追踪。首先点击进入你追踪的项目(在我们的情况下是默认项目)。你应该能看到一个自定义运行名称为 "agent_007" 的运行。
此外,您还可以使用提供的标签或元数据在事后对追踪进行过滤。例如,
IMG_PLACEHOLDER_1