Skip to content

如何进行 LangGraph 的自托管部署

前提条件

本操作指南将引导您了解如何从现有的 LangGraph 应用程序创建 Docker 镜像,以便您可以将其部署到自己的基础设施上。

工作原理

使用自托管部署选项时,你需要负责管理基础设施,包括设置和维护必要的数据库、Redis 实例及其他服务。

你需要完成以下操作:

  1. 在你自己的基础设施上部署 Redis 和 Postgres 实例。
  2. 使用 LangGraph CLI 构建包含 LangGraph 服务器 的 Docker 镜像。
  3. 部署一个 Web 服务器,该服务器将运行 Docker 镜像并传入必要的环境变量。

Helm 图表

如果您想在 Kubernetes 上部署 LangGraph Cloud,可以使用此 Helm 图表

环境变量

最终,你需要将以下环境变量传递给 LangGraph 部署服务器:

  • REDIS_URI:Redis 实例的连接详细信息。Redis 将用作发布 - 订阅代理,以实现后台运行的实时流式输出。REDIS_URI 的值必须是有效的 Redis 连接 URI

    共享 Redis 实例

    多个自托管部署可以共享同一个 Redis 实例。例如,对于 部署 AREDIS_URI 可以设置为 redis://<主机名_1>:<端口>/1,对于 部署 BREDIS_URI 可以设置为 redis://<主机名_1>:<端口>/2

    12 是同一实例内不同的数据库编号,但 <主机名_1> 是共享的。不同的部署不能使用相同的数据库编号

  • DATABASE_URI:Postgres 连接详细信息。Postgres 将用于存储助手、线程、运行记录,持久化线程状态和长期记忆,并以“仅执行一次”的语义管理后台任务队列的状态。DATABASE_URI 的值必须是有效的 Postgres 连接 URI

    共享 Postgres 实例

    多个自托管部署可以共享同一个 Postgres 实例。例如,对于 部署 ADATABASE_URI 可以设置为 postgres://<用户>:<密码>@/<数据库名_1>?host=<主机名_1>,对于 部署 BDATABASE_URI 可以设置为 postgres://<用户>:<密码>@/<数据库名_2>?host=<主机名_1>

    <数据库名_1>数据库名_2 是同一实例内不同的数据库,但 <主机名_1> 是共享的。不同的部署不能使用相同的数据库

  • LANGSMITH_API_KEY:(如果使用 自托管精简版)LangSmith API 密钥。此密钥将在服务器启动时使用一次进行身份验证。

  • LANGGRAPH_CLOUD_LICENSE_KEY:(如果使用 自托管企业版)LangGraph 平台许可证密钥。此密钥将在服务器启动时使用一次进行身份验证。
  • LANGCHAIN_ENDPOINT:要将跟踪信息发送到 自托管的 LangSmith 实例,请将 LANGCHAIN_ENDPOINT 设置为自托管 LangSmith 实例的主机名。

构建 Docker 镜像

请阅读应用程序结构指南,以了解如何构建你的 LangGraph 应用程序。

如果应用程序的结构正确,你可以使用 LangGraph 部署服务器构建一个 Docker 镜像。

要构建 Docker 镜像,你首先需要安装 CLI:

pip install -U langgraph-cli

然后你可以使用:

langgraph build -t my-image

这将使用 LangGraph 部署服务器构建一个 Docker 镜像。-t my-image 用于为镜像指定一个名称标签。

运行此服务器时,你需要传递三个环境变量:

在本地运行应用程序

使用 Docker

docker run \
    --env-file .env \
    -p 8123:8000 \
    -e REDIS_URI="foo" \
    -e DATABASE_URI="bar" \
    -e LANGSMITH_API_KEY="baz" \
    my-image

如果你想在不设置单独的 Redis 和 Postgres 实例的情况下快速运行此应用程序,可以使用这个 Docker Compose 文件。

Note

  • 你需要将 my-image 替换为你在上一步(通过 langgraph build)构建的镜像名称。 并且你应该为 REDIS_URIDATABASE_URILANGSMITH_API_KEY 提供合适的值。
  • 如果你的应用程序需要额外的环境变量,你可以以类似的方式传递它们。
  • 如果你使用的是自托管企业版,你必须提供 LANGGRAPH_CLOUD_LICENSE_KEY 作为额外的环境变量。

使用 Docker Compose

volumes:
    langgraph-data:
        driver: local
services:
    langgraph-redis:
        image: redis:6
        healthcheck:
            test: redis-cli ping
            interval: 5s
            timeout: 1s
            retries: 5
    langgraph-postgres:
        image: postgres:16
        ports:
            - "5433:5432"
        environment:
            POSTGRES_DB: postgres
            POSTGRES_USER: postgres
            POSTGRES_PASSWORD: postgres
        volumes:
            - langgraph-data:/var/lib/postgresql/data
        healthcheck:
            test: pg_isready -U postgres
            start_period: 10s
            timeout: 1s
            retries: 5
            interval: 5s
    langgraph-api:
        image: ${IMAGE_NAME}
        ports:
            - "8123:8000"
        depends_on:
            langgraph-redis:
                condition: service_healthy
            langgraph-postgres:
                condition: service_healthy
        env_file:
            - .env
        environment:
            REDIS_URI: redis://langgraph-redis:6379
            LANGSMITH_API_KEY: ${LANGSMITH_API_KEY}
            POSTGRES_URI: postgres://postgres:postgres@langgraph-postgres:5432/postgres?sslmode=disable

然后你可以在同一文件夹中使用这个 Docker Compose 文件运行 docker compose up

这将在端口 8123 上启动 LangGraph Deploy(如果你想更改此端口,可以通过更改 langgraph-api 服务中的端口来实现)。

你可以通过以下命令测试应用程序是否已启动:

curl --request GET --url 0.0.0.0:8123/ok
假设一切运行正常,你应该会看到类似如下的响应:

{"ok":true}

Comments