avatar

刘刚刚的blog

采菊东篱下,悠然见南山🦥

  • 首页
  • 大模型应用
  • 常用软件/工具
  • Halo
  • 关于
Home dify 并发配置优化
文章

dify 并发配置优化

Posted 10 days ago Updated 10 days ago
By Administrator
3~4 min read

以 docker compose 部署为例,以下是一些常用的参数优化(修改后注意观察服务器负载):

数据库连接数

当把工作流发布为工具,进行并发调用时,容易导致数据库连接失败。

# 配置文件路径:docker/.env
# 每个 dify服务进程的数据库链接池数量
SQLALCHEMY_POOL_SIZE=200
# 数据库链接池回收时间,可以适当缩短这个参数
SQLALCHEMY_POOL_RECYCLE=1800
​
# 配置数据库的最大连接数
# Reference: https://www.postgresql.org/docs/current/runtime-config-connection.html#GUC-MAX-CONNECTIONS
POSTGRES_MAX_CONNECTIONS=1500

Sandbox

当 dify中执行代码服务并发过高的时候会出现:Code execution service is unavailable的报错,查看容器的错误日志会出现 `[N] 2025/04/29 - 06:18:11 | 503 | 27.848µs | 172.19.0.5 | POST "/v1/sandbox/run" 503 错误。

此时可以修改 SandBox 服务的一些参数,将max_workers、max_requests 进行提高:

# 配置文件路径:docker/volumes/sandbox/conf/config.yaml
max_workers: 4
max_requests: 50

其他

  1. 如果要暴露dify相关数据库、redis的服务,一定要修改默认密码。

大模型应用
License:  CC BY 4.0
Share

Further Reading

May 7, 2025

文本切分-语义分割(Semantic Chunking)

当我们使用固定长度的块大小或者一些标点符号分割文本时,其并没有考虑到块中内容的连贯性与完整性。我们可以借助 embedding 来来对文本中语义相近的句子进行聚类。 可以考虑的方法包括: 层次聚类与位置奖励:如果只使用层次聚类 (逐个的将所有句子进行聚类),当一个长句之后存在一个短句时,会存在一些问

Apr 29, 2025

dify 并发配置优化

以 docker compose 部署为例,以下是一些常用的参数优化(修改后注意观察服务器负载): 数据库连接数 当把工作流发布为工具,进行并发调用时,容易导致数据库连接失败。 # 配置文件路径:docker/.env # 每个 dify服务进程的数据库链接池数量 SQLALCHEMY_POOL_S

Apr 10, 2025

大模型返回中json_schema与json_mode的区别

大模型返回json数据结构常用的方法有: json_schema:一种更适合大模型用的json返回格式 json_mode:openai最开始的json返回格式 function call:通过调用函数的形式,让大模型返回json 提示词 + 输出示例:纯提示词,如果模型能力较弱,可能会输出

OLDER

Typing

NEWER

文本切分-语义分割(Semantic Chunking)

Recently Updated

  • 文本切分-语义分割(Semantic Chunking)
  • dify 并发配置优化
  • Typing
  • 大模型返回中json_schema与json_mode的区别
  • Async

Trending Tags

Halo 运维 postgresql 设计模式 linux就该这么学 nas rag odoo python 文本切分

Contents

©2025 刘刚刚的blog. Some rights reserved.

Using the Halo theme Chirpy