当我们使用固定长度的块大小或者一些标点符号分割文本时，其并没有考虑到块中内容的连贯性与完整性。我们可以借助 embedding 来来对文本中语义相近的句子进行聚类。 可以考虑的方法包括： 层次聚类与位置奖励：如果只使用层次聚类 （逐个的将所有句子进行聚类），当一个长句之后存在一个短句时，会存在一些问

以 docker compose 部署为例，以下是一些常用的参数优化（修改后注意观察服务器负载）： 数据库连接数 当把工作流发布为工具，进行并发调用时，容易导致数据库连接失败。 # 配置文件路径：docker/.env # 每个 dify服务进程的数据库链接池数量 SQLALCHEMY_POOL_S

类型注释让python 有了更好的编辑器提示功能。 基础使用 对函数参数和返回值，进行类型注释 def surface_area_of_cube(edge_length: float) -> str:    return f"The surface area of the cube is {6 *

大模型返回json数据结构常用的方法有： json_schema：一种更适合大模型用的json返回格式 json_mode：openai最开始的json返回格式 function call：通过调用函数的形式，让大模型返回json 提示词 + 输出示例：纯提示词，如果模型能力较弱，可能会输出

协程可以使用更少的资源实现“并发”的效果。 在开发过程中要注意协程只有在遇到await才会被切换，因此在web开发中如果出现会阻塞的代码（消耗时间的同步代码或者cpu密集型代码块）需要将其添加到其他进程或者线程，才能避免阻塞主其他的请求。 ps：与go相比，GIL锁的存在，在单线程中启动python

Agent smolagents:一个可以通过agent写代码来进行agent行为的agent RAG embedding 通用和多语言嵌入模型voyage-3-large：该模型在涵盖 100 个数据集的八个评估领域中排名第一，包括法律、金融和代码，上下文长度为32K。 基于代码检索的嵌入模型vo

阅读了两个项目的源码deep-searcher 、deep-research deep-searcher，git地址：https://github.com/zilliztech/deep-searcher deep-research，git地址：

注意点： 需要保证在多进程内的进程锁是同一个 需要保证在单进程中的多线程内线程锁是同一个 # logger.py import multiprocessing import threading ​ ​ class Logger_test:    def __init__(self, process

Docker的常用命令 # 镜像列表 docker images ​ # 容器列表 docker ps # 设置镜像源 ​ # 进入容器内部 docker exec -it {容器id} /bin/bash #或者 docker exec -it {容器id} /bin/sh s 离线环境

centos默认的yum源是国外的，国内使用的时候速度会比较慢，可以选择切换为阿里yum源。 切换Yum源 # 1.下载aliyun yum源repo文件 wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo