文本切分
1. 文本切分的五个层级,作者:gkamradt ,专注于进行性能评估和相关技术研究,提出了针对大模型长上下文“大海捞针”的测试方法。
链接:https://github.com/FullStackRetrieval-com/RetrievalTutorials/blob/main/tutorials/LevelsOfTextSplitting/5_Levels_Of_Text_Splitting.ipynb
其他
embedding模型排名:https://huggingface.co/spaces/mteb/leaderboard