用完rerank后性能反而下降

使用提供的wiki18_100w作为语料
用e5-base-v2先retrieve，top50
然后用bge-reranker-base做rerank，得到top5
性能比直接用e5-base-v2 retrieve top5性能要差，有任何可能的原因吗？

根据bergen中的结论，虽然用的retriever和rerank不同，但是使用rerank应该是能够稳定提升rag性能的。
https://github.com/naver/bergen