1 什么是MemoRAG？

MemoRAG，顾名思义就是具有记忆功能的RAG。在传统RAG的工作流上，MemoRAG加入了独特的记忆模块，为后续LLM生成答案提供参考。

2 基本原理

下图所谓Memory model，其实就是训练微调了一个小规模的大模型（llama2-7b），去将需要索引的文档知识训练到模型中，然后给出一些clue策略，指导最终答案的生成。

Retriever / Generator也是一个大模型，用于接受提示和小规模大模型生成的clue以及Draft answer，并生成最终的回答。

memo-pipeline

3 总结

MemoRAG将知识训练进一个模型中，创新了RAG的整个工作流。或许提供更多数据训练的条件下，泛化能力有望被提高。