揭秘微软开源GraphRAG：下一代RAG技术的领跑者

发表时间: 2024-07-19 18:37

微软在今年4月份的时候提出了GraphRAG的概念，发布了GraphRAG的论文《From Local to Global: A Graph RAG Approach to Query-Focused Summarization》。在这篇论文中，微软的研究人员提出了一种从文本构建并增强知识图的方法，来解决 Baseline RAG 系统在全局理解上的缺陷。

2024 年 7 月，微软在 Github 开源了 GraphRAG 项目代码。

有兴趣的同学也可以直接访问对应的代码仓库和文档，自己动手试一试。

项目仓库：github.com/microsoft/g…
项目文档：microsoft.github.io/graphrag/

Graph RAG（Graph Retrieval-Augmented Generation）是一种基于图的知识检索增强技术，它结合了知识图谱的广泛知识表示能力和大语言模型（LLM）的生成能力。不同于使用纯文本片段的简单语义搜索方法。GraphRAG 流程包括从原始文本中提取知识图谱、构建社区层次结构、为这些社区生成摘要，然后在执行基于 RAG 的任务时利用这些结构。

GraphRAG VS 传统 RAG 的区别

文档存储模型：

传统RAG：主要依赖于向量序列来表示信息，通过词嵌入或Transformer模型将文档中的词或短语转换为高维向量，形成文档的向量表示。这种方式在处理复杂语义关系时可能存在局限性，难以全面捕捉和表示文档中的信息结构。

GraphRAG：引入了知识图谱这一革命性技术元素，通过LLM（大型语言模型）从源文档中提取实体、关系和属性等信息，并将这些信息组织成一个结构化的知识图谱。知识图谱中的节点代表实体，边代表实体之间的关系，这种结构化的表示方式使得信息更加清晰、易于理解和推理。

信息检索与融合：

传统 RAG：通过向量相似性搜索技术在已有的知识库中进行相似度计算，找到与输入文档最相关或最匹配的信息。然后，将这些信息与原始输入文档进行融合，生成相应的响应或输出。这种方式更侧重于局部信息的匹配和融合。
GraphRAG：在知识图谱构建完成后，使用社区检测算法（如Leiden算法等）来识别图谱中紧密相关的实体组（社区）。每个社区代表一个特定的主题或领域，GraphRAG会为每个社区生成一个摘要。当用户输入查询时，GraphRAG会根据查询内容在知识图谱中查找相关的社区和摘要，并基于这些相关的社区和摘要生成部分响应。最后，将所有相关的部分响应进行汇总和整合，形成一个完整的全局答案。这种方式能够捕获全局信息，提供更全面、准确的回答。