Ai+rag 课程学习笔记(一)

因为Cos72有AI相关的开发诉求,包括Agents模块和AI search等等。而之前和几个同学也沟通过,对于一个社区来说,或者普通个体来说,处理复杂的信息是最繁重的事情,如果有AI来帮忙,会更好。

因此购买了一个135节课(每个10分钟左右),计划每日5节课速度学习,当然,也会记录笔记到此。视频限于版权无法分享,但心得可以。

24 Nov

RAG是什么?(答案来自AI):一句话,使用(图)数据库来增强AI生成结果。

RAG(Retrieval-Augmented Generation)是一种基于检索的生成模型架构,主要用于自然语言生成任务。它由两个主要组件组成:

检索组件(Retriever):这个组件用于从大型知识库中快速检索相关的信息,以辅助生成模型产生高质量的输出。

生成组件(Generator):这个组件是一个预训练的生成模型,它利用检索到的相关信息来生成最终的输出文本。

RAG的工作流程如下:

用户输入一个查询或任务描述
检索组件根据用户输入快速检索相关的背景信息或知识
生成组件结合检索到的信息生成最终的输出
通过这种方式,RAG可以利用大规模知识库中的信息来增强生成模型的性能,提高输出的相关性和信息丰富性。这种架构在问答系统、对话系统、文本摘要等自然语言生成任务中表现出色。

总的来说,RAG是一种集检索和生成于一体的模型架构,可以显著提升生成模型在信息丰富性和相关性方面的表现。它是近年来自然语言处理领域的一项重要进展。

RAG模型核心过程

  1. 准确率代表了生产级别的产品而非demo

  2. 信息源头解析为文本:如何检测识别率?

  3. 文本Splitter的大小等参数,如何切割效果评估、反馈、调优?

  4. 如何选择Split后的chunks转向量的模型?如何评估向量转换模型效果好坏?(RAG和知识图谱)

  5. 向量数据库选择和性能优化

  6. Prompt转换为查询向量后,如何调优向量匹配算法来查询到准确结果?

  7. 查询结果的降噪和rerank处理

  8. 效果评估

复杂问题

可以分解为子问题,然后使用Agents来分别完成和汇总

今日学习了9节课

RAG概述:1-7

LangChain开头1-2,这个下个笔记说