Ai 文本生成式大模型 基础知识

提示工程-RAG-微调

工程当中也是这个次序 提示词工程 RAG 微调

• 先问好问题
  
• 再补充知识
  
• 最后微调模型
  
  
  
  

RAG相关技术细节

• 选择合适的 Chunk 大小对 RAG 流程至关重要。
  
• Chunk 过大：检索精度下降、浪费 Prompt(token) 空间；过小：信息太碎、检索和拼接(embedding)成本高。
  
• 综合文档结构、任务需求和模型限制等因素，通常选择数百到一千字左右进行切分。
  

将文档拆分为合适大小的 Chunk 并向量化存入向量数据库；当用户提出问题时，也将问题向量化并检索相关片段，然后与提示一起传给大语言模型生成答案。
需注意事项，可改变rag结果

• 文档选择(ppt pdf excel)
  
• chunks大小
  
• embeding选择
  
• 用户的问题需要进一步处理
  
• 向量数据库检索
  
• raking拿到精排的信息，对相关信息进行排序
  
• prompt设计
  
• 使用什么样的大模型LLM  (通用大模型还是开源大模型+微调)
  
• 回复直接返回还是二次处理
  

LoRA微调vs全量调整


模型微调，有些时候发现模型在某一个方面能力不够，对模型的改动

全量微调 每个参数都要通过学习的方法得出来 100亿参数要找100亿数得到新的结果
张三写文章，写了2000字，他本人比较啰嗦，还写了重复性的内容。不够简洁，传达的内容是有限的。
怀疑大模型的千亿参数的价值性
大模型学到的千亿参数，但他传达的信息是否还是非常有限？那么全量微调的话可能会浪费资源
“LoRA 微调不会直接修改原有的大模型参数，而是通过在其上叠加一组可训练的低秩矩阵（
来源：程序园用户自行投稿发布，如果侵权，请联系站长删除
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！