林一二2023年03月26日 00:40
问答:先检索再重排
要构建一个智能问答系统,应该从哪些知识方面入手? - 严昕的回答 - 知乎
- 文本切成小块,方便转成向量形式,用 fasttext 足矣
- 问题也转成向量搜索最近的几个文本
- 获得的文本拼成中等长度问题,向大语言模型提问对
总结:层层归纳
分而治之,一小块一小块总结,对每个小总结再进一步写大总结。
分层
用便宜一点的模型来运行批量搜索,但是又需要高于向量搜索的指令,例如对大量工具的使用
要构建一个智能问答系统,应该从哪些知识方面入手? - 严昕的回答 - 知乎
- 文本切成小块,方便转成向量形式,用 fasttext 足矣
- 问题也转成向量搜索最近的几个文本
- 获得的文本拼成中等长度问题,向大语言模型提问对
分而治之,一小块一小块总结,对每个小总结再进一步写大总结。
用便宜一点的模型来运行批量搜索,但是又需要高于向量搜索的指令,例如对大量工具的使用