GPT的知识库涉及领域丰富、涵盖范围广泛,但是一直有一定的实效滞后,例如最新的GPT-4知识更新截止于2023年4月。为了跨越这个限制,今年OpenAI相继为GPT-Plus的用户开放了接入网页搜索的插件,和GPT-4自主根据需求决定搜索网络信息的功能。例如,我们可以问GPT一些根据知识库无法回答的问题,例如波士顿明天的天气怎么样:
GPT执行搜索后的回答:
自此,GPT可以根据具体问题的需要来联网获取最新信息,增强模型对实时数据检索的相关性和时效性。这篇文章就是对GPT内置的这个功能的一个实现,并且比网页端 GPT 自带的网络浏览功能更加迅速。
你也可以把它视为一个对 new Bing 和 Bard 的最小化的后端实现,一种搜索搜索引擎和AI问答的高度结合。
完整的代码可以查看:。如果喜欢的话欢迎给这个仓库点一个⭐️。
-
1. 通过 Serper (Google API) 快速实时的网络搜索
-
2. 根据输入自动调整网络搜索和回答语言
-
3. 从多个网页中多线程提取主体内容,以降低embedding中token数量的花费
-
4. 通过 OpenAI Embedding 和 ChromaDB 实现相关语义的搜索
-
5. 大模型根据参考的网络信息生成回答
-
6. 支持自定义、AI的角色和输出格式的要求
-
7. 将大语言模型回答中带引用的句子源网站的标题、摘要和链接进行匹配