[RFC] 087 - 应用级联网搜索功能

[arvinxx]

背景

接 #6277 RFC，本 RFC 拆解应用内置联网功能的实现。

目前在 LobeChat Cloud 上实现了一个基于 SearchXNG 的插件，基于该插件的整体搜索体验非常舒服：

因此在本 RFC 中会将该插件升级为应用层的内置能力

设计思路

首先在 server 层新增一个搜索 provider 的service 并定义好通用接口

然后针对 searchXNG 实现其中的 search 接口

前端层定义为一个tools，但关于 tool 的开启则用单独字段控制

实施

• ✨ feat: support application search with searchXNG #6452

配置环境变量：SEARXNG_URL=https://searxng-instance.com

Zeabur 上有 searchXNG 的一键启动模板：https://zeabur.com/templates/77FSH6

---

注意：默认提供的 searxng 镜像是没有设置 json 输出的
进去searxng容器修改/etc/searxng/settings.yml文件
找到

formats:
    - html

修改为

  formats:
    - html
    - json

最后重启容器

[SAnBlog]

SearchXNG是需要自建服务接入?

[arvinxx]

对。zeabur 上还有一键启动模板的

[TonyBlur]

或者也可以使用 https://searx.space/ 所提供的已有实例？

[arvinxx]

那些实例有个问题，不支持 json 配置，导致请求的时候会报 403 错误

[TonyBlur]

是的，我也刚发现，看来还是要自建服务

[ChenLuoi]

当前已经实现的搜索，应该是拿的搜索引擎结果前5条的title和content丢给AI去分析，但是很多情况下这个体验并不好。
比如我搜索“今日热点新闻”，最终总结出的结果不是热点新闻内容，而是各大新闻网站的简介。
如果拉取网页内容一并发送给AI可能结果会更好看些，但是代价就是响应时间大大延长，token用量也会增加。

[arvinxx]

很多情况下这个体验并不好

除了「今日热点新闻」这个case，能否给出一些更加 solid 的日用 case 用于我们后续测试调优？其实现在的模式我估计已经能解决60%~70% 的搜索需求了

[sijinhui]

比如类似这个插件的实现，程序中好像是有抓取返回的网页相关代码的，应该适配接入一下会好很多。
@arvinxx

[ChenLuoi]

1. 英超积分榜前10位
   content中只会有前三名的积分数据，如果问10个的话，后面会编造排名和积分数。

2. lobechat最近10个release版本
   相关性最高的github release的content更新不及时，还是1.62；如果用网页爬虫插件拉取页面内容后，ai是能给出版本清单的。

[arvinxx]

#6595 关于网页抓取的RFC，欢迎讨论

[MCQSJ]

1.该插件概率搜索失败，原因为发现调用时候似乎指定了搜索引擎导致的失败【 "arguments": "{"query": "小米15", "searchEngines": ["google", "bilibili", "bing", "duckduckgo", "z-library", "reddit", "wikipedia", "xiaomi"]}{}",
"identifier": "lobe-web-browsing"
}
】可以看到模型调用时候请求指定了许多搜索引擎的时候，searxng无返回，且概率出现此问题，直接模型搜索关键词的时候无此问题，应该为函数的提示词有问题
2.是否考虑为该功能加一个变量，指定模型，可让不支持函数调用的模型拥有搜索能力
3.能否让变量设置内设置默认助手是否默认开启搜索
4.是否能支持让模型选出一些高相关的网页，获取网页正文，提高搜索效果

[arvinxx]

1. 🐛 fix: fix 0 search results with specific search engine #6487 这个 PR 会修正请求指定了许多搜索引擎无结果的问题，如果指定了没结果，会尝试去掉指定后再搜一次。
2. 这个是 [RFC] 085 - 联网搜索 #6277 这里提到的 Step 4和 Step 5 会做的事情
3. 可以， DEFAULT_AGENT_CONFIG="chatConfig.searchMode=auto" 应该这样配就行？ 可以试试看
4. 嗯，这个是准备做的

[arvinxx]

关于 4 可以看下这个了： #6595

[Steve235lab]

非常棒的功能，刚刚给我自己的实例配置好，管理员终于能统一为用户配置联网搜索了。跳了好几跳才找到这，希望文档可以跟进一下❤️

[Bucuss]

+1 ，今天自动更新后发送有搜索功能却找不到如何配置，搜索了好久才找到这里

[arvinxx]

所有功能都还没做完整，文档会在功能完全做完以后补充更新

[Matinal111]

使用其它模型会报错TRPCClientError

[1iang]

写错了，formats是在search里面的

[Matinal111]

正解，不过docker 部署的这个 settings.yml 文件就是这么简洁，还是看了下 zeabur 模板才知道怎么写😂

[QYQSDTC]

我看了下这个 use_default_settings是用的 这个，是不是加上这个可以复写它默认设置里的
search:
formats:
- html
- json

[sijinhui]

另外有一个应该算小众的问题， 上游是oneapi时，再使用claude-sonnet使用联网功能时，会报错json解析失败。

原因是处理响应流时会自动把参数的值为空时替换为空字典，这里修改为空字符串即可修复，但我不太懂这里的逻辑，大佬可以看一下是否需要修复

[SAnBlog]

OneAPi的问题挺多的,作者也不活跃,反馈很多问题都没处理,有没有好一点的代替品?

[SpeedupMaster]

OneAPi的问题挺多的,作者也不活跃,反馈很多问题都没处理,有没有好一点的代替品?

试试One Hub

[arvinxx]

不需要界面的话，个人推荐litellm。 我们的cloud服务基于litellm提供ai能力。我们会确保和litellm的兼容性

[SAnBlog]

可以,我都去了解一下

[mondepari]

Если вам не нужен интерфейс, я лично рекомендую litellm. Наш облачный сервис предоставляет возможности искусственного интеллекта на основе litellm. Мы обеспечим совместимость с litellm

https://docs.litellm.ai/docs/hosted

[QYQSDTC]

searx.space 这上面的 ready to use 的 instance 可以直接用吗

[Steve235lab]

searx.space 这上面的 ready to use 的 instance 可以直接用吗

searxng默认配置会对IP做比较严格的请求频率限制，这样RPC调用很容易被ban

[arvinxx]

大部分都不行，因为不支持 json 格式

[sunqr97]

请问如何指定联网搜索时使用的搜索引擎

[arvinxx]

暂时不支持强制指定，还是基于模型自动来的

[51762344]

感谢！但是Zeabur目前只有付费模式，有没有大佬分享一下免费，或者更便宜的SearchXNG部署方式

[TonyBlur]

我用自己的vps搭了一个，如果不滥用应该是够用了 链接

[TonyBlur]

还有就是可以用 Sealos 来部署，注册账号和实名认证会送免费余额
不过这个要是长期用就有点贵了，虽然选择国内版部署会便宜一点，但是就没法用谷歌、ddg和Wikipedia了

[SAnBlog]

我用自己的vps搭了一个，如果不滥用应该是够用了 链接

感谢分享

[halxjo]

我用自己的vps搭了一个，如果不滥用应该是够用了 链接

would you mind sharing your settings.yml file, please?

[TonyBlur]

我用自己的vps搭了一个，如果不滥用应该是够用了 链接

would you mind sharing your settings.yml file, please?

sure 😊 https://cloud.tblu.xyz/s/nRtq

[SamDu1998]

遇到的奇怪问题是，当我把env文件中的AUTH_URL，改成服务器IP加casdoor端口形式，此时鉴权返回到的是IP+端口的网址。同时此时可以使用联网搜索。

但是AUTH_URL使用反代的https网址后，鉴权返回https网址，此时搜索功能就始终是403错误。

想请问一下反代的时候是要额外设置什么吗。

（反代用的是1panel的openresty的反代配置，网站的https证书也添加了。）

[SamDu1998]

在测试机上全新部署的域名模式没有这个问题，看来应该是最初运行脚本时的某个域名设置的问题。所以通过修改env里的几个域名没法解决😂

[QYQSDTC]

使用 Claude 3.7 进行联网搜索时卡在这了，爬取 single page 没问题，但是爬多篇就卡住了😂

[sunqr97]

我的3.7是会在搜索之后无限爬取single page，最后卡住

[arvinxx]

试一下关闭历史记录限制呢？

[mengdahuang]

请问为什么我用4o-mini 就没法做联网搜索？它是支持function call的

[arvinxx]

你用的应该是逆向的渠道

[everstu]

你用的应该是逆向的渠道

我这里没有显示联网搜索按钮，请问如何设置才能显示联网搜索按钮？

已经配置了环境变量SEARXNG_URL，找了一圈实在是解决不了，求助大佬！

LobeChat界面截图：

docker-compose界面截图：

[arvinxx]

换db镜像或pglite镜像

[everstu]

换db镜像或pglite镜像

好滴好滴，谢谢大佬，vercel部署的是不是就无法开启联网搜索啦？

补充:
我已经找到相关资料，感谢大佬解惑。

相关资料：#5131

[INoDeBug]

各位

各位是怎么解决这个问题的，我的只能用 bilibili 搜索，数据都是从 bilibili 中拿到的，不会从必应等其他搜索引擎拿数据

[AmossXu]

可能是其他接口都超时了或者其他问题 可以f12 打开 /search.query 这个接口的返回信息可以看到原因

[INoDeBug]

是的，没错的，单独访问 searXNG网页的话，这个时候我关掉必应和哔哩哔哩这两个搜索引擎这个还是其他接口就会搜索超时，我不知道是不是因为我部署在自家 nas 上的缘故，所以我今天同时还测试了下 yaml 文件中的 proxies 这个参数加上了代理，确认代理是可以用的，但是依旧搜索超时，就不知道怎么弄了😮‍💨

[ldjing]

为什么你的UI还能选择使用的搜索引擎？我目前是docker compose部署的v1.69.6，手动修改docker-compose.yml文件来增加的searxng，目前UI中没有任何可选择搜索引擎的功能，而且目前搜索压根没有办法继续，提示TRPCClientError

[INoDeBug]

兄弟，我也搭建了一个已经接入 lobechat 了，但是我刚刚试了试你这个感觉比我的强大很多，可以请教下你是怎么配置的吗我的是这个 https://sfei332f.520missliu.xyz:18888

…

---原始邮件--- 发件人: "Liu ***@***.***> 发送时间: 2025年3月7日(周五) 晚上6:44 收件人: ***@***.***>; 抄送: ***@***.******@***.***>; 主题: Re: [lobehub/lobe-chat] [RFC] 087 - 应用内置联网搜索功能 (Discussion #6447) 我用自己的vps搭了一个，如果不滥用应该是够用了 链接 — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: ***@***.***>

[doctorgreen4721]

配置了联网搜索，但是为什么部分模型没有显示调用界面呢？这我的配置问题还是API的问题？

gpt-4o-mini 可显示调用界面

claude-3.5-sonnet和gpt-4o只返回了json和文字格式

[arvinxx]

很显然是你后面两个模型被你的服务商调包了啊，赶紧去维权吧

[mondepari]

With my api provider I often notice this error with the chat history enabled: {
"error": {
"code": 400,
"type": "invalid_request_error",
"message": "Input should be 'user', 'assistant', 'system' or 'developer'"
},
"endpoint": "https://api.proxy.com/v1",
"provider": "openai"
}

What could this be related to? I would be glad to receive recommendations on the api provider.

When searching, for example: the search call is called normally, but the second message causes an error due to the chat history enabled.

Isn't it easier to make the answer in one message?

[QYQSDTC]

为什么现在 Claude 的模型都强制关闭了限制历史消息数😂，然后就是现在用 claude 联网搜索出现错误，之前是 claude 的联网好用，r1 不能联网，现在 r1 反而能连了，claude 又报错了🤣

{
  "name": "ZodError",
  "stack": "ZodError\n    at get error (https://lobechat.drqyq.com/_next/static/chunks/75452-9a9230daa4b90dfd.js:1:9103)\n    at es.parse (https://lobechat.123.com/_next/static/chunks/75452-9a9230daa4b90dfd.js:1:10369)\n    at https://lobechat.123.com/_next/static/chunks/96530-cc72508f229b86d7.js:1:107869\n    at Array.map (<anonymous>)\n    at https://lobechat.123.com/_next/static/chunks/96530-cc72508f229b86d7.js:1:107859\n    at https://lobechat.123.com/_next/static/chunks/50575-8e842ed30bcba2f1.js:1:12898\n    at iY (https://lobechat.123.com/_next/static/chunks/96530-cc72508f229b86d7.js:1:107823)\n    at onmessage (https://lobechat.123.com/_next/static/chunks/96530-cc72508f229b86d7.js:1:113247)\n    at https://lobechat.123.com/_next/static/chunks/96530-cc72508f229b86d7.js:1:111071\n    at https://lobechat.123.com/_next/static/chunks/96530-cc72508f229b86d7.js:1:111629\n    at iG (https://lobechat.123.com/_next/static/chunks/96530-cc72508f229b86d7.js:1:107693)\n    at async https://lobechat.123.com/_next/static/chunks/96530-cc72508f229b86d7.js:1:110963",
  "message": "[\n  {\n    \"code\": \"invalid_type\",\n    \"expected\": \"string\",\n    \"received\": \"null\",\n    \"path\": [\n      \"function\",\n      \"name\"\n    ],\n    \"message\": \"Expected string, received null\"\n  }\n]"
}

[arvinxx]

为什么现在 Claude 的模型都强制关闭了限制历史消息数

因为默认走 caching 了，走 caching 不能限制历史消息数

如果出错我怀疑你的claude 可能有掺水

[QYQSDTC]

我之前问了 API 服务商，他说逆向的接口不能用 function call，所以我后面都是用的官转的，之前确实也能用了，但是前两天突然就报错

[htdohk]

为什么我配置了SearXNG、lobe-db版本v1.70.2，还是不能触发联网呢。模型是火山的DS R1.

[SAnBlog]

为什么我配置了SearXNG、lobe-db版本v1.70.2，还是不能触发联网呢。模型是火山的DS R1.

搜索辅助模型换个好点的

[htdohk]

我试了OpenAI的4o、4o-mini、4.5，以及Azure 的4o，都不行。从思考过程来看跟没有这个功能一样。

[mondepari]

https://github.com/HarshJ23/Deeper-Seeker

[cmj2002]

这个功能似乎没有纳入文档？我想找相关文档找不到，一路搜到这里的。

[songtianlun]

试了一下功能感觉挺不错的，简单补充了一下文档，大佬看这样ok不

#7365

[TonyBlur]

#6447 (reply in thread)

需要说明一下， https://searx.space/ 中所提供的那些实例不支持 json 输出，如果使用会导致请求错误

[TonyBlur]

另外建议最好在文档中强调一下json输出的设置方法

[songtianlun]

另外建议最好在文档中强调一下json输出的设置方法

对对，我部署的时候遇到这个问题了，给忘了

[songtianlun]

#6447 (reply in thread)

需要说明一下， https://searx.space/ 中所提供的那些实例不支持 json 输出，如果使用会导致请求错误

已增加描述

[Matinal111]

为什么我的 SearXNG 搜索结果不显示相关链接 Logo 的🤔

[arvinxx]

被墙了吧

[SAnBlog]

搜索辅助模型是否可以改成全部模型都可以使用? 有些性能好的非推理模型还是很少去调用搜索,例如gemini和grok,辅助模型配置glm-flash调用性很积极,适合作为基本搜索模型使用

[arvinxx]

理论上是可以的，不过要怎么做我得想想

[EsqerYasen]

私有化部署添加了环境变量，是不是还是没有联网搜索功能？

[arvinxx]

用 db 版的镜像吧