林一二2025年03月17日 18:52
我想用的 NLP 模型大至 1GB，运行起来内存占用有 7G，所以基本只能考虑通过接入在线的 Web API 来使用 NLP 功能。
不过因为我用户量还比较小，我不希望大宗采购 NLP API 调用次数，一是用户少用不完，二是没有融资的话相当于我个人倒贴钱给用户。所以我希望用户能自行采购 NLP API 然后把 token 贴到我这里，从用户自己的电脑上调用 NLP API。 但是服务多了，一个个采购也累，所以最好是我提供一个 API 采购网关，用户可以发起请求声明自己需要哪些 NLP API，然后我调用 NLP 服务的采购 API，它返回报价信息，我网关综合报价信息后提交支付宝生成合并所有报价的二维码，用户支付后我把钱分给各个 NLP API 提供方。
不过不知道支付宝支不支持这种分钱的模式，如果支持的话，我只需要定义好用户调用的 API 接口格式，并要求 NLP API 提供方提供采购报价 API，并提供收取 token 的 webhooks 就好了。
2025-03-17
现在想想这不就是open router吗，国内也有硅基流动等服务商，直接在用户付了会员费之后，拿去买一些token量就行了……