第一步安装库

代码示例

代码解释

1. ResponseCallbackHandler 是一个自定义的类,用于管理一个队列和一个流式传输的端点。
• queue 是一个大小限制为1000的队列,用于缓存流式传输的数据。
• flat 是一个布尔标志,用于控制队列的打开/关闭。
• yield_data 是一个异步生成器,从队列中不断取数据,直到 flat 被设置为False才停止。

2. put 方法用于往队列中放入数据。

3. end 方法用于关闭队列,将 flat 设置为 False,并向队列中放入一个 "End" 标志用来通知 yield_data 停止。

4. request_send函数用于发起请求获取数据,并通过 stream_callback 实时将响应数据流式传输到回调的队列中,请求结束后调用 end 方法关闭队列。

5. 调用request_send函数，要使用threading新启线程，或者无法实现获取到callback就可以响应前端。

6. FastAPI 通过 EventSourceResponse（需要安装） 创建一个 SSE 连接,并异步生成队列中的数据,实现了流式传输。

7. 客户端连接到该端点就可以通过 SSE 接收到实时的流式数据。

8. 通过线程避免阻塞 ASGI 服务器,并使用队列和异步生成器实现了高效的流式传输。