Smart Transcribe

Workflow

[ 客户端 ]
    |
    | (POST录音请求)
    v
+-----------+                    +--------------+
|  FastAPI  |  ===============>  |   RabbitMQ   |
|   服务端   |                    |   异步消息队列 |
+-----------+                    +--------------+
                                        ||
                                        ||
                                        vv
                                +----------------+
                                |     Worker     |
                                +----------------+
                                |   处理转录任务   |
                                +----------------+
                                        ||
+----------------+                      ||
|  结果回调至后端  |  <=================  ||
+----------------+                      vv
                                +--------------+
                                |    Redis     |
                                |  任务状态备份  |
                                +--------------+

效果远超 funasr、wespeaker、**3D-Speaker **

1. 说话人首次分离.
2. 重叠结果提取.
3. 说话人二次分离提炼.
4. 二次分离提炼后, 重叠结果自适应.
5. 自适应调整: 分贝, 噪声.
6. 自适应 speaker 修正.
7. 目标说话人重叠提取.
8. ASR + punc.

TODO

• pyannote、funasr、wespeaker、3D-Speaker 分离效果验证
• 标点
• 重构已有结构
• 依赖分离
• 解耦各级联模块
• speaker diarizer pipeline
• asr、punc pipeline
• dbfs、denoise pipeline
• speaker emb、tse pipeline
• 合理句子切分
• 自适应降噪
• 自适应分贝控制
• 声纹提纯
• 自适应speaker纠正
• 重叠时的分离与提取
• 重叠分离后动态自适应speaker分配
• 支持热词增强
• 动态ctc前缀热词搜索
• 任务重复处理规避
• 重叠结果扩容
• add kws
• asr 加 lm
• asr 数据增强
• GPU、CPU pipeline inf 解耦
• 声纹校验
• worker gc
• 三方声音有效分割与提取
• 重启时的自检