北京分音塔科技有限公司用户5343
文本注册多关键词模型评测结果
输入“/”快速插入内容
文本注册多关键词模型评测结果
文本注册多关键词模型评测结果
用户5343用户53432025年4月15日修改
模型：20250310
•
使用分音塔北方口音普通话24词数据微调
取得最佳阈值的方法：
•
同「语音注册」多关键词模型（kws_babel_v1）评测方式
•
定义场景（学校、演示、展厅等）
◦
定义各场景用到的Recall、FA数据集及其权重
◦
定义各场景的DCF参数（表现相应场景对Recall与FA不同的重视程度）
•
所有数据集数据经模型推理，在
区间内划动阈值，计算每个关键词在每个滑动阈值处的Recall和FA
•
根据场景DCF参数求得每个关键词在每个滑动阈值处的loss，取最小loss处记为最佳阈值
词表：取语音注册多关键词模型中的「普通话48词」作为词表
评测最佳阈值处，南方口音普通话数据的表现情况
原始数据（不考虑口音地域、性别）
代码块
kw=流血了 recall=0.942436 (704/747)
kw=傻逼 recall=0.943683 (620/657)
kw=别打了 recall=0.953623 (658/690)
kw=着火了 recall=0.948344 (716/755)
kw=老师快来 recall=0.980344 (798/814)
kw=弄死你 recall=0.941337 (690/733)
kw=操你妈 recall=0.851444 (619/727)
kw=还骂不 recall=0.977961 (710/726)
kw=救命 recall=0.983651 (722/734)
kw=道歉 recall=0.936828 (697/744)
数据增强：模拟二次混响
代码块
kw=救命 recall=0.948229 (696/734)
kw=道歉 recall=0.873656 (650/744)
kw=别打了 recall=0.927536 (640/690)
kw=老师快来 recall=0.936118 (762/814)
kw=还骂不 recall=0.943526 (685/726)
kw=傻逼 recall=0.847793 (557/657)
kw=弄死你 recall=0.884038 (648/733)
kw=操你妈 recall=0.775791 (564/727)
kw=着火了 recall=0.903311 (682/755)
kw=流血了 recall=0.862115 (644/747)
数据增强：混音会议录音
代码块
kw=老师快来 recall=0.894349 (728/814)
kw=弄死你 recall=0.71487 (524/733)
kw=还骂不 recall=0.917355 (666/726)
kw=救命 recall=0.930518 (683/734)
kw=流血了 recall=0.859438 (642/747)
kw=道歉 recall=0.912634 (679/744)
kw=别打了 recall=0.905797 (625/690)
kw=傻逼 recall=0.794521 (522/657)
kw=着火了 recall=0.87947 (664/755)
kw=操你妈 recall=0.73315 (533/727)
数据增强：混音学校嘈杂噪声
代码块
kw=老师快来 recall=0.909091 (740/814)
kw=别打了 recall=0.902899 (623/690)
kw=道歉 recall=0.901882 (671/744)
kw=操你妈 recall=0.696011 (506/727)
kw=还骂不 recall=0.922865 (670/726)
kw=救命 recall=0.919619 (675/734)
kw=流血了 recall=0.842035 (629/747)
kw=着火了 recall=0.878146 (663/755)
kw=傻逼 recall=0.774734 (509/657)
kw=弄死你 recall=0.699864 (513/733)