【语音之家】ICASSP 2022 论文分享:基于 HRR 的非对齐 ...(1/4)

更多
2022-12-6 09:52 137人参与 0条评论 自动播放 开灯

【语音之家】ICASSP 2022 论文分享:基于 HRR 的非对齐 ...

思索到效率,我们采取了将跨模态 HRR block 和 transformer block 混合的网络结构。只应用比较浅(1-3层)的 HRR 对多模态表征中止高阶融合,然后应用 transformer 层中止 task specific adaptation。我们实验了不同的混合战略(见下图,从左到右)分别对应 early fusion/intermediate fusion/late fusion. [查看原文]

上传图片 点击发表评论 (137人参与 0条评论)