BLSP-大规模语音语言模型-7B

诚信评分:100
水平:普通
BLSP 是一个大型的语音语言模型,能够同时理解语音和文本,支持跨模态的语音与文本交互。该模型适用于语音对话/问答、语音识别、语音翻译及语音情感分析等场景,能自动生成高质量的多语言文本,促进跨模态、跨语言沟通的便捷性。

简介
BLSP 扩展了LLMs的语言能力至语音领域,使用户能通过口语与LLMs互动。
我们通过续写行为对齐来学习BLSP模型。理想情况下,无论输入是语音片段还是其转录文本,LLMs应展现出相同的行为。
第一步使用LLMs以转录为前缀生成文本,得到续写部分。
第二步利用文本续写作为监督信号,通过要求LLMs在给定语音片段时预测出文本续写,学习模态适配器。