以数据为中心的经验教训，改进语音语言预训练

这篇文章来自Apple ML，强调了以数据为中心的方法在改进用于口语问答（SQA）的语音语言模型（SpeechLM）方面的重要性。它指出了缺乏对预训练数据处理和整理的受控研究，阻碍了对性能因素的清晰理解。这项研究旨在通过探索用于预训练SpeechLM的以数据为中心的方法来弥补这一差距。专注于以数据为中心的探索表明，重点转向优化训练数据的质量和选择，以提高模型性能，而不是仅仅关注模型架构。