超越URL：元数据多样性和位置信息助力高效LLM预训练

这项研究探索了通过利用元数据多样性和位置编码来增强大型语言模型 (LLM) 预训练，超越了仅仅依赖 URL 的局限性。 这种方法通过丰富所使用的数据，可能导致更有效的预训练和改进的模型性能。

• •研究使用超越 URL 的元数据进行 LLM 预训练。
• •探索位置编码在提高预训练效率方面的作用。
• •旨在通过数据丰富来增强 LLM 性能。