科技日报记者 刘霞
加拿大滑铁卢大学研发出一种名为SubTrack++的全新训练方法，不仅可大幅缩短大语言模型的预训练时间，更能显著提升其准确性。这一突破有望降低构建人工智能（AI）工具的成本与环境负担，让更多人用上强大、便捷的AI技术。
大语言模型是基于深度神经网络、专注于理解与生成人类自然语言的AI系统。其核心能力源于海量文本数据的预训练，借此学习语法规律、语义逻辑及上下文关联，从而输出贴近人类表达习惯的内容。这类模型的“大”体现在两方面：一是训练数据规模巨大，二是模型参数量极为庞大。正因如此，对其进行预训练往往需要数月时间，并消耗大量算力、专用硬件及电力，高昂成本使一般企业与机构难以承担。
为破解这一难题，团队开发出SubTrack++方法，可将预训练耗时缩减一半。团队指出，大语言模型能耗极高，即便训练时间仅减少5%，也能带来显著效益。从长远看，此类技术进步将推动更多人自主构建专属的大语言模型。
团队解释说，大语言模型本质是由庞大数字矩阵构成的神经网络，通过数十亿次试错学习预测文本序列。每当预测出错，模型便微调其数学参数以提升准确率。这一过程如同让模型“阅读整座图书馆”，从中学习人类如何使用语言。SubTrack++通过聚焦对任务最关键的核心参数，简化校正流程，实现高效微调，从而加速整体预训练。
团队期望，通过节省预训练时间，未来不只大型企业，普通用户也能构建并定制属于自己的AI工具。安全学习个人偏好后，大语言模型可成为真正的智能数字助理，适应不同用户的风格、目标与需求，成为人类工作与创造中的得力伙伴。
团队将在墨西哥城举办的神经信息处理系统会议上正式发表相关论文。
网友评论
