科技日报记者 刘侠
近日，记者从四川大学获悉，该校计算机学院吕建成教授研究团队通过收集海量工业数据，创新大模型注意力机制，研制首个工艺设计大模型——“鲁班-10B”，在实验中展现出更高的工艺生成质量，有望提高我国制造业现有工艺编制效率，展现出人工智能赋能先进制造的广阔前景。
据悉，随着通用大模型在自然语言处理领域的快速发展，其在文本生成、问答系统和语言理解等任务中已取得显著成果。然而，在工艺设计等高度专业化的工程应用场景中，现有大模型的适用性仍面临诸多挑战。
今年5月，吕建成教授研究团队在《四川大学学报（自然科学版）》发表学术论文《面向工艺设计的领域大模型构建方法》，系统性地阐述工艺设计领域垂直大模型的构建和训练方法。
文章指出，工艺设计领域的文本生成任务面临双重挑战。一方面，工艺设计文本专业术语密集、流程描述冗长，传统注意力机制在处理长文本时，计算效率低下，且全局语义容易出现失稳情况，难以精准捕捉文本核心信息。另一方面，通用大语言模型依赖大规模标注数据进行训练，而工艺设计领域的数据具有独特性，与通用大语言模型的训练范式存在显著差异，这使得通用模型难以直接适配工艺设计需求。
为此，该研究团队提出“混合稀疏注意力机制”，通过动态筛选关键标识符、锁定起始标识符权重，有效压缩了非核心语义的计算负担，把自注意力机制原本需要两两对比（N²级别）的计算方式，优化成只需要线性级别（N的倍数）的计算量，在降低资源消耗的同时提升了模型对长文本的生成稳定性。
“目前，‘鲁班-10B’工艺大模型系统已在多家制造企业中被实际使用。该大模型的创新实践表明，针对特定场景的数据特征与任务需求设计专用模型架构，或将成为突破行业瓶颈的关键。”吕建成表示。
网友评论
