科技日报记者 李禾
近日，在人形机器人产业生态训练和测评基地启动仪式上，赛迪研究院联合清华大学、复旦大学、哈尔滨工业大学等多所高校共同发布“具身图灵测评基准体系ET-Benchmark”。作为国内首个具身智能领域的系统性测评基准体系，ET-Benchmark包含系列能力套件，每个套件聚焦一类特定的“身”或“能力”进行评测。
据介绍，本次推出的首个操作能力套件ET-Benchmark Manipulation CS，构建了类似人类的通识教育水平、专业能力水平和职业发展水平的三层评测体系架构，树立全球具身智能评价标杆。
通用基础能力层打造五阶能力魔方，将核心能力层划分为动作执行能力、物理认知能力与环境抗扰能力三大维度进行综合评价。其中，动作执行代表了机器人的“身体技能”，物理认知构成了其“大脑智慧”，而环境抗扰充当保障的“免疫系统”，这三个维度相辅相成，通过标准化的分级体系，清晰界定了具身智能从自动化设备向全自主通用机器人进化的技术路径，评价结果可有效帮助追溯定位具身模型基础能力短板。
专业任务能力层采用六维雷达图评价方式，衡量具身智能在完整任务周期的整体运行质量，更好地反映模型和本体的性能水平、突出性能表现。
据悉，ET-Benchmark采用“实物+虚拟仿真”双考场融合机制，形成完整的能力评估闭环。其重要价值在于：打造了一套统一的“通用语言”“标准试卷”，让不同机器人在同一把尺子下客观衡量，使技术进展真正可测量、可复现；告别了“黑盒判断”，构建分层诊断体系，让能力可拆解，ET-Benchmark的设计能像“X光”一样，诊断出是“身体”不协调（动作执行弱）、“大脑”不够用（认知能力差），还是“免疫系统”有问题（环境抗扰低），为技术研发提供明确的方向指引，让短板可溯源；跨越“鸿沟”，连接技术与产业，让进步可落地。
ET-Benchmark将前置服务于世界人形机器人运动会，通过基地构建标准化的“训练场”“测评关”，为参赛者提供从研发、训练、测评、调优的全流程技术支撑。
（受访者供图）
网友评论
