科技日报记者 都芃
当前，越来越多企业开始将人工智能深度融入研发、生产、营销等核心业务场景。但跨模型管理、成本控制、安全治理和运行监控等能力建设却相对滞后。面对企业AI规模化落地过程中普遍存在的运营管理难题，7月19日，科大讯飞正式推出星火Token Factory，通过统一接入、智能路由、全链路治理与成本优化能力，为企业构建面向未来的大模型基础设施底座。
当前，大模型应用正从单点试点走向多业务、多场景、多团队协同应用。企业往往需要同时接入多个模型，应对不同业务场景。随着模型调用规模增长，企业面临的管理压力也在持续加大。
科大讯飞推出的星火Token Factory，作为企业级AI模型智能路由平台，定位于企业应用与大模型之间的统一中间层，可面向企业提供模型统一接入、智能路由调度、Token成本优化、安全合规治理等核心能力，为企业构建统一的大模型服务入口，让大模型应用实现真正意义上的可管、可控、可追溯，帮助企业实现大模型资源的高效管理与规模化运营。
在企业实际应用中，不同任务对于模型能力的要求并不相同。例如文本分类、信息抽取等简单任务，与长文档分析、复杂推理等高复杂度任务，对模型能力和资源消耗的需求存在显著差异。
针对这一特点，星火Token Factory可以基于Prompt长短、规则预置、自定义规则、对话轮次等多维度特征综合判定任务复杂度，综合考虑质量、成本、延迟、可用性、安全等级五个因子，匹配适合的模型资源，让简单任务调用更具性价比的模型，复杂任务则优先匹配高能力模型，从而实现模型资源的精细化调度与利用。整个决策平均延迟可控制在100毫秒以内。
在国产硬件私有部署场景下，推理引擎直接决定算力利用率与服务成本。星火Token Factory围绕昇腾硬件特性，对主流开源大模型从底层算子到上层调度做了端到端工程优化，在保障服务质量的前提下显著提升了性能。实测显示，在相同条件下，星火Token Factory的同等昇腾算力可支撑接近翻倍的业务请求量，让国产硬件私有部署兼顾性能与成本。
在安全方面，星火Token Factory围绕企业级应用场景构建了包括三类关键权限相互独立、审计日志自动生成、敏感信息高度防护等在内的完善安全体系。
此外，星火Token Factory可通过日志追踪、路由决策记录、Token消耗统计以及成本归因分析，让企业清晰掌握每一次模型调用的运行状态和资源消耗情况，为后续运营优化和资源规划提供数据支撑，让AI应用从“黑盒运行”走向“透明运营”。
星火Token Factory的发布，进一步完善了科大讯飞在企业AI基础设施领域的能力布局，也为企业构建可持续发展的AI应用体系提供了新的支撑。
（受访单位供图）
网友评论
