传统大模型主要依赖“训练时扩展” (Training-time Scaling),但在处理复杂推理和前沿数学科学问题时,单纯堆参数已遭遇边际效应瓶颈。“推理时扩展”(Inference-time Scaling)打破了这一限制,它在推理阶段注入动态计算资源,实现“算力越多、效果越好”。然而,当前生成式 AI 缺乏普适的原则性设计框架,科学机器学习(SciML)领域也亟待类似的推理时扩展体系。 为此,本报告借鉴科学计算中的缺陷校正(Defect Correction)思想,在推理时将数据驱动方法与底层机理有机融合,首次为推理时扩展提供了一个具备理论保障的统一Bellman Error Correction的原则性框架。具体包含两大核心应用:面向科学机器学习(SciML):针对高维半线性抛物型方程,我们将代理模型的误差严谨地表示为另一个抛物型方程的解,并利用基于蒙特卡洛的随机模拟算法对其高效修正。该方法在推理时模拟未来规划误差并动态校正当前解,实现了计算资源与精度的协同提升。我们进一步展现了离线数据驱动训练与在线机理修正的“两阶段结合”才能真正达到统计最优。面向生成式人工智能:我们将规划过程与缺陷校正相结合,利用顺序蒙特卡洛(SMC)方法动态修正生成规划中的累积的Belmman误差。我们在理论上首次给出了该方法在大语言模型推理中的样本复杂度分析;针对扩散模型,我们构造了顺序蒙特卡洛方法失效的不收敛反例,并进一步设计了首个基于stein公式的扩散模型推理算法,有效确保了其方差不随离散步长缩小而恶化(或增大)。本工作通过深化数据与机理结合,将底层物理与数学规律转化为动态矫正算子来纠偏数据驱动模型在复杂推理中的累积漂移,能够让推理时算力的投入真正转化为兼具严格理论保障与高精度的智能决策。
