基于强化学习的环状流准平衡态控制

【作者】 陈一； 段俐； 康琦；

【机构】 中国科学院力学研究所微重力实验室； 中国科学院大学工程科学学院；

【摘要】 复杂对流是自然界中常见而有趣的物理现象。稳定的流场可以为日常生活提供良好的生存条件,为材料制备提供稳定的生长环境。因此,面向对流流场的稳定态控制是一个焦点问题。在浅层液体的泰勒-库埃特流动中加入径向温度梯度后会引发环状流,形成美丽的多边形斑图。该流动结构是微重力流体物理从提拉法工业晶体生长提炼出的典型研究模型,长期以来一直关注于它的转捩机理,认为热对流的不稳定是影响晶体生长质量的关键因素。本文使用强化学习算法与神经网络的结合,将一种通过调控系统动边界条件,使强迫对流与热毛细对流竞争的控制方式成功应用于环状流的准平衡态控制中,定位并维持了全局稳定的温度场。首次用实验方法,通过改变系统动边界条件使中低Ma数下的环状流流场呈现出全局稳定的特点,达到不同于流场起振前的准平衡态。通过观察和理解在动边界条件改变时温度场中的波形演变特征,创造出了与实验环境相似的模拟环境。机器运用模型的神经网络层对模拟环境进行了理解,结合强化学习的优化逻辑和评分规则,对作者的控制意图进行了判断,使用自我优化出的控制策略将模拟环境成功控制为准平衡态。最后将学习模型迁移至实验环境中,机器通过同样的优化策略和相似的神经网络结构优化出了能够在真实场景下使用的准平衡态控制策略。证明了机器可以通过强化学习理解物理环境和作者的控制意图,优化出稳定可靠的控制方案,通过控制动边界条件,使温度场达到动态平衡。这是将强化学习应用于热对流准稳态控制的一次大胆尝试,更是几十年来首次对提拉法工业晶体生长的流体力学机理的全新认知和解释,是强化学习在现实世界中的一次重要应用,是微重力流体物理研究应用价值的充分体现。更多还原