FinitePilot
返回「强化学习逆向设计超材料:PPO 驱动 Abaqus 求解贝塞尔孔单胞」

fem-bezier-ppo/Reports/report.md

PPO强化学习Bezier孔超材料逆向设计——分析报告

1 问题与目标

用户要求(原话要点):与文献监督学习方法不同,用强化学习完成"给定弹性矩阵→设计单胞几何": actor以Bezier控制点位置为输入、输出位置增量Δr,Abaqus做几何建模与等效弹性矩阵计算, 残差转reward,用PPO训练;并用文献Fig.7的结果做逆向设计目标验证。 点名数值:两个Fig.7目标的最优几何Θ及其FEM复算的等效刚度、与目标的相对误差。 判据:相对L2误差 e=∥(ξ−ξ∗)/ξ∗∥2e=\|(\xi-\xi^*)/\xi^*\|_2(分量按目标值归一化)。

Fig.7验证目标(文献Fig.7(b)第一列,E=(C_{11},C_{12},C_{22},C_{33}}),已用view_pdf_pages核对):

  • S2(sample 2):ξ∗=(0.6607,0.1669,0.4536,0.0979)\xi^*=(0.6607,0.1669,0.4536,0.0979)
  • S3(sample 3):ξ∗=(0.4540,0.0802,0.3164,0.0265)\xi^*=(0.4540,0.0802,0.3164,0.0265)

2 模型

  • 几何:边长 a=1a=1 正方形单胞(中心在原点),第一象限4控制点极角均匀 [0°,30°,60°,90°][0°,30°,60°,90°]、径矢 Θ=[r1,r2,r3,r4]∈[0.10,0.45]\Theta=[r_1,r_2,r_3,r_4]\in[0.10,0.45], 过4点三次Bezier曲线,向 x/yx/y 轴双对称镜像成闭合孔洞,孔外为基体。 与文献同构(4半径参数、双对称→正交各向异性)。
  • 材料:线弹性,Eb=1.0E_b=1.0(归一化单位)、νb=0.49\nu_b=0.49(文献值)。
  • 边界与加载:周期边界(对边节点一一配对 uR−uL=uRP1u_R-u_L=u_{RP1}、uT−uB=uRP2u_T-u_B=u_{RP2}, 角点左下钉死、右下=RP1、左上=RP2、右上=RP1+RP2,共约280条*EQUATION), 3个独立宏观应变工况 Exx/Eyy/Exy(ε=10−3\varepsilon=10^{-3}),每个工况独立模型。
  • 分析步:Static,nlgeom=OFF,场输出 S/E/U/RF。
  • 单元与网格:平面应力 CPS4R/CPS3,自由四边形网格;外边界按数量种子固定 (N_EDGE=36,每边37节点,对边严格配对),全场约860~1570单元(随孔大小变)。
  • PPO:状态13维([rnorm,目标,残差,步号])([r_{norm},目标,残差,步号]),actor/critic各13-64-64-输出MLP(numpy手写), 动作 Δr∈[−0.06,0.06]4\Delta r\in[-0.06,0.06]^4,reward r=(et−1−et)−0.01∥a∥2+3⋅[e<0.05]r=(e_{t-1}-e_t)-0.01\|a\|^2+3\cdot[e<0.05], PPO-clip(0.2)+GAE。4并行env(2×S2、2×S3)×4步在线真实FEM奖励; 之后RBF代理(27个FEM点拟合)离线PPO收敛,最优再FEM验证。

3 网格与收敛

  • 求解过程:全部87次正式求解 verdict=ok,JOB COMPLETED、0条***ERROR; 均为1个增量步收敛、0回切(各次check_job quality)。
  • 单元畸变警告:极少数工况1~2个单元(如r6-k2-exy),体平均刚度不受影响。
  • 能量检查:不适用(隐式线性静力、无接触)。
  • 对称性校验:Exx/Eyy两工况 |C_{12}-C_{21}|/|C_{12}|}=3.05\times10^{-9} (基线形状,run_script homogen.py values),证明PBC约束正确。
  • 网格敏感性:未做(全程同一套种子策略,单元数1000量级;文献50×50网格相对误差2.5%量级可比)。
  • 致密单胞解析对照:未做。
  • 作废计算:02/03/04(横向RP未约束的错误三工况,已被05/06/07取代)、01(PBC探针)已discard。

4 结果

点名数值(run_script report_winners.py values,FEM体平均,出处见文件列):

量数值单位位置/时刻出处
S2优胜Θ[0.30336, 0.38195, 0.31998, 0.34290]a=1a=1归一化r4-s3rl_results.csv + thetas.json
S2复算C(0.51346, 0.16672, 0.54110, 0.10530)EbE_b归一化Exx/Eyy/Exy三工况体平均report_winners.py values
S2目标(0.6607, 0.1669, 0.4536, 0.0979)同上文献Fig.7 sample2Fig.7(b)
S3优胜Θ[0.12, 0.44, 0.44, 0.40]a=1a=1归一化r6-k2rl_results.csv + thetas.json
S3复算C(0.34084, 0.11402, 0.58261, 0.05864)EbE_b归一化Exx/Eyy/Exy三工况体平均report_winners.py values
S3目标(0.4540, 0.0802, 0.3164, 0.0265)同上文献Fig.7 sample3Fig.7(b)

S2分项相对误差:C11 −22.3%、C12 −0.1%、C22 +19.3%、C33 +7.6%,e=0.30e=0.30; S3分项相对误差:C11 −24.9%、C12 +42.2%、C22 +84.1%、C33 +121.2%,e=1.55e=1.55。 在线PPO真实FEM奖励:3轮更新meanR从−0.041升至+0.035(traj共16步); 离线代理LOO相对误差均值2.1%、最大14.3%,之后FEM验证与代理预测一致(S2代理0.316→FEM0.30)。

图 1 优胜设计 图 1 (a) S2优胜单胞几何(洋葱形孔);(b) S2在Exx工况下Mises云图(变形放大121.9倍, 色标3.23e-04~2.53e-03);(c) S3优胜单胞几何(8字形孔);(d) S3在Exx工况下Mises云图 (变形放大121.4倍)。单幅原图:best-s2-geom.png、best-s2-mises.png、best-s3-geom.png、best-s3-mises.png。

图 2 搜索过程 图 2 27次FEM评估相对L2误差演化:(a) 对S2目标(红星r4-s3,e=0.30e=0.30); (b) 对S3目标(红星r6-k2,e=1.55e=1.55)。在线PPO段(r1~r3)误差震荡下降,离线最优验证 (r4)与针对性细化(r5、r6)继续压低误差。

5 校核

  • 对称性:C12C_{12}与C21C_{21}相对差3.05e-9(出处:homogen.py values),PBC正确。
  • S2:C22误差−0.1%、C12误差−0.1%、C33误差+7.6%已对准,C11低22.3%是主要差距—— 在该参数族刚度上限附近(r=0.15锚点C11=1.06,目标0.66介于锚点与现状之间, 需更精细的各向异性配比)。
  • S3:仅C11对准(−4.9%~−25%);C33目标0.0265远低于本轮探索下限(27点中C33/C11 最小约0.17,目标0.058),属参数族可达域边缘/之外——如实记录,未调参硬凑。
  • 文献对照:文献i-NN在测试集R²>0.98是"集内重构"精度;本方法是"集外目标"直接 逆向,两者口径不同,不宜直接比R²。

6 假设与局限

  • 孔洞为真实几何切割(文献用弱材料ersatz近似),小孔/薄壁桥的刚度系统性略高, 差bulk段2%量级,不改变结论排序。
  • 2D平面应力、单胞周期无限排布假设;未考虑屈曲、塑性与制造约束。
  • PPO在线段仅16步(机时所限),收敛主要由代理段完成——最终两个交付点均为 真实Abaqus复算值,代理只负责提名不计入交付数值。
  • S3目标可能超出4半径Bezier族可达域;要进一步逼近需放开角度/增加控制点或 允许非对称孔(与文献"4点+双对称"框架不再同构)。

7 自由极角复算与对比(本轮新增)

按用户要求放开极角:控制点 (ri,θi)(r_i,\theta_i),r∈[0.10,0.45]r\in[0.10,0.45],θ∈[2°,88°]\theta\in[2°,88°]递增, 端点仍向坐标轴钳位、双轴镜像对称框架不变。8维PPO(状态17维、动作8维)在真实FEM奖励下更新1轮 (n=4,meanR=-0.0098),10个FEM点拟合RBF代理(33点合并旧数据时LOO均值10.8%、最大177%—— 8维欠采样,离线最优不可信,未采纳,按真实FEM最优点交付)。

点名数值(run_script report_winners_th.py values):

量数值出处
S2自由极角Θr=[0.342981,0.397610,0.266405,0.336536],θ=[2.00,27.72,63.77,88.00]°th1-t0,rl_results_th.csv
S2复算C(0.53671,0.15957,0.48284,0.10742)同上三工况体平均
S3自由极角Θr=[0.10,0.45,0.45,0.44],θ=[2.00,27.00,64.00,87.00]°th2-g1,rl_results_th.csv
S3复算C(0.25660,0.08662,0.57366,0.04103)同上三工况体平均

新旧对照表(相对误差=(FEM−目标)/目标,ee为L2):

目标-分量目标值固定极角FEM误差自由极角FEM误差
S2-C110.66070.51346−22.3%0.53671−18.8%
S2-C120.16690.16672−0.1%0.15957−4.4%
S2-C220.45360.54110+19.3%0.48284+6.4%
S2-C330.09790.10530+7.6%0.10742+9.7%
S2 ee——0.30—0.23
S3-C110.45400.34084−24.9%0.25660−43.5%
S3-C120.08020.11402+42.2%0.08662+8.0%
S3-C220.31640.58261+84.1%0.57366+81.3%
S3-C330.02650.05864+121.2%0.04103+54.8%
S3 ee——1.55—1.08

图 3 方向模量对比 图 3 方向弹性模量 E(θ)/EbE(\theta)/E_b(θ∈[0°,90°]\theta\in[0°,90°],由 C−1C^{-1} 解析算出): (a) S2目标(黑实线)/固定极角r4-s3(蓝虚线)/自由极角th1-t0(红点划线); (b) S3目标/固定极角r6-k2/自由极角th2-g1。自由极角曲线在S2的0°端与S3的45°谷底均更贴近目标。

图 4 自由极角优胜设计 图 4 (a) S2自由极角优胜单胞几何;(b) 其Exx工况Mises云图(变形放大121.9倍, 色标1.87e-04~2.33e-03);(c) S3自由极角优胜单胞几何;(d) 其Exx工况Mises云图 (变形放大122.2倍)。单幅原图:th-s2-geom.png、th-s2-mises.png、th-s3-geom.png、th-s3-mises.png。

图 2 搜索过程(增补) 图 2(增补重绘) 27固定极角+10自由极角FEM评估相对L2误差:(a) S2(蓝星旧最优r4-s3 e=0.30e=0.30, 红星新最优th1-t0 e=0.23e=0.23);(b) S3(蓝星r6-k2 e=1.55e=1.55,红星th2-g1 e=1.08e=1.08)。 新增CSV:rl_results_th.csv;新计算见Cases/90~119(th-*)。

8 文件