fem-bezier-ppo/Reports/report.md
PPO强化学习Bezier孔超材料逆向设计——分析报告
1 问题与目标
用户要求(原话要点):与文献监督学习方法不同,用强化学习完成"给定弹性矩阵→设计单胞几何": actor以Bezier控制点位置为输入、输出位置增量Δr,Abaqus做几何建模与等效弹性矩阵计算, 残差转reward,用PPO训练;并用文献Fig.7的结果做逆向设计目标验证。 点名数值:两个Fig.7目标的最优几何Θ及其FEM复算的等效刚度、与目标的相对误差。 判据:相对L2误差 (分量按目标值归一化)。
Fig.7验证目标(文献Fig.7(b)第一列,E=(C_{11},C_{12},C_{22},C_{33}}),已用view_pdf_pages核对):
- S2(sample 2):
- S3(sample 3):
2 模型
- 几何:边长 正方形单胞(中心在原点),第一象限4控制点极角均匀 、径矢 , 过4点三次Bezier曲线,向 轴双对称镜像成闭合孔洞,孔外为基体。 与文献同构(4半径参数、双对称→正交各向异性)。
- 材料:线弹性,(归一化单位)、(文献值)。
- 边界与加载:周期边界(对边节点一一配对 、, 角点左下钉死、右下=RP1、左上=RP2、右上=RP1+RP2,共约280条*EQUATION), 3个独立宏观应变工况 Exx/Eyy/Exy(),每个工况独立模型。
- 分析步:Static,
nlgeom=OFF,场输出 S/E/U/RF。 - 单元与网格:平面应力 CPS4R/CPS3,自由四边形网格;外边界按数量种子固定 (N_EDGE=36,每边37节点,对边严格配对),全场约860~1570单元(随孔大小变)。
- PPO:状态13维,actor/critic各13-64-64-输出MLP(numpy手写), 动作 ,reward , PPO-clip(0.2)+GAE。4并行env(2×S2、2×S3)×4步在线真实FEM奖励; 之后RBF代理(27个FEM点拟合)离线PPO收敛,最优再FEM验证。
3 网格与收敛
- 求解过程:全部87次正式求解 verdict=ok,JOB COMPLETED、0条***ERROR; 均为1个增量步收敛、0回切(各次check_job quality)。
- 单元畸变警告:极少数工况1~2个单元(如r6-k2-exy),体平均刚度不受影响。
- 能量检查:不适用(隐式线性静力、无接触)。
- 对称性校验:Exx/Eyy两工况 |C_{12}-C_{21}|/|C_{12}|}=3.05\times10^{-9}
(基线形状,
run_script homogen.pyvalues),证明PBC约束正确。 - 网格敏感性:未做(全程同一套种子策略,单元数1000量级;文献50×50网格相对误差2.5%量级可比)。
- 致密单胞解析对照:未做。
- 作废计算:02/03/04(横向RP未约束的错误三工况,已被05/06/07取代)、01(PBC探针)已discard。
4 结果
点名数值(run_script report_winners.py values,FEM体平均,出处见文件列):
| 量 | 数值 | 单位 | 位置/时刻 | 出处 |
|---|---|---|---|---|
| S2优胜Θ | [0.30336, 0.38195, 0.31998, 0.34290] | 归一化 | r4-s3 | rl_results.csv + thetas.json |
| S2复算C | (0.51346, 0.16672, 0.54110, 0.10530) | 归一化 | Exx/Eyy/Exy三工况体平均 | report_winners.py values |
| S2目标 | (0.6607, 0.1669, 0.4536, 0.0979) | 同上 | 文献Fig.7 sample2 | Fig.7(b) |
| S3优胜Θ | [0.12, 0.44, 0.44, 0.40] | 归一化 | r6-k2 | rl_results.csv + thetas.json |
| S3复算C | (0.34084, 0.11402, 0.58261, 0.05864) | 归一化 | Exx/Eyy/Exy三工况体平均 | report_winners.py values |
| S3目标 | (0.4540, 0.0802, 0.3164, 0.0265) | 同上 | 文献Fig.7 sample3 | Fig.7(b) |
S2分项相对误差:C11 −22.3%、C12 −0.1%、C22 +19.3%、C33 +7.6%,; S3分项相对误差:C11 −24.9%、C12 +42.2%、C22 +84.1%、C33 +121.2%,。 在线PPO真实FEM奖励:3轮更新meanR从−0.041升至+0.035(traj共16步); 离线代理LOO相对误差均值2.1%、最大14.3%,之后FEM验证与代理预测一致(S2代理0.316→FEM0.30)。
图 1 (a) S2优胜单胞几何(洋葱形孔);(b) S2在Exx工况下Mises云图(变形放大121.9倍,
色标3.23e-04~2.53e-03);(c) S3优胜单胞几何(8字形孔);(d) S3在Exx工况下Mises云图
(变形放大121.4倍)。单幅原图:best-s2-geom.png、best-s2-mises.png、best-s3-geom.png、best-s3-mises.png。
图 2 27次FEM评估相对L2误差演化:(a) 对S2目标(红星r4-s3,);
(b) 对S3目标(红星r6-k2,)。在线PPO段(r1~r3)误差震荡下降,离线最优验证
(r4)与针对性细化(r5、r6)继续压低误差。
5 校核
- 对称性:与相对差3.05e-9(出处:homogen.py values),PBC正确。
- S2:C22误差−0.1%、C12误差−0.1%、C33误差+7.6%已对准,C11低22.3%是主要差距—— 在该参数族刚度上限附近(r=0.15锚点C11=1.06,目标0.66介于锚点与现状之间, 需更精细的各向异性配比)。
- S3:仅C11对准(−4.9%~−25%);C33目标0.0265远低于本轮探索下限(27点中C33/C11 最小约0.17,目标0.058),属参数族可达域边缘/之外——如实记录,未调参硬凑。
- 文献对照:文献i-NN在测试集R²>0.98是"集内重构"精度;本方法是"集外目标"直接 逆向,两者口径不同,不宜直接比R²。
6 假设与局限
- 孔洞为真实几何切割(文献用弱材料ersatz近似),小孔/薄壁桥的刚度系统性略高, 差bulk段2%量级,不改变结论排序。
- 2D平面应力、单胞周期无限排布假设;未考虑屈曲、塑性与制造约束。
- PPO在线段仅16步(机时所限),收敛主要由代理段完成——最终两个交付点均为 真实Abaqus复算值,代理只负责提名不计入交付数值。
- S3目标可能超出4半径Bezier族可达域;要进一步逼近需放开角度/增加控制点或 允许非对称孔(与文献"4点+双对称"框架不再同构)。
7 自由极角复算与对比(本轮新增)
按用户要求放开极角:控制点 ,,递增, 端点仍向坐标轴钳位、双轴镜像对称框架不变。8维PPO(状态17维、动作8维)在真实FEM奖励下更新1轮 (n=4,meanR=-0.0098),10个FEM点拟合RBF代理(33点合并旧数据时LOO均值10.8%、最大177%—— 8维欠采样,离线最优不可信,未采纳,按真实FEM最优点交付)。
点名数值(run_script report_winners_th.py values):
| 量 | 数值 | 出处 |
|---|---|---|
| S2自由极角Θ | r=[0.342981,0.397610,0.266405,0.336536],θ=[2.00,27.72,63.77,88.00]° | th1-t0,rl_results_th.csv |
| S2复算C | (0.53671,0.15957,0.48284,0.10742) | 同上三工况体平均 |
| S3自由极角Θ | r=[0.10,0.45,0.45,0.44],θ=[2.00,27.00,64.00,87.00]° | th2-g1,rl_results_th.csv |
| S3复算C | (0.25660,0.08662,0.57366,0.04103) | 同上三工况体平均 |
新旧对照表(相对误差=(FEM−目标)/目标,为L2):
| 目标-分量 | 目标值 | 固定极角FEM | 误差 | 自由极角FEM | 误差 |
|---|---|---|---|---|---|
| S2-C11 | 0.6607 | 0.51346 | −22.3% | 0.53671 | −18.8% |
| S2-C12 | 0.1669 | 0.16672 | −0.1% | 0.15957 | −4.4% |
| S2-C22 | 0.4536 | 0.54110 | +19.3% | 0.48284 | +6.4% |
| S2-C33 | 0.0979 | 0.10530 | +7.6% | 0.10742 | +9.7% |
| S2 | — | — | 0.30 | — | 0.23 |
| S3-C11 | 0.4540 | 0.34084 | −24.9% | 0.25660 | −43.5% |
| S3-C12 | 0.0802 | 0.11402 | +42.2% | 0.08662 | +8.0% |
| S3-C22 | 0.3164 | 0.58261 | +84.1% | 0.57366 | +81.3% |
| S3-C33 | 0.0265 | 0.05864 | +121.2% | 0.04103 | +54.8% |
| S3 | — | — | 1.55 | — | 1.08 |
图 3 方向弹性模量 (,由 解析算出):
(a) S2目标(黑实线)/固定极角r4-s3(蓝虚线)/自由极角th1-t0(红点划线);
(b) S3目标/固定极角r6-k2/自由极角th2-g1。自由极角曲线在S2的0°端与S3的45°谷底均更贴近目标。
图 4 (a) S2自由极角优胜单胞几何;(b) 其Exx工况Mises云图(变形放大121.9倍,
色标1.87e-04~2.33e-03);(c) S3自由极角优胜单胞几何;(d) 其Exx工况Mises云图
(变形放大122.2倍)。单幅原图:th-s2-geom.png、th-s2-mises.png、th-s3-geom.png、th-s3-mises.png。
图 2(增补重绘) 27固定极角+10自由极角FEM评估相对L2误差:(a) S2(蓝星旧最优r4-s3 ,
红星新最优th1-t0 );(b) S3(蓝星r6-k2 ,红星th2-g1 )。
新增CSV:rl_results_th.csv;新计算见Cases/90~119(th-*)。
8 文件
- 建模真值:.fp/model/model.py(当前为r4-s3+r6-k2两优胜者6模型); 批量生成器 .fp/scripts/gen_model.py; PPO核心 .fp/scripts/ppo_core.py; 离线脚本 .fp/scripts/ppo_offline.py; 批量提数 .fp/scripts/homogen_batch.py。
- 结果:rl_results.csv(27点Θ与C全表)、fig1_designs.png、fig2_search.png。
- 计算:S2优胜 56-rl-r4-s3-exx(及同名前缀Eyy/Exy工况)、 S3优胜 86-rl-r6-k2-exx(Exx/Eyy/Exy三工况见同名前缀Cases)。 基线标定 05-homogen-exx、06、07。
- 输入:liu-wu-2024…pdf。