Mortal v2 的 rating 比 v1 高的原因是它们的超参就不一样，本身不同超参训练出的网络的 rating 之间就不可比，可以直接理解为就是不同体系的东西，就好像不能拿雅思阅读的分和托福阅读的分去直接对比一样。v2 和 v1 不只是训练集的不同，它们的 observation embedding、网络结构、训练方式和超参都不一样。
修改 env.pts 或者 cql.min_q_weight 的值都会让 rating 产生巨大的改变，但对 AI 的表现却不会表现出那么大的影响，而且参数 env.pts 不是全程固定的，在 online training 的时候经常需要来回调整。此外 online training 的步数也会对 rating 产生很大的影响，因为 online training 的步数越多，通常网络就越会修复由 offline 阶段的 CQL loss 产生的对 OOD 动作的 Q 值惩罚，结果上说会拉高输出的 Q 值的下界，从而导致计算出的 rating 总体变高。另外 rating 也从来没有在训练时被使用过，无论是直接地(比如作为 loss)还是间接地(比如像 F1-score 一样打给人看)，它既不影响也不能反映训练的效果。
这是我觉得 rating 有误导性的主要原因——因为现在的 rating 是一个很随意的设计，和 Mortal 内部的底层实现高度相关，而大多数人不熟悉背景也不了解训练是怎么进行的，解释和理解都需要成本。
另一方面，rating 也不是我做 reviewer 的初衷，更不是什么主打的功能，所以也没有在这上面花多少心思。我做 reviewer 本来的目的是想给人类玩家提供在具体何切何鸣问题上的 insights，而不是拿来看个超抽象、方差又高、又和具体网络参数相关的 rating 就完事了，这在我看来这多少有点本末倒置。
何况 rating 说到底只是做了一个 min-max scaling 然后求均值而已，没有 calibration，甚至连置信区间都没有算，再加上它又和超参直接相关，换一套参数重新训练又完全不一样了，实在是不宜作为参考。可是它就这样莫名成了个很流行的 feature 让我有些苦恼，所以先把它放在了高级选项里，因为它的确是一个高级选项，需要理解相关的背景才能用对。