JKになりたい

何か書きたいことを書きます。主にWeb方面の技術系記事が多いかも。

2023-01-01から1年間の記事一覧

PPOにまつわる備忘録

何の記事か 最近、HuggingFaceの強化学習チュートリアルをみてたんですよ。 で、PPOのこの最後の目的関数の意味がわからなかったんですよね。 これ。 (1) 各項は「クリップされた代理方策目的関数 - 価値関数の目的関数 + エントロピーボーナス」となってい…