b站UP 何小枝天天向上：
前一个小节（ChatGPT是怎样被训练出来的？）：https://www.bilibili.com/video/BV1BG4y137SH
视频中的源码：https://github.com/HarderThenHarder/transformers_tasks/tree/main/RLHF
Reward Model 训练文章：https://zhuanlan.zhihu.com/p/595579042
PPO + GPT2 训练文章：https://zhuanlan.zhihu.com/p/595116794
模型杂谈：使用 IN8 量化推理运行 Meta “开源泄露”的大模型（LLaMA）
相关AI文章
华泰证券：强化学习初探与DQN择时
总结
Transformer起到的只是将远处的信息搬运到近处的作用
对抗生成网络能够提取到品种的粘度信息，并给出以及在一定形态下短期k线的概率。不过给出的概率无预测效力。
有别于传统监督学习对真实标签的拟合，强化学习不存在标准答案，而是针对长期目标的试错学习。 其核心思想是个体通过与环境 交互，从反馈的奖励信号中进行学习，数学上使用马尔 可夫决策过程刻画。本文围绕基于价值的方法和。将主观交易经验用来训练量化模型靠强化学习+Transformer，实际上是用主观的经验代替了强化学习中的奖励机制。生成式网络（Genarative）用来产生更多用例。