第420章 强化学习的威力（1/2）

最快更新重生学神有系统最新章节！

第二天一早。

江寒起后，来到窗前一看，入目都是晶莹的纯白。

不如在方源的这几台机器人里，也写入训练好的dqn网络，然后，让两个dqn网络对战！

江寒心中一动，忽然想到了一个办法。

方源默默点头，忽然说：“可惜我的能力有限，弄不出战斗力更强的机器人，否则就能给你做陪练了……”

江寒摇了摇头，平静的说：“其他队伍的况，目前还不清楚，我们拿冠军的可能，不能说没有，但还不够大。”

他对自己的编程能力，还是相当自信的，正式比赛中的对手，不可能个顶个都比自己强……

方源若有所思，忽然问：“老板，就凭你这几台机器人的强度，差不多也够用了吧？”

江寒解释说：“不仅仅是时间的问题，我这个算法的上限，取决于陪练的战斗力，现在这种况，只怕后面很难有大的进步了。”

“你是说时间吗？”方源问。

江寒却笑着摇了摇头：“只怕还不够。”

“老板，你的机器人进步太快了，我估计，等到下周比赛时，差不多能和遥控战车一较高下了。”

“不玩了，不玩了。”方源用力摇头。

开战不到3分钟，江寒这边就摧枯拉朽一般，将方源的队伍虐了个体无完肤。

这天，江寒和方源又进行了一场友谊赛。

而江寒这边，却是一个拥有学习能力的i，只要有充足的时间，就可以愈练愈强！

没办法，方源的程序，是传统的逻辑推理型i，成长约等于没有，写成什么样，就是什么样。

又过了两天，方源的机器人，就彻底不是对手了。

渐渐的，江寒的机器人学会了简单的战术配合，这样一来，再和方源pk，胜率就提高了不少。

她们之前的确没想到，这些“死”的机械，居然也能在实战中，不停地成长！

但这种其妙的现象，仍然引得苏婉莹、夏雨菲等人啧啧称奇。

虽然处于下风的时候多，占据优势的时候少，取得胜利的次数，更是约等于0。

三天后，训练效果渐渐体现了出来，至少与方源pk时，不再一面倒的被屠杀。

从一开始什么也不懂，慢慢学会了走路、击、躲闪……

江寒的五台战车机器人，每天都在缓慢地进步着。

为了解决这个问题，江寒不得不设计了一个磁吸式充电接口，让这些机器人电量消耗得差不多时，自己滚去充电……

通常能连续运作三个小时，就差不多到极限了。

这些战车机器人都是标准装，能还算不错，续航就比较马虎了。

江寒淡淡一笑：“现在下结论还太早了点，过两天再看效果吧。”

夏雨菲也有点担忧，问江寒：“它们好像一直在乱转，这都半个下午了，是不是哪里出问题了？”

苏婉莹直接吐槽：“江寒，你这几台战车，看起来不怎么聪明呀？”

靳雪雯藏不住事儿：“江寒哥哥，这种办法真的行吗？”

看到这种况，大家不免心里有点没底。

别说作战了，连路都跑不明白，经常卡在莫名其妙的地方，原地转圈圈。

一开始，江寒的机器人看起来笨头笨脑的，和无头苍蝇差不多。

江寒让方源的五台机器人，给自己麾下的战车做陪练。

苏婉莹特地将阁楼清理出来，给大家做训练场地。

好在这种算法最大的优点，就是不怎么需要人工干预，只要给“智能体”适当的环境，它就能自主学习、慢慢进步。

接下来，就是漫长的训练过程。

江寒在虚拟空间里忙碌了三百多个小时，才终于弄出了一个比较完善的dqn算法。

首先要克服的，就是噪声、延迟和不稳定等问题。

dqn的原理相当简单，只要将q-table换成人工神经网络就行，但如果想取得理想的效果，那就得讲究一点细节了。

所谓dqn，全称是deepqwork，实际上就是将深度学习和强化学习结合到一起的产物。

为了解决这个问题，江寒很自然地想到了dqn算法。

当状态和动作空间是连续的，或者维度很高时，再用q-table来表达，就有点力不从心了。

然而，这种办法虽然简单、直观，易于实现，但也有着致命的缺陷，那就是只适合状态和动作空间是离散的，而且维数不太高的况。

通过修改q-table的值，就能生成一个指引智能体行动的“纲领”。

在q-learning中，用一个表格来保存状态和动作的q值，称为q-table。

例如著名的q-learning算法，江寒之前就有过一些研究。

这样，智能体就能在不断地试错中，一点一点地优化行动策略……

反之，如果得到的是负面反馈，那么就减弱这种倾向。

当环境对某个动作给与了正向反馈时，智能体将来就会更加倾向于这种举动。

训练的过程中，智能体可以得到所处环境的状态信息，并采取试探行动。

在这个案例中，一台战车机器人，就是一个智能体。

“强化学习”在这个世界早就出现了，其中最重要的概念，就是智能体。

程序本就很不好弄，训练起来更加麻烦，需要相当多的时间。

而江寒这边的“强化学习”，实现起来就没那么简单了。

由于方源采用了传统算法，程序调试完成后，直接烧录到机器人的rom中，就可以运行了。

两人的程序很快都编好了。

江寒让靳雪雯又买了五台机器人，和方源每人选择五台，分头训练。

大家聚在一起玩玩闹闹、其乐融融，顺便训练、训练机器人，不亦乐乎？

这天开始，靳雪雯每天都来苏家。

意思是还没花光呗？

小鱼儿：“……”

靳雪雯嘻嘻一笑：“一共8万多，险些花光我的压岁钱。”

“花了不少钱吧？”小鱼儿问。