lilac强化学习论文

问：强化学习的方法主要有

1. 答：强化学习的方法主要有：Model-free和Model-based、基于概率和基于价值、回合更新和单步更新、在线学习和离线学习。
   我们可以将所有强化学习的方法分为理不理解所处环境,如果我们不尝试去理解环境, 环境给了我们什么就是什么. 我们就把这种方法叫做 model-free, 这里的 model 就是用模型来表示环境, 那理解了环境也就是学会了用一个模型来代表环境, 所以这种就是 model-based 方法. 
   基于概率是强化学习中最直接的一种, 他能通过感官分析所处的环境, 直接输出下一步要采取的各种动作的概率, 然后根据概率采取行动, 所以每种动作都有可能被选中, 只是可能性不同. 而基于价值的方法输出则是所有动作的价值, 我们会根据最高价值来选着动作。
   回合更新和单步更新, 想象强化学习就是在玩游戏, 游戏回合有开始和结束. 回合更新指的是游戏开始后, 我们要等待游戏结束, 然后再总结这一回合中的所有转折点, 再更新我们的行为准则. 而单步更新则是在游戏进行中每一步都在更新, 不用等待游戏的结束, 这样我们就能边玩边学习了。
   在线学习, 就是指我必须本人在场, 并且一定是本人边玩边学习, 而离线学习是你可以选择自己玩, 也可以选择看着别人玩, 通过看别人玩来学习别人的行为准则, 离线学习 同样是从过往的经验中学习, 但是这些过往的经历没必要是自己的经历, 任何人的经历都能被学习。

问：深度学习和深度强化学习的区别

1. 答：强化学习和深度学习是两种技术，只不过深度学习技术可以用到强化学习上，这个就叫深度强化学习.
   1.强化学习其实也是机器学习的一个分支，但是它与我们常见的机器学习不太一样。它讲究在一系列的情景之下，通过多步恰当的决策来达到一个目标，是一种序列多步决策的问题。强化学习是一种标记延迟的监督学习。
   2.强化学习实际上是一套很通用的解决人工智能问题的框架，很值得大家去研究。另一方面，深度学习不仅能够为强化学习带来端到端优化的便利，而且使得强化学习不再受限于低维的空间中，极大地拓展了强化学习的使用范围。
2. 答：强化学习要求agent去探索环境，然后对状态进行evaluate，在每一个状态下agent可以选择多种action，每次选择的依据可以是贪婪或者softmax等，但是得到的reward是无法表明当前的选择是正确的还是错误的，得到的只是一个score，监督学习的labels可以给agent简洁明了的correct or wrong，并且在agent 在对环境充分的探索前即在每一种状态下选择的每个action的次数不够多时，无法充分求expect，并且在action之间也无法进行对比择优。但是当监督学习的label信息有噪声干扰或者是利用一些active learning 获得到的labels的时候，强化学习的agent与环境直接交互获取到的信息是更加可靠。
   强化学习也是使用未标记的数据，但是可以通过某种方法知道你是离正确答案越来越近还是越来越远（即奖惩函数）。传统的“冷热游戏”（hotter or colder，是美版捉迷藏游戏 Huckle Buckle Beanstalk 的一个变种）很生动的解释了这个概念。你的朋友会事先藏好一个东西，当你离这个东西越来越近的时候，你朋友就说热，越来越远的时候，你朋友会说冷。冷或者热就是一个奖惩函数。半监督学习算法就是最大化奖惩函数。可以把奖惩函数想象成正确答案的一个延迟的、稀疏的形式。
   在监督学习中，能直接得到每个输入的对应的输出。强化学习中，训练一段时间后，你才能得到一个延迟的反馈，并且只有一点提示说明你是离答案越来越远还是越来越近。
   DeepMind 在自然杂志上发表了一篇论文 ，介绍了他们把强化学习和深度学习结合起来，让神经网络学着玩各种雅达利(Atari)游戏（就是各种街机游戏），一些游戏如打砖块（breakout）非常成功，但是另一些游戏比如蒙特祖玛的复仇，就表现的很糟糕。
3. 答：强化学习其实也是机器学习的一个分支，但是它与我们常见的机器学习（比如监督学习supervised
   learning）不太一样。它讲究在一系列的情景之下，通过多步恰当的决策来达到一个目标，是一种序列多步决策的问题。强化学习是一种标记延迟的监督学习。强化学习实际上是一套很通用的解决人工智能问题的框架，很值得大家去研究。另一方面，深度学习不仅能够为强化学习带来端到端优化的便利，而且使得强化学习不再受限于低维的空间中，极大地拓展了强化学习的使用范围。
4. 答：深度强化学习就是在传统强化学习的基础上增加了神经网络，如Q-learning上加了网络变成DQN就是深度强化学习了，通过深度网络来拟合函数获得Q值，解决Q-table面对连续状态和高维动作空间时很吃力的问题。

问：强化是学习成功的观念属于认知主义学习理论观点吗

1. 答：属于。学习是指个体由于经验而引起的行为和行为潜能的相对持久的变化。
   加涅学习结果的分类
   ①言语信息：用言语信息传递的知识，是什么、为什么
   ②智慧技能：运用概念、规则办事情的技能，怎么做
   ③认知策略：调控认知过程的方法，怎么学
   ④动作技能：怎么协调肌肉做动作
   ⑥态度：影响个人所采取行动倾向的内部状态
2. 答：强化主要是看强化学习方法还是更改方法，在学习里方法是有很多，当遇到学习困难的题目时，即使是强化学习成功的观念也就在于孜孜不倦并不属于认知主义学习理念这个是根据每个大脑的思维不同，分析题目使用方法当遇到同类的题目的时候，可以使用相同方法去解
3. 答：属于。学习是指个体由于经验而引起的行为和行为潜能的相对持久的变化。
   学习是知识的重新组织;学习是顿悟，不是试误;学习是信息加工过程;强化不是学习的必要因素
4. 答：强化是学习成功的观念属于认知主义学习理论观点吗，强化是学习成功的观念属于认知主义学习理论观点，因为认知主义学习主要是在强化成功的基础上所进行重点的。