✨ 写在前面 最近将我的 Hexo 博客从 Windows 系统迁移到了 Mac 系统。虽然 Hexo 本身是跨平台的，但在迁移过程中还是遇到了一些需要注意的问题。本文详细记录了整个迁移过程，希望能帮助有相同需求的读者顺利完成迁移工作。 📋 迁移前准备 在开始迁移之前，建议先做好以下准备工作： 备份重要文件 备份整个博客文件夹（包括 source/、themes/、_config.yml 等） 确保所有博客文章和配置文件都已保存 检查系统环境 Mac 系统：macOS 15.5（或其他版本） Node.js：建议使用 LTS 版本 npm：随 Node.js 一起安装 🚀 迁移步骤 1. 安装 Node.js 和 npm Mac 系统上安装 Node.js 有多种方式，推荐使用 Homebrew： 123456# 使用 Homebrew 安装 Node.js（会自动安装 npm）brew install node# 验证安装node --versionnpm --version 或者从 Node.js 官网 下载安装包直接安装。 2. 重新安装项目 ...

1-Value iteration algorithm 2-Policy iteration algorithm 3-Truncated policy iteration algorithm

Lecture 3: Optimal Policy and Bellman Optimality Equation 1-Outline In this lecture: Core concepts: optimal policy and optimal state value A fundamental tool: Bellman optimality equation (BOE) 2-Motivating examples Exercise: write out the Bellman equation and solve the state values (set γ=0.9\gamma = 0.9γ=0.9) Bellman equations: vπ(s1)=−1+γvπ(s2),v_\pi(s_1) = -1 + \gamma v_\pi(s_2), vπ​(s1​)=−1+γvπ​(s2​), vπ(s2)=+1+γvπ(s4),v_\pi(s_2) = +1 + \gamma v_\pi(s_4), vπ​(s2​)=+1+γvπ​(s4​ ...

Lecture 2: State Value and Bellman Equation Outline In this lecture: A core concept: state value A fundamental tool: Bellman equation Motivating examples Motivating example 1: Why return is important? In summary, starting from s1s_1s1​, return1>return3>return2return_1 > return_3 > return_2 return1​>return3​>return2​ The above inequality suggests that the first policy is the best and the second policy is the worst, which is exactly the same as our intui ...

引言 本笔记系统整理和总结了强化学习领域的核心数学原理，内容主要参考自B站课程：【强化学习的数学原理】课程：从零开始到透彻理解（完结）。课程由西湖大学工学院赵世钰老师主讲，涵盖了强化学习的基本概念、马尔可夫决策过程（MDP）、动态规划、蒙特卡洛方法等重要内容，本课程重点讲解的是 RL 的算法原理，适合希望深入理解强化学习本质的同学学习。赵老师的个人主页可参考：赵世钰。 相关资源与链接整理如下： 课程视频（知乎）：https://www.zhihu.com/education/video-course/1574007679344930816?section_id=1574047391564390400 课程视频（B站）：https://space.bilibili.com/2044042934 全英课程视频（YouTube）：https://www.youtube.com/watch?v=ZHMWHr9811U&list=PLEhdbSEZZbDaFWPX4gehhwB9vJZJ1DNm8&index=2 书籍PDF与PPT下载（GitHub）：https://git ...

Overview of Reinforcement Learning in 30 Minutes Not just the map of this course, but also for RL fundations. Fundamental tools + Algorithms and methods. Importance of different parts. Chapter 1: Basic Concepts Concepts: state, action, reward, return, episode, policy,… Grid-world examples Markov decision process (MDP) Fundamental concepts, widely used later Chapter 2: Bellman Equations One concept: state valuevπ(s)=E[Gt∣St=s]\mathbb{v}_{\pi}(s) = \mathbb{E}[G_t | S_t = s] vπ​(s)=E[G ...

Lecture 1: Basic Concepts in Reinforcement Learning Contents First, introduce fundamental concepts in RL by examples. Second, formalize the conceptts in the context of Markov decision process. A grid-world example State State: The status of the agent with respect to the environment 针对于 grid-world 示例，state 指的是 location，如下图中一共有 9 个 location，也就对应了 9 个 state。 State space: The set of all states S=sii=19\mathbb{S} = {s_i}^{9}_{i=1}S=si​i=19​. Action Action: For each state, there ar ...

引言 这里主要是依托于 jackfrued 仓库 Python-100-Days 进行学习，记录自己的学习过程和心得体会。 Day1 1 Python 简介 Python（英式发音：/ˈpaɪθən/；美式发音：/ˈpaɪθɑːn/）是由荷兰人吉多·范罗苏姆（Guido von Rossum）发明的一种编程语言，是目前世界上最受欢迎和拥有最多用户的编程语言。Python 强调代码的可读性和语法的简洁性，相较于 C、C++、Java 这些同样影响深远的编程语言，Python 让使用者能够用更少的代码表达自己的意图。下面是几个权威的编程语言排行榜给出的 Python 语言的排名，其中第1张图由 TIOBE Index 提供，第3张图由 IEEE Spectrum 提供。值得一提的是第2张图，它展示了编程语言在全球最大代码托管平台 GitHub 上受欢迎的程度，最近的四年时间 Python 语言都占据了冠军的宝座。 1.1 Python 编年史 ​1989年​ 荷兰程序员吉多·范罗苏姆在圣诞假期开始开发新编程语言 名称源自喜剧《Monty Python’s ...

前言 随着博客的不断更新迭代，我们经常会对网站进行各种优化和改进。为了让读者和自己能够清晰地了解网站的发展历程，添加一个网站更新日志页面是个不错的选择。这样不仅可以记录网站的成长，还能展示我们对博客的用心维护。 本文将详细介绍如何为Hexo博客添加一个美观实用的网站更新日志页面，包括页面创建、数据配置、样式美化等全过程。 实现思路 要实现网站更新日志页面，我们需要完成以下几个步骤： 创建页面文件和数据文件 编写页面布局模板 修改主题配置，添加菜单项 美化页面样式 下面我们一步步来实现。 创建必要文件 创建页面文件 首先，我们需要创建一个新的页面文件。在博客根目录下执行以下命令： 1hexo new page changelog 这将在 source/changelog/ 目录下创建一个 index.md 文件。打开该文件，修改其内容如下： 12345678910111213141516---title: date: 2025-08-13 16:31:00type: changelogupdated: 2025-08-13 16:31:00comments: truedesc ...