马尔可夫决策过程(Markov Decision Process, MDP)是数学框架中用于建模序列决策问题的经典方法，它由状态空间、动作集合、状态转移概率和即时奖励函数四个核心要素构成。这一理论假设系统具有马尔可夫性质——即未来状态仅取决于当前状态和采取的动作，与历史状态无关。在自动驾驶领域，MDP能够形式化地描述车辆与环境交互时的决策过程，如变道超车或路口通行等场景。
实际应用中，自动驾驶系统常将MDP与强化学习结合，通过Q-learning或深度强化学习等算法求解最优策略。例如在路径规划时，车辆可将道路拓扑、交通信号等信息编码为状态空间，将加速、转向等操作作为可选动作，通过不断试错学习最优驾驶策略。值得注意的是，部分研究正在探索将部分可观测马尔可夫决策过程(POMDP)应用于传感器存在噪声的现实场景，这更贴近自动驾驶系统的实际工作环境。