一、YARN队列优先级调度是什么鬼？
说到YARN队列优先级调度，这玩意儿就像是医院急诊科的叫号系统。普通门诊病人按顺序排队，但遇到突发心梗的病人，护士小姐姐立马就会插队安排抢救。在大数据领域，YARN作为Hadoop的资源管理器，也需要这种"急诊通道"机制。
举个真实场景：某电商公司平时跑着常规的数据分析任务，突然双十一大促时，实时交易监控任务必须立即获得资源。这时候如果还让常规任务慢悠悠地占着资源，老板怕是要提着四十米大刀来找你了。
二、YARN调度的三种姿势
YARN主要支持三种调度策略，咱们一个个来说：
FIFO调度：就像食堂排队打饭，先来后到。简单是简单，但紧急任务只能干等着。
Capacity调度：给不同队列划分固定比例的资源，像是把餐厅分成VIP区和普通区。但VIP区空着也不给普通区用，太死板。
Fair调度：动态分配资源，像是自助餐厅随便拿。但遇到紧急情况，还是缺乏优先级控制。
<!-- Capacity调度器配置示例 -->
<configuration>
<!-- 定义两个队列，分别占70%和30%资源 -->
<property>
<name>yarn.scheduler.capacity.root.queues</name>
<value>prod,dev</value>
</property>
<property>
<name>yarn.scheduler.capacity.root.prod.capacity</name>
<value>70</value>
</property>
<property>
<name>yarn.scheduler.capacity.root.dev.capacity</name>
<value>30</value>
</property>
<!-- 允许prod队列借用dev队列的空闲资源 -->
<property>
<name>yarn.scheduler.capacity.root.prod.maximum-capacity</name>
<value>100</value>
</property>
</configuration>
三、优先级调度的实战配置
现在重点来了，怎么给队列加上优先级？就像给VIP客户分等级一样，我们可以在Capacity调度器中设置队列优先级。
// 提交任务时设置优先级示例
public class PriorityJobSubmitter {
public static void main(String[] args) {
// 1. 创建YARN客户端配置
Configuration conf = new YarnConfiguration();
// 2. 创建YARN客户端
YarnClient yarnClient = YarnClient.createYarnClient();
yarnClient.init(conf);
yarnClient.start();
// 3. 创建应用提交上下文
YarnClientApplication app = yarnClient.createApplication();
ApplicationSubmissionContext appContext = app.getApplicationSubmissionContext();
// 4. 设置应用优先级（0-10，数字越大优先级越高）
Priority priority = Records.newRecord(Priority.class);
priority.setPriority(5); // 设置为5级优先级
appContext.setPriority(priority);
// 5. 提交应用
yarnClient.submitApplication(appContext);
}
}
四、队列内部的优先级调度
有时候不仅队列之间要有优先级，队列内部的任务也要分个三六九等。这时候就需要用到分层队列和任务优先级的组合拳。
<!-- 分层队列配置示例 -->
<configuration>
<!-- 定义根队列下的子队列 -->
<property>
<name>yarn.scheduler.capacity.root.queues</name>
<value>urgent,normal</value>
</property>
<!-- 紧急队列配置 -->
<property>
<name>yarn.scheduler.capacity.root.urgent.capacity</name>
<value>40</value>
</property>
<property>
<name>yarn.scheduler.capacity.root.urgent.maximum-priority</name>
<value>10</value> <!-- 允许设置最高优先级 -->
</property>
<!-- 普通队列配置 -->
<property>
<name>yarn.scheduler.capacity.root.normal.capacity</name>
<value>60</value>
</property>
<property>
<name>yarn.scheduler.capacity.root.normal.maximum-priority</name>
<value>5</value> <!-- 最高只能设到5级 -->
</property>
</configuration>
五、动态资源抢占的利与弊
当高优先级任务急需资源时，YARN可以强制回收低优先级任务占用的资源，这就是资源抢占。这功能猛是猛，但用不好容易翻车。
优点：
- 确保关键任务及时获得资源
- 提高集群资源利用率
- 灵活应对突发流量
缺点：
- 被抢占的任务需要重新执行
- 可能造成资源浪费
- 配置不当会导致系统震荡
# 动态修改队列配置示例
yarn rmadmin -refreshQueues
# 查看队列资源使用情况
yarn queue -status urgent
六、实际应用中的坑与解决方案
在实际生产中，我们踩过不少坑，这里分享几个典型案例：
案例1：优先级设置过高导致普通任务饿死
<!-- 解决方案：设置最大优先级限制 -->
<property>
<name>yarn.scheduler.capacity.root.normal.maximum-priority</name>
<value>5</value>
</property>
案例2：资源抢占太频繁影响稳定性
<!-- 解决方案：调整抢占等待时间 -->
<property>
<name>yarn.scheduler.monitor.interval</name>
<value>3000</value> <!-- 3秒检查一次 -->
</property>
<property>
<name>yarn.scheduler.capacity.preemption.max-wait-time</name>
<value>60000</value> <!-- 最多等待1分钟 -->
</property>
七、最佳实践总结
经过多年实战，我们总结出以下经验：
- 分级明确：通常设置3-5个优先级级别就够了，太多反而难以管理
- 预留缓冲：建议预留20%资源给紧急队列
- 监控报警：对高优先级任务进行特别监控
- 定期评估：根据业务变化调整优先级策略
- 文档规范：明确什么任务可以设置高优先级，避免滥用
// 优先级监控示例
public class PriorityMonitor {
public void checkPriorityAbuse() {
// 获取所有运行中的任务
List<ApplicationReport> apps = yarnClient.getApplications();
for (ApplicationReport app : apps) {
// 检查普通队列中的高优先级任务
if (app.getQueue().equals("normal")
&& app.getPriority().getPriority() > 3) {
sendAlert("Priority abuse detected: " + app.getApplicationId());
}
}
}
}
八、未来发展方向
随着技术的发展，YARN调度也在不断进化：
- 基于AI的智能调度：根据历史数据预测资源需求
- K8s集成：与Kubernetes资源调度协同工作
- 混合云支持：跨云资源统一调度
- 更细粒度控制：支持GPU等特殊资源调度
总之，YARN队列优先级调度就像交通管制系统，既要保证主干道畅通，又要给救护车留出应急通道。配置得当能让你的大数据平台在各种业务场景下都游刃有余。
评论