Flink 利用之 Yarn 资源问题排查

• -s: 每个TaskManager的slot数目。
  
• -qu: 提交任务到哪个队列。
  
• -nl: 作业利用的Yarn标签资源。
  
• -jm: JobManager利用的内存。
  
• -tm: TaskManager利用的内存。
  

• -ys: 每个TaskManager的slot数目。
  
• -yqu: 提交任务到哪个队列。
  
• -ynl: 作业利用的Yarn标签资源。
  
• -yjm: JobManager利用的内存。
  
• -ytm: TaskManager利用的内存。
  

• -p: 指定提交作业时的默认并行度。假如作业内算子没有明白指定并行度，则利用该值。覆盖parallelism.default设置值。
  

• taskmanager.numberOfTaskSlots: TaskManager slot数目。
  
• parallelism.default: 默认的并行度。决定会启动多少个TaskManager。
  
• jobmanager.memory.process.size: JobManager总内存巨细。包含堆内，堆外以及JVM metaspace等JVM本身占用的内存巨细。
  
• taskmanager.memory.process.size: TaskManager总内存巨细。
  

• yarn.nodemanager.resource.memory-mb: 每个nodemanager最多可用于分配给container的内存数目。整个Yarn集群的可用内存数目为yarn.nodemanager.resource.memory-mb * nodemanager节点数。
  
• yarn.scheduler.minimum-allocation-mb: RM为每个container分配的最小内存数。container占用内存巨细的下限。
  
• yarn.scheduler.maximum-allocation-mb: RM为每个container分配的最大内存数。container占用内存巨细的上限。
  
• yarn.nodemanager.vmem-pmem-ratio: Container最多利用的假造内存容量和物理内存的比值。默认为2.1。
  
• yarn.nodemanager.vmem-check-enabled: 是否开启假造内存查抄，逼迫限制假造内存的利用量。默认为true。
  

• yarn.nodemanager.resource.percentage-physical-cpu-limit: CPU资源可供container利用的百分比。仅在启用CGroup(yarn_cgroups_enabled)的时候才会见效。
  
• yarn.nodemanager.resource.cpu-vcores: 每个nodemanager最多可用于分配给container的CPU vcore数目。整个Yarn集群的可用CPU vcore数目为yarn.nodemanager.resource.cpu-vcores * nodemanager节点数。
  
• yarn.scheduler.minimum-allocation-vcores: RM为每个container分配的最小CPU vcore数。container占用vcore数目的下限。
  
• yarn.scheduler.maximum-allocation-vcores:RM为每个container分配的最大CPU vcore数。container占用vcore数目的上限。
  

• yarn.scheduler.capacity.<queue-path>.capacity: 队列的最小资源数。发生强占的时候也需要保障队列的最小资源。
  
• yarn.scheduler.capacity.<queue-path>.maximum-capacity: 队列的最大资源数。在其他队列资源不告急的情况下可以利用凌驾yarn.scheduler.capacity.<queue-path>.capacity的资源。
  
• yarn.scheduler.capacity.<queue-path>.minimum-user-limit-percent: 确保用户可得到的最小资源占队列资源的百分比。
  
• yarn.scheduler.capacity.<queue-path>.user-limit-factor: 单个用户最多可利用的资源占队列总资源（最小资源）的百分比。
  
• yarn.scheduler.capacity.<queue-path>.maximum-allocation-mb: 队列中每个container分配的最大内存数。覆盖yarn.scheduler.maximum-allocation-mb设置。必须小于或即是集群设置。
  
• yarn.scheduler.capacity.<queue-path>.maximum-allocation-vcores: 队列中每个container分配的最大CPU vcore数。覆盖yarn.scheduler.maximum-allocation-vcores设置。必须小于或即是集群设置。
  
• yarn.scheduler.capacity.<queue-path>.user-settings.<user-name>.weight: 某个用户的资源分配权重值。权庞大的用户分得的资源较多。
  

• yarn.scheduler.capacity.maximum-applications / yarn.scheduler.capacity.<queue-path>.maximum-applications: 集群大概队列最多可同时存在的running和pending应用数目。该项是硬限制。凌驾数目限制之后提交的应用会被拒绝。
  
• yarn.scheduler.capacity.maximum-am-resource-percent / yarn.scheduler.capacity.<queue-path>.maximum-am-resource-percent: 集群或队列中可用于运行Application Master的资源占比。
  
• yarn.scheduler.capacity.max-parallel-apps / yarn.scheduler.capacity.<queue-path>.max-parallel-apps: 同样限制最大同时运行应用数但该设置是软限制（集群范围或队列范围）。凌驾数目限制之后提交的应用处于ACCEPTED状态，等候条件符适时运行。
  
• yarn.scheduler.capacity.user.max-parallel-apps: (全部用户范围)每个用户最多提交的应用数。软限制。
  
• yarn.scheduler.capacity.user.<username>.max-parallel-apps: 某个用户最多提交的应用数。软限制。
  

• maximum-applications check - if the limit is exceeded, the submission is rejected immediately.
  
• max-parallel-apps check - the submission is accepted, but the application will not transition to RUNNING state. It stays in ACCEPTED until the queue / user limits are satisfied.
  
• maximum-am-resource-percent check - if there are too many Application Masters running, the application stays in ACCEPTED state until there is enough room for it.
  

• 查抄maximum-applications。假如超出，拒绝作业提交。（硬限制）
  
• 查抄max-parallel-apps。假如超出，作业进入ACCEPTED状态，比及条件满足时候恢复实行。（软限制）
  
• 查抄maximum-am-resource-percent。假如超出，作业进入ACCEPTED状态，比及条件满足时候恢复实行。（软限制）
  

• yarn.scheduler.capacity.<queue-path>.state: 队列状态。可以是RUNNING大概STOPPED。STOPPED状态克制提交新应用，但是已经提交的应用可以继续运行直到竣事。
  

• yarn.scheduler.capacity.root.accessible-node-labels: 队列可访问哪些标签资源。无标签的节点资源全部队列都可以访问。
  
• yarn.scheduler.capacity.root.default-node-label-expression: 假如提交到该队列的app没有指定标签，则利用default-node-label-expression指定的标签资源。默认情况下该设置项为空，表现app将利用没有标签的节点。此项很紧张，否则当用户提交应用没有指定标签时，即便指定了队列，标签资源仍然不可利用。
  

假如各算子并行度差异，parallelism取用并行度最大的算子并行度。

• yarn.nodemanager.resource.memory-mb * nodemanager节点数(集群总可用内存数)。
  
• yarn.nodemanager.resource.cpu-vcores * nodemanager节点数(集群总可用vcore数)。
  
• yarn.scheduler.capacity.<queue-path>.capacity
  
• yarn.scheduler.capacity.<queue-path>.maximum-capacity
  
• yarn.scheduler.capacity.root.accessible-node-labels
  
• yarn.scheduler.capacity.root.default-node-label-expression
  

• yarn.scheduler.minimum-allocation-vcores
  
• yarn.scheduler.maximum-allocation-vcores
  

• yarn.scheduler.minimum-allocation-mb
  
• yarn.scheduler.maximum-allocation-mb
  
• yarn.scheduler.capacity.<queue-path>.user-limit-factor
  

• yarn.scheduler.minimum-allocation-mb
  
• yarn.scheduler.maximum-allocation-mb
  
• yarn.scheduler.capacity.<queue-path>.user-limit-factor