13518219792

建站动态

根据您的个性需求进行定制 先人一步 抢占小程序红利时代

创新互联Hadoop教程:HadoopResourceManager

负责全局的资源管理和任务调度,把整个集群当成计算资源池,只关注分配,不管应用,且不负责容错

资源管理

  1. 以前资源是每个节点分成一个个的Map slot和Reduce slot,现在是一个个Container,每个Container可以根据需要运行ApplicationMaster、Map、Reduce或者任意的程序
  2. 以前的资源分配是静态的,目前是动态的,资源利用率更高
  3. Container是资源申请的单位,一个资源申请格式:, resource-name:主机名、机架名或*(代表任意机器), resource-requirement:目前只支持CPU和内存
  4. 用户提交作业到ResourceManager,然后在某个NodeManager上分配一个Container来运行ApplicationMaster,ApplicationMaster再根据自身程序需要向ResourceManager申请资源
  5. YARN有一套Container的生命周期管理机制,而ApplicationMaster和其Container之间的管理是应用程序自己定义的

任务调度

  1. 只关注资源的使用情况,根据需求合理分配资源
  2. Scheluer可以根据申请的需要,在特定的机器上申请特定的资源(ApplicationMaster负责申请资源时的数据本地化的考虑,ResourceManager将尽量满足其申请需求,在指定的机器上分配Container,从而减少数据移动)

内部结构


分享文章:创新互联Hadoop教程:HadoopResourceManager
当前网址:http://cdbrznjsb.com/article/cdpjcoh.html

其他资讯

让你的专属顾问为你服务