`

pig 源码分析

阅读更多

 

先贴几张pig的部分类图:

 

 

 pig logicalPlan转换为physicalPlan的类图

 

 

 

logicalPlan生成mapreducePlan类图

 

pig的主要流程 使用antlr生成语法树,

对照规则rule生成logicalPlan,每个logicalPlan聚合多个operator,operator就是pig的一个原子操作

再转化为physicalPlan,每个physicalPlan都对应hadoop job的输入输出流

最后转化为mrPlan,每个mrPlan都是包含一个load到store的过程,聚合physicalPlan,可转化为hadoop job

 

 

 

 

 

 

 

 

 

  • 大小: 49.1 KB
  • 大小: 63.7 KB
  • 大小: 67.6 KB
分享到:
评论

相关推荐

Global site tag (gtag.js) - Google Analytics