mapreduce核心編程思想,如圖1-1所示。
圖1-1 mapreduce核心編程思想
1)分布式的運算程序往往需要分成至少2個階段。
2)第一個階段的maptask并發實例,完全并行運行,互不相干。
3)第二個階段的reducetask并發實例互不相干,但是他們的數據依賴于上一個階段的所有maptask并發實例的輸出。
4)mapreduce編程模型只能包含一個map階段和一個reduce階段,如果用戶的業務邏輯非常復雜,那就只能多個mapreduce程序,串行運行。
小結:分析wordcount數據流走向深入理解mapreduce核心思想。
總結
以上就是這篇文章的全部內容了,希望本文的內容對大家的學習或者工作具有一定的參考學習價值,謝謝大家對服務器之家的支持。如果你想了解更多相關內容請查看下面相關鏈接
原文鏈接:https://blog.csdn.net/qq_43193797/article/details/85331644