The original dataframe
需求:hour代表一天的24小時,現在要將hour列展開,每一個小時都作為一個列
實現:
1
|
val pivots = beijingGeoHourPopAfterDrop.groupBy( "geoHash" ).pivot( "hour" ). sum ( "countGeoPerHour" ).na.fill( 0 ) |
并且統計了對應的countGeoPerHour的和,如果有些行沒有這個新列對應的數據,將用null填充
The new dataframe
以上這篇spark dataframe 將一列展開,把該列所有值都變成新列的方法就是小編分享給大家的全部內容了,希望能給大家一個參考,也希望大家多多支持服務器之家。
原文鏈接:https://blog.csdn.net/Nougats/article/details/78124317