一区二区三区在线-一区二区三区亚洲视频-一区二区三区亚洲-一区二区三区午夜-一区二区三区四区在线视频-一区二区三区四区在线免费观看

服務器之家:專注于服務器技術及軟件下載分享
分類導航

Mysql|Sql Server|Oracle|Redis|MongoDB|PostgreSQL|Sqlite|DB2|mariadb|Access|數據庫技術|

服務器之家 - 數據庫 - MongoDB - MongoDB中MapReduce編程模型使用實例

MongoDB中MapReduce編程模型使用實例

2020-04-24 15:38MongoDB教程網 MongoDB

作為一個優秀的編程模型,MapReduce在大數據處理中有很大的優勢,而mongodb也支持這一編程模型,本文通過簡單的單詞計數示例論述在mongodb中如何使用MapReduce

注:作者使用的MongoDB為2.4.7版本。

單詞計數示例:

插入用于單詞計數的數據:

復制代碼 代碼如下:

db.data.insert({sentence:'Consider the following map-reduce operations on a collection orders that contains documents of the following prototype'})
db.data.insert({sentence:'I get the following error when I follow the code found in this link'})

 

圖個簡潔,數據中沒有包含標點符號。 在mongo shell寫入以下內容:

復制代碼 代碼如下:


var map = function() {
    split_result = this.sentence.split(" ");
    for (var i in split_result) {
        var word = split_result[i].replace(/(^\s*)|(\s*$)/g,"").toLowerCase(); //去除了單詞兩邊可能的空格,并將單詞轉換為小寫
        if (word.length != 0) {
            emit(word, 1);
        }
    }
}

 

var reduce = function(key, values) {
    return Array.sum(values);
}

db.data.mapReduce(
    map,
    reduce,
    {out:{inline:1}}
)

 


db.data.mapReduce的第一和第二個參數分別指定map和reduce,map的輸入是集合中的每個文檔,通過emit()生成鍵值對;而reduce則處理鍵的多個值。

mapReduce的第三個參數指明在內存中進行mapreduce并返回結果,運行結果如下:

復制代碼 代碼如下:

{
        "results" : [
                {
                        "_id" : "a",
                        "value" : 1
                },
                {
                        "_id" : "code",
                        "value" : 1
                },
                {
                        "_id" : "collection",
                        "value" : 1
                },
                {
                        "_id" : "consider",
                        "value" : 1
                },
                {
                        "_id" : "contains",
                        "value" : 1
                },
                {
                        "_id" : "documents",
                        "value" : 1
                },
                {
                        "_id" : "error",
                        "value" : 1
                },
                {
                        "_id" : "follow",
                        "value" : 1
                },
                {
                        "_id" : "following",
                        "value" : 3
                },
                {
                        "_id" : "found",
                        "value" : 1
                },
                {
                        "_id" : "get",
                        "value" : 1
                },
                {
                        "_id" : "i",
                        "value" : 2
                },
                {
                        "_id" : "in",
                        "value" : 1
                },
                {
                        "_id" : "link",
                        "value" : 1
                },
                {
                        "_id" : "map-reduce",
                        "value" : 1
                },
                {
                        "_id" : "of",
                        "value" : 1
                },
                {
                        "_id" : "on",
                        "value" : 1
                },
                {
                        "_id" : "operations",
                        "value" : 1
                },
                {
                        "_id" : "orders",
                        "value" : 1
                },
                {
                        "_id" : "prototype",
                        "value" : 1
                },
                {
                        "_id" : "that",
                        "value" : 1
                },
                {
                        "_id" : "the",
                        "value" : 4
                },
                {
                        "_id" : "this",
                        "value" : 1
                },
                {
                        "_id" : "when",
                        "value" : 1
                }
        ],
        "timeMillis" : 1,
        "counts" : {
                "input" : 2,
                "emit" : 30,
                "reduce" : 3,
                "output" : 24
        },
        "ok" : 1,
}

 


results的值是MapReduce的處理結果,timeMillis指明花費的時間;counts中input指明了輸入的文檔數,emit指明了在map中調用emit的次數,reduce指明了reduce的次數(本例中如果單次次數為1則不需要reduce),output指明了輸出的文檔數目。

可以看到,鍵_id不再是自動生成,而是被reduce中的key取代。當然,也可以將結果輸入到一個新的collection中,例如:

復制代碼 代碼如下:
db.data.mapReduce( map, reduce, {out:"mr_result"} )


之后查看mr_result集合中的內容即可:

復制代碼 代碼如下:
db.mr_result.find()


也可以使用db.runCommand執行mapreduce任務,這種方法為開發者提供了更多的選項,具體請見資料[1]。資料[2][3][4]提供了關于mapreduce更全面的內容。資料[5]給出了優化mapreduce任務的方法,資料[6]是資料[5]的一篇中文翻譯。

 

應該注意的是,資料[5]中提到使用ScopedThread()創建線程,筆者在GUI工具Robomongo的shell中運行 new ScopedThread()時候報錯: ReferenceError: ScopedThread is not defined (shell):1

不過在mongo shell中可以正常運行:

復制代碼 代碼如下:

> new ScopedThread()
Sat Mar 22 21:32:36.062 Error: need at least one argument at src/mongo/shell/utils.js:101

 

如果使用其他編程語言管理MongoDB,要用到線程時,應該使用該編程語言內置的線程。

關于mongodb實現的mapreduce,個人覺得如果支持多個MR任務平滑過渡就更好了。

延伸 · 閱讀

精彩推薦
  • MongoDB遷移sqlserver數據到MongoDb的方法

    遷移sqlserver數據到MongoDb的方法

    這篇文章主要介紹了遷移sqlserver數據到MongoDb的方法,本文給大家介紹的非常詳細,對大家的學習或工作具有一定的參考借鑒價值,需要的朋友可以參考下...

    聽楓xl9682021-01-03
  • MongoDB分布式文檔存儲數據庫之MongoDB分片集群的問題

    分布式文檔存儲數據庫之MongoDB分片集群的問題

    這篇文章主要介紹了分布式文檔存儲數據庫之MongoDB分片集群的問題,本文給大家介紹的非常詳細,對大家的學習或工作具有一定的參考借鑒價值,需要的朋...

    Linux-18743072020-12-20
  • MongoDBMongodb實現定時備份與恢復的方法教程

    Mongodb實現定時備份與恢復的方法教程

    這篇文章主要給大家介紹了Mongodb實現定時備份與恢復的方法教程,文中通過示例代碼介紹的非常詳細,對大家具有一定的參考學習價值,需要的朋友們下面...

    chenjsh364522020-05-13
  • MongoDBMongoDB中javascript腳本編程簡介和入門實例

    MongoDB中javascript腳本編程簡介和入門實例

    作為一個數據庫,MongoDB有一個很大的優勢——它使用js管理數據庫,所以也能夠使用js腳本進行復雜的管理——這種方法非常靈活 ...

    MongoDB教程網6982020-04-24
  • MongoDBMongoDB憑什么躋身數據庫排行前五

    MongoDB憑什么躋身數據庫排行前五

    MongoDB以比去年同期超出65.96分的成績繼續雄踞榜單前五,這個增幅在全榜僅次于PostgreSQL的77.99,而其相對于4月份的6.10分的增長也是僅次于微軟SQL Server排名...

    孫浩峰3892020-05-22
  • MongoDBMongoDB 內存使用情況分析

    MongoDB 內存使用情況分析

    都說 MongoDB 是個內存大戶,但是怎么知道它到底用了多少內存呢...

    MongoDB教程網10002020-09-29
  • MongoDBMongoDB安裝圖文教程

    MongoDB安裝圖文教程

    這篇文章主要為大家詳細介紹了MongoDB安裝圖文教程,分為兩大部分為大家介紹下載MongoDB和安裝MongoDB的方法,感興趣的小伙伴們可以參考一下 ...

    Yangyi.He6132020-05-07
  • MongoDBmongodb基本命令實例小結

    mongodb基本命令實例小結

    這篇文章主要介紹了mongodb基本命令,結合實例形式總結分析了MongoDB數據庫切換、查看、刪除、查詢等基本命令用法與操作注意事項,需要的朋友可以參考下...

    dawn-liu3652020-05-26
主站蜘蛛池模板: 超鹏97国语| 亚洲成人看片 | 国产区综合另类亚洲欧美 | 色婷婷久久综合中文久久一本` | 99视频免费在线观看 | 亚洲国产精品久久精品成人网站 | 国产chinese男男gaygay | 窝窝午夜理伦影院 | 毛片免| 青青青青青国产免费手机看视频 | 天堂资源wwww在线看 | 俄罗斯13一14处出血视频在线 | 亚洲欧美韩国日产综合在线 | 丰满艳妇亲伦视频 | 九九精品视频在线观看 | 国产精品亚洲专区在线播放 | 欧美整片完整片视频在线 | 无码毛片内射白浆视频 | 精品欧美一区二区三区四区 | 久久不卡免费视频 | 欠操h | 99久久精品国内 | 国产成人看片免费视频观看 | 91精品免费国产高清在线 | 韩国最新理论三级在线观看 | 91麻豆精品激情在线观看最新 | 国产精品久久久久久五月尺 | 欧美香蕉人人人人人人爱 | h版欧美大片免费观看 | 亚洲精品综合 | 四虎e234hcom | 办公室强行丝袜秘书啪啪 | 国产一区私人高清影院 | 免费黄色片网站 | 99久9在线视频 | 亚洲成年人在线观看 | 狠狠色狠狠色综合日日小蛇 | 国产专区亚洲欧美另类在线 | 欧美va免费大片 | 午夜福利在线观看6080 | 五月婷婷俺也去开心 |