一区二区三区在线-一区二区三区亚洲视频-一区二区三区亚洲-一区二区三区午夜-一区二区三区四区在线视频-一区二区三区四区在线免费观看

服務器之家:專注于服務器技術及軟件下載分享
分類導航

Mysql|Sql Server|Oracle|Redis|MongoDB|PostgreSQL|Sqlite|DB2|mariadb|Access|數據庫技術|

服務器之家 - 數據庫 - mariadb - 我是如何用2個Unix命令給MariaDB SQL提速的

我是如何用2個Unix命令給MariaDB SQL提速的

2020-06-07 17:28薛命燈 mariadb

我試圖在 MariaDB(MySQL)上運行一個簡單的連接查詢,但性能簡直糟糕透了。下面將介紹我是如何通過兩個簡單的 Unix 命令,將查詢時間從 380 小時降到 12 小時以下的,需要的朋友可以參考下

譯者 | 薛命燈

我試圖在 MariaDB(MySQL)上運行一個簡單的連接查詢,但性能簡直糟糕透了。下面將介紹我是如何通過兩個簡單的 Unix 命令,將查詢時間從 380 小時降到 12 小時以下的。

下面就是這個查詢,它是 GHTorrent 分析的一部分,我使用了關系在線分析處理框架 simple-rolap 來實現這個分析。

?
1
2
3
4
5
6
select distinct
project_commits.project_id,
date_format(created_at, ‘%x%v1') as week_commit
from project_commits
left join commits
on project_commits.commit_id = commits.id;

兩個連接字段都有索引。不過,MariaDB 是通過對 project_commits 進行全表掃描和對 commits 進行索引查找來實現連接的。這可以從 EXPLAIN 的輸出看出來。

我是如何用2個Unix命令給MariaDB SQL提速的

這兩個表中的記錄比較多:project_commits 有 50 億行記錄,commits 有 8.47 億行記錄。服務器的內存比較小,只有 16GB。所以很可能是因為內存放不下那么大的索引,需要讀取磁盤,因此嚴重影響到了性能。從 pmonitor 對臨時表的分析結果來看,這個查詢已經運行半天了,還需要 373 個小時才能運行完。

/home/mysql/ghtorrent/project_commits#P#p0.MYD 6.68% ETA 373:38:11

在我看來,這個太過分了,因為排序合并連接(sort-merge join)所需的 I/O 時間應該要比預計的執行時間要低一個數量級。我在 dba.stackexchange.com 上尋求幫助,有人給出了一些建議讓我嘗試,但我沒有信心它們能夠解決我的問題。我嘗試了第一個建議,結果并不樂觀。嘗試每個建議都需要至少半天的時間,后來,我決定采用一種我認為可以有效解決這個問題的辦法。

我將這兩個表導出到文件中,使用 Unix 的 join 命令將它們連接在一起,將結果傳給 uniq,把重復的行移除掉,然后將結果導回到數據庫。導入過程(包括重建索引)從 20:41 開始,到第二天的 9:53 結束。以下是具體操作步驟。

1. 將數據庫表導出為文本文件

我先導出連接兩個表需要用到的字段,并按照連接字段進行排序。為了確保排序順序與 Unix 工具的排序順序兼容,我將字段轉換為字符類型。

我將以下 SQL 查詢的輸出保存到文件 commits_week.txt 中。

?
1
2
3
4
select cast(id as char) as cid,
date_format(created_at, ‘%x%v1') as week_commit
from commits
order by cid;

然后將以下 SQL 查詢的輸出保存到 project_commits.txt 文件中:

?
1
2
3
select cast(commit_id as char) as cid, project_id
from project_commits
order by cid;

這樣就生成了以下兩個文件。

-rw-r–r– 1 dds dds 15G Aug 4 21:09 commits_week.txt

-rw-r–r– 1 dds dds 93G Aug 5 00:36 project_commits.txt

為了避免內存不足,我使用 –quick 選項來運行 mysql 客戶端,否則客戶端會在輸出結果之前嘗試收集所有的記錄。

2. 使用 Unix 命令行工具處理文件

接下來,我使用 Unix 的 join 命令來連接這兩個文本文件。這個命令線性掃描兩個文件,并將第一個字段相同的記錄組合在一起。由于文件中的記錄已經排好序,因此整個過程完成得很快,幾乎就是 I/O 的速度。我還將連接的結果傳給 uniq,用以消除重復記錄,這就解決了原始查詢中的 distinct 問題。同樣,在已經排好序的輸出結果上,可以通過簡單的線性掃描完成去重。

這是我運行的 Unix 命令。

join commits_week.txt project_commits.txt | uniq >joined_commits.txt

經過一個小時的處理,我得到了想要的結果。

-rw-r–r– 1 dds dds 133G Aug 5 01:40 joined_commits.txt

3. 將文本文件導回數據庫

最后,我將文本文件導回數據庫。

?
1
2
3
4
5
6
create table half_life.week_commits_all (
project_id INT(11) not null,
week_commit CHAR(7)) ENGINE=MyISAM;
load data local infile ‘joined_commits.txt'
into table half_life.week_commits_all
fields terminated by ‘ ‘;

結語

理想情況下,MariaDB 應該支持排序合并連接,并且在預測到備用策略的運行時間過長時,優化器應該使用排序合并連接。但在此之前,使用 70 年代設計的 Unix 命令就可以解決這個問題。

原文鏈接:http://codebay.cn/post/9747.html

延伸 · 閱讀

精彩推薦
主站蜘蛛池模板: 女同性互吃奶乳免费视频 | 国产日韩欧美成人 | 九九九九视频 | 日韩免费高清完整版 | 秋葵丝瓜茄子草莓榴莲樱桃 | 美女脱了内裤让男生玩屁股 | 久久久精品日本一区二区三区 | 国产一区二区免费在线 | 阿v天堂2020| 丝袜性爱| kisssis无减删全集在线观看 | 特黄特级高清免费视频毛片 | 国产精品va在线观看手机版 | 亚洲国产精品ⅴa在线观看 亚洲国产高清一区二区三区 | 免费网站看v片在线香蕉 | 99精品久久久久久 | 18hdxxxx日本护士 | 女人爽到喷水的视频免费看 | 18无删减羞羞网站动漫 | 亚洲色图.com | 四虎永久在线精品免费影视 | 视频大全在线观看免费 | 黄www片| 小寡妇好紧进去了好大看视频 | 四虎影库紧急大通知 | 日本特黄一级午夜剧场毛片 | 欧美色影视| 亚洲AV国产精品无码精 | 欧美国产日韩在线 | 毛片大全免费看 | 国产v在线播放 | 欧美日韩国产一区二区三区在线观看 | 91素人约啪 | 国产精品中文 | 91制片厂制作果冻传媒八夷 | 日本免费的一级绿象 | 我年轻漂亮的继坶2中字在线播放 | 九九热这里只有精品视频免费 | 亚洲 无码 制服 日韩 | 色综合综合 | oneday日本在线观看完整版 |