傳統存儲管理存在的問題
前文 內存管理兩部曲之物理內存管理 提到:隨著用戶程序功能的增加,進程所需要的內存空間越來越大,進程空間很容易就突破了物理內存的實際大小,導致進程無法運行。
因此,為了解決內存不足的情況,緩和大程序與小內存之間的矛盾,擴充內存容量勢在必行。
可以從物理和邏輯兩方面來考慮擴充內存容量,物理擴容沒啥技術含量,需要我們研究的自然是如何從邏輯上擴充內存容量。
所謂邏輯擴充,就是說實際上物理內存的容量沒有發生改變,但是它能裝的東西卻變多了,使得用戶看來似乎有一個比實際內存大得多的內存。
對內存的邏輯擴充技術主要有三種:覆蓋技術、交換技術、以及虛擬內存(Virtual Memory),也稱為虛擬存儲器。事實上,這些邏輯擴充技術的核心理念都是一致的,研究的都是將哪個進程(或進程的某部分)暫時從內存移到外存(磁盤),以騰出內存空間供其他進程(或進程的某部分)占用。
覆蓋(Overlay)和交換(Swapping)這兩種存在于早期操作系統中的邏輯擴充技術現在已經成為歷史,這里就簡單介紹下:
前文說過,早期操作系統僅將內存空間分成兩塊:系統區(用于存放操作系統相關數據)和用戶區(用于存放用戶進程相關數據,內存中只能有一道用戶程序,用戶程序獨占整個用戶區空間,顯然,內存空間容不下某個用戶程序的現象常會發生。
覆蓋技術(Overlay)的基本思想就是:程序運行時并非任何時候都要訪問程序及數據的所有部分(尤其是大程序),因此可以把用戶空間(內存)分成一個固定區和一個或多個覆蓋區。
將程序經常活躍的部分放在固定區,其余部分按調用關系進行分段:首先將那些即將要用的段放在覆蓋區,其他段放在外存(磁盤),在需要調用前由用戶來安排特定的系統調用將這些放在外存中的段調入覆蓋區,替換覆蓋區中原有的段。
覆蓋技術的缺點顯而易見并且可以說是讓人無法接受的,那就是覆蓋技術是把解決內存空間不足的問題交給了用戶。操作系統僅僅為用戶提供將覆蓋段調入內存的系統調用,但是必須由用戶自己來說明覆蓋哪個段、調入哪個段。
合著我用個電腦還得算著怎么才能讓我的程序不崩潰?
OK,可以看出來,覆蓋技術其實是用在同一個作業/進程的不同段之間的,那么不同的作業/進程之間怎么辦呢?
這就是交換技術的適用場景。
交換技術(Swapping)的基本思想是:空閑進程/作業主要存儲在外存(磁盤)上,當其中某個進程/作業需要運行的時候,就將其從磁盤中完整地調入內存,使該進程運行一段時間,然后再把它返回磁盤。所以說當進程/作業不運行的時候它們是不會占用內存的。
事實上,覆蓋和交換技術分別解決了傳統存儲管理(物理內存管理)中存在的某個問題:
- 覆蓋技術打破了作業/進程必須一次性全部裝入內存后才能開始運行(一次性)的限制
- 交換技術打破了一旦作業被裝入內存,就會一直駐留在內存中,直至作業運行結束(駐留性)的限制
當然了,Anyway,這兩種邏輯擴充技術已經成為歷史,虛擬內存技術才是目前的主流,它綜合了這兩種古老技術的特點,單槍匹馬解決了傳統存儲管理中存在的這兩個問題。
什么是虛擬內存
有了上述交換技術的鋪墊,理解起虛擬內存來也就不那么陌生了。
當然了,在此之前,我一定要著重聲明的是,不要把虛擬內存當作一個實際存在的東西,它是一門技術!和交換技術覆蓋技術一樣是一門用來邏輯擴充內存空間的技術!
虛擬內存技術基于一個非常重要的原理,局部性原理:
1)時間局部性:如果執行了程序中的某條指令,那么不久后這條指令很有可能再次執行;如果某個數據被訪問過,不久之后該數據很可能再次被訪問。(因為程序中存在大量的循環)
2)空間局部性:一旦程序訪問了某個存儲單元,在不久之后,其附近的存儲單元也很有可能被訪問(因為很多數據在內存中都是連續存放的,并且程序的指令也是順序地在內存中存放的)
基于這個局部性原理,在一個程序裝入內存的時候,可以只將這個程序中很快會用到的部分裝入內存,暫時用不到的部分仍然留在外存(磁盤),并且程序可以正常執行;
而在程序執行過程中,當 CPU 所需要的信息不在內存中的時候,由操作系統負責將所需信息從外存(磁盤)調入內存,然后繼續執行程序;
如果調入內存的時候內存空間不夠,由操作系統負責將內存中暫時用不到的信息換出到外存。
以上,就是虛擬內存技術。
如何實現虛擬內存技術
可以看見,虛擬內存允許一個作業/進程分多次調入內存,那如果采用連續分配方式,不方便實現,所以虛擬內存技術的實現是建立在不連續分配管理方式之上的。
傳統的基本分頁管理、基本分段管理、基本段頁式管理和虛擬內存技術結合,分別稱為請求分頁管理(頁式虛存系統)、請求分段管理(段式虛存系統)、請求段頁式管理(段頁式虛存系統)。
這幾個概念非常容易混淆,其實很容易區分,記住這句話就 OK,摘自百度百科:
如果不具備請求調頁、頁面置換的功能,則稱為基本分頁管理(或稱為純分頁管理),它不具有支持實現虛擬內存的功能,它要求把每個作業(進程)全部裝入內存后方能運行。
請求分段存儲管理也差不多,它建立在分段存儲管理之上,但增加了請求調段、段置換功能。
請求調頁、頁面置換 和 請求調段、段置換概念差不多,這里以請求調頁和頁面置換為例解釋下。
- 在程序執行過程中,當所訪問的信息不在內存時,由操作系統負責將所需信息從外存(磁盤)調入內存,然后繼續執行程序(操作系統要提供請求調頁的功能, 將內存中缺失的頁面從磁盤調入內存 );
- 若內存空間不夠,由操作系統負責將內存中暫時用不到的信息換出到磁盤(操作系統要提供頁面置換的功能, 將暫時用不到的頁面換出磁盤)。
具體來說,在頁式虛存系統中,每當 CPU 要訪問的頁面不在內存時,就會產生一個缺頁中斷,然后由操作系統的缺頁中斷處理程序來處理中斷。此時,缺頁的這個進程/作業就會被阻塞住,放入阻塞隊列,調頁完成后再將其喚醒,放回就緒隊列。
- 如果內存中有空閑塊,則為該進程分配一個空閑塊,將所缺的頁面裝入這個塊中,并修改頁表中相應的頁表項。
- 如果內存中沒有空閑塊,則由頁面置換算法選擇一個頁面淘汰,若該頁面在內存期間被修改過,則要將其寫回外存,未修改過的頁面不用寫回外存。
可以看出來,這并不是一個簡單的過程,基本分頁管理中的簡單頁表已經無法勝任這樣的工作。
我們還是先來回顧下基本分頁管理的頁表,它只有頁號和塊號兩個字段:
請求分頁管理的頁表自然是會復雜不少的:
1)為了實現 “請求調頁” 功能,操作系統需要知道每個頁面是否已經調入內存,如果還沒調入,那么也需要知道該頁面在磁盤中存放的位置。
2)而當內存空間不夠時,要實現 “頁面置換” 功能,操作系統需要通過某些指標來決定到底換出哪個頁面,有的頁面沒有被修改過,就不用浪費時間寫回磁盤;有的頁面修改過,就需要將磁盤中的舊數據覆蓋。因此,操作系統也需要記錄各個頁面是否被修改的信息。
為此,請求分頁管理的頁表中添加了 4 個字段:
- 狀態位:該頁面是否已調入內存
- 訪問字段:可記錄該頁面最近被訪問過幾次,或記錄上次訪問該頁面的時間,供頁面置換算法換出頁面時參考
- 修改位:該頁面調入內存后是否被修改過
- 外存地址:該頁面在外存中的存放地址
頁面置換算法也是一個很重要的內容,本來應該在這篇文章里一起寫的,But 想到 “頁面置換” 問題不僅僅是在虛擬內存中存在,在計算機設計的其他領域也會同樣發生(比如多數計算機都會把最近使用過的 32 字節或者 64 字節存儲塊保存在一個或多個高速緩存中,當這些高速緩存存滿后就必須選取一些塊丟棄掉,以此來存入最新的使用過的存儲塊),所以決定后續單開一篇文章。
原文鏈接:https://mp.weixin.qq.com/s/XwG3mmdz1xqXffLIx6UHNw