PG：checkpoint是什么？該如何寫數(shù)據(jù)？

2021-03-05 09:13

PG：checkpoint是什么

Checkpoint是PG中的核心概念。然而會(huì)有用戶對(duì)此比較陌生，不知道如何調(diào)優(yōu)。本文解釋checkpoint及如何調(diào)優(yōu)，希望對(duì)數(shù)據(jù)庫內(nèi)核理解有所幫助。

PG如何寫數(shù)據(jù)

詳細(xì)討論checkpoint前，理解PG是如何write數(shù)據(jù)的非常重要，看下面的圖：

重要的假設(shè)是crash會(huì)發(fā)生在任何時(shí)間。為什么和這個(gè)相關(guān)？需要確認(rèn)數(shù)據(jù)庫永遠(yuǎn)不會(huì)被破壞。我們不能直接將數(shù)據(jù)寫入數(shù)據(jù)文件。為甚？假設(shè)要將“1234”寫入數(shù)據(jù)文件，如果在“12”后面崩潰，結(jié)果將是表中某個(gè)位置的一個(gè)元組被破壞，索引條目可能丟失等。我們必須不惜一切代價(jià)防止這種情況發(fā)生。

因此需要更加復(fù)雜的數(shù)據(jù)寫入方法。PG首先將數(shù)據(jù)寫入WAL，WAL就像一個(gè)包含二進(jìn)制變化的順序磁帶。如果添加一行，WAL可能包含一條記錄，用于記錄數(shù)據(jù)文件哪些地方改動(dòng)了，可能包含一組索引記錄改動(dòng)的指令、可能需要寫入一個(gè)額外的頁等，僅包含一系列變化。

數(shù)據(jù)一旦寫入WAL，PG將會(huì)對(duì)共享緩存區(qū)中的數(shù)據(jù)頁進(jìn)行更改，注意數(shù)據(jù)文件中仍沒有數(shù)據(jù)。現(xiàn)在有了WAL條目及共享緩沖區(qū)的臟頁。如果一個(gè)讀取請(qǐng)求來了，可從緩存中找到，而不用到磁盤上讀取。

某個(gè)時(shí)刻，內(nèi)存中的臟頁會(huì)由后臺(tái)寫入進(jìn)程寫入磁盤。這里最重要的一點(diǎn)是，數(shù)據(jù)可能會(huì)被亂序?qū)懭耄@個(gè)是沒有問題的。如果用戶想讀取數(shù)據(jù)，PG先從共享緩沖區(qū)中獲取。因此臟頁的寫入順序與此無關(guān)。甚至可以晚一點(diǎn)寫入，以增加一次sync的量。

刪除WAL

WAL不能無限寫入，需要回收空間。這就是CHECKPOINT需要干的活之一。

Checkpoint的目的就是確保臟頁刷寫到磁盤，然后該臟頁對(duì)應(yīng)的WAL及之前的WAL就可以刪除回收了。PG的方法啟動(dòng)一個(gè)checkpoint進(jìn)程，將bgwriter進(jìn)程沒有刷寫的刷寫到磁盤。但是這個(gè)過程并沒有盡可能快的刷，我們需要使IO平穩(wěn)，保證穩(wěn)定的響應(yīng)時(shí)間。

控制checkpoint平穩(wěn)的參數(shù)為：

test＝＃ SHOW checkpoint＿completion＿target；checkpoint＿completion＿target－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－0．5（1 row）

到下個(gè)checkpoint開始前完成刷寫一半。真實(shí)情況下對(duì)于大多數(shù)負(fù)載0．7－0．9就可以了，但可以隨意設(shè)置。注意PG14中這個(gè)參數(shù)就會(huì)取消了，硬編碼值為0．9。下一個(gè)問題是：什么時(shí)候進(jìn)行checkpoint呢？參數(shù)為：

test＝＃ SHOW checkpoint＿timeout；checkpoint＿timeout－－－－－－－－－－－－－－－－－－－－5min（1 row）test＝＃ SHOW max＿wal＿size；max＿wal＿size－－－－－－－－－－－－－－1GB（1 row）

如果系統(tǒng)的負(fù)載比較低，在一段時(shí)間后進(jìn)行checkpoint。默認(rèn)值是5分鐘，但建議增加這個(gè)值以提高寫入性能。注意，請(qǐng)隨意修改這個(gè)值，僅會(huì)影響性能，不會(huì)以任何方式傷害數(shù)據(jù)庫，除了性能沒有數(shù)據(jù)會(huì)有風(fēng)險(xiǎn)。

max＿wal＿size有點(diǎn)棘手，這個(gè)是個(gè)軟限制，不是硬限制。因此WAL會(huì)超過這個(gè)值。這個(gè)值為了告訴PG可以堆積多少WAL，從而挑戰(zhàn)checkpoint。現(xiàn)實(shí)中，提高這個(gè)值會(huì)消耗更多空間，但是會(huì)提高性能。

為啥不將max＿wal＿size設(shè)置成無限大呢？首先很明顯，這樣就需要更多空間。另外，一旦數(shù)據(jù)庫崩潰，PG就需要從上個(gè)checkpoint處開始回放，這樣回放的時(shí)間就非常長(zhǎng)了。如果檢查點(diǎn)的距離增加，性能確實(shí)會(huì)提升，但是所做的和想要達(dá)到的效果有限，從某種意義上說，在這個(gè)問題上投入更多存儲(chǔ)空間不會(huì)改變?nèi)魏问虑椤?/p>

后臺(tái)寫進(jìn)程會(huì)將臟頁刷寫到磁盤，然而許多情況下，更多工作是由checkpoint進(jìn)程本身完成，因此關(guān)注checkpoint比后臺(tái)寫進(jìn)程有意義。

min＿wal＿size：神秘參數(shù)

min＿wal＿size 和max＿wal＿size有什么區(qū)別呢？如果PG空閑，會(huì)逐漸將WAL量減少到min＿wal＿size，這是個(gè)緩慢的過程，不是立即一蹴而就。假設(shè)本周內(nèi)有高寫負(fù)載，但是在周末會(huì)空閑。禮拜五下午，WAL量會(huì)很多，但是周末，會(huì)漸漸減少。當(dāng)?shù)街芤缓螅琖AL量又會(huì)增加。

因此最后將min＿wal＿size的值設(shè)置的不要太小。