2023年5月31日 星期三

PostgreSQL 指令 pg_dump 與 pg_restore 使用方法

PostgreSQL 有許多種資料匯出與備份的方式,其中一種就是透過 pg_dump 進行 file dump 的方式,在較小的資料庫可以作為一種備分與升級手段。

在使用上一般可以搭配 pg_dumpall 來做到快速的備份還原以及升級。

1. 透過 pg_dumpall 匯出 Schema 後還原至目標

pg_dumpall -s -f $(date +%Y%m%d"_pg_dumpall.sql")
psql -f 20230531_pg_dumpall.sql

2. 使用 pg_dump 多執行緒匯出以及 pg_restore 還原資料

/usr/edb/as14/bin/pg_dump --data-only -Fd -j 4  --disable-trigger -f ~/test.sql --dbname=test
/usr/edb/as14/bin/pg_restore --data-only -Fd -j 4  --disable-trigger --dbname=test  ~/test.sql


PostgreSQL 刪除帳號 - 相依物件處理方法

在資料庫管理上,會因為一些人員異動或規劃設計調整有刪除帳號的需求,為了避免有資料庫遺失,我們需要將該帳號所擁有的物件皆轉給其他帳號再安全的刪除,避免透過 CASCADE 方式以免發生誤刪狀況。


在 PostgreSQL 刪除帳號指令如下

DROP USER user_a ;

DROP USER user_a  CASCADE;  -- 除非有把握不然不建議,可能會誤刪除


當有遇到相依問題時,則會報錯如下,如果沒有顯示物件名稱代表可能有多個資料庫要去其他資料庫檢查。

edb=# create user user_a;
CREATE ROLE
Time: 26.105 ms
edb=# grant USAGE on SCHEMA monitor TO user_a ;
GRANT
Time: 26.957 ms
edb=# drop user user_a;
ERROR:  role "user_a" cannot be dropped because some objects depend on it
DETAIL:  privileges for schema monitor
Time: 0.792 ms
edb=#


主要會有兩種相依性卡到:

1. 物件擁有者

2. 物件的使用權限 (GRANT 給該帳號對個別物件存取的權限,如上面示範)


除了透過上面顯示錯誤訊息一個個處理以外,可以透過以下兩個指令快速處理相依性問題

-- 將該帳號擁有的物件擁有者改成另一個使用者
REASSIGN OWNED BY user_A TO user_B ;
-- 移除該帳號擁有的權限
DROP OWNED BY user_A ; 

要注意執行的順序 !!!

先執行 REASSIGN 把物件都轉移後,才執行刪除,此處 DROP OWNED BY 僅會移除權限,不會移除物件。

在所有資料庫執行完以上兩個指令後,就可以正常的把該帳號移除了~


* 以上主要是針對一般使用者,如果有做群組管理 ( GRANT user_a TO user_b) ,不會有相依性問題影響刪除,但是群組關係會直接被移除掉,可能要在注意,雖然一般可能不太會有這種情境

2023年5月22日 星期一

PostgreSQL 找出造成卡住 Blocked 狀況的 Leading SQL

PG 在發生 Locks 時,在一些較複雜的系統常常會看到 Blocked Chain 的狀況,B 使用者被 A 使用者查詢卡住,造成 C 使用者又被 B 使用者卡住,這種時候,雖然會查到很多 Locked 的狀況,但不需要全部砍掉,通常只要將源頭砍掉就會解開了,因此基於原本的 Blocked SQL 做加工。

Blocking 代表卡住造成別人無法執行查詢的 SQL,但這個 SQL 也有可能被前面的 SQL 卡住,而 Bloced 代表被卡住的 SQL,主要透過該 Session 的 Wait Event 來做判斷,如果為 Lock 就代表他有被別人卡住,如果是其他 Client Read 等等就代表正在順利執行或是 idle in transaction (通常是這個),則可以判斷是卡住的源頭。


查詢 SQL

SELECT
  COALESCE(blockingl.relation::regclASs::text,blockingl.locktype) AS locked_item,
  blockinga.pid AS blocking_pid,
  blockinga.query AS blocking_query, 
  blockingl.mode AS blocking_mode,
  CASE 
    WHEN blockinga.wait_event_type = 'Lock' THEN 'False'
    ELSE 'True'
  END  AS leading_lock,
  blockeda.pid AS blocked_pid, 
  blockeda.query AS blocked_query,
  blockedl.mode AS blocked_mode,
  now() - blockeda.query_start AS blocked_time
FROM pg_catalog.pg_locks blockedl
JOIN pg_stat_activity blockeda ON blockedl.pid = blockeda.pid
JOIN pg_catalog.pg_locks blockingl ON(
  ( (blockingl.transactionid=blockedl.transactionid) OR
    (blockingl.relation=blockedl.relation AND blockingl.locktype=blockedl.locktype)
  ) AND blockedl.pid != blockingl.pid)
JOIN pg_stat_activity blockinga ON blockingl.pid = blockinga.pid
WHERE NOT blockedl.granted
order by leading_lock desc;
查詢結果
   locked_item    | blocking_pid |       blocking_query        |    blocking_mode    | leading_lock | blocked_pid |       blocked_query        |    blocked_mode     |  blocked_time
------------------+--------------+-----------------------------+---------------------+--------------+-------------+----------------------------+---------------------+-----------------
 pgbench_accounts |       548294 | truncate pgbench_accounts ; | ShareLock           | True         |      548398 | truncate pgbench_accounts; | AccessExclusiveLock | 00:04:29.498179
 pgbench_accounts |       548294 | truncate pgbench_accounts ; | ShareLock           | True         |      548484 | truncate pgbench_accounts; | AccessExclusiveLock | 00:04:23.333006
 pgbench_accounts |       548294 | truncate pgbench_accounts ; | AccessExclusiveLock | True         |      548398 | truncate pgbench_accounts; | AccessExclusiveLock | 00:04:29.498179
 pgbench_accounts |       548294 | truncate pgbench_accounts ; | AccessExclusiveLock | True         |      548484 | truncate pgbench_accounts; | AccessExclusiveLock | 00:04:23.333006
 pgbench_accounts |       548398 | truncate pgbench_accounts;  | AccessExclusiveLock | False        |      548484 | truncate pgbench_accounts; | AccessExclusiveLock | 00:04:23.333006
 pgbench_accounts |       548484 | truncate pgbench_accounts;  | AccessExclusiveLock | False        |      548398 | truncate pgbench_accounts; | AccessExclusiveLock | 00:04:29.498179

參考資料:

https://ravenonhill.blogspot.com/2019/08/pgsql-who-blocks-my-query.html