PostgreSQL数据库备份与还原
作者：互联网
数据库备份还原是运维中的常见工作。按备份的文件类型分为物理备份（文件系统级别的备份）和逻辑备份（sql文件或特定格式的导出文件）；按备份过程中是否停止数据服务可分为冷备份（停止数据库服务）和热备份（备份过程中数据库服务正常运行）；按备份是否完整可分为全量备份和增量备份（备份是上一次全量备份后数据库改变的内容）。
Postgresql的常见备份方式有以下三种：
1. 文件系统级别的冷备份。
此方式需关闭数据库，然后拷贝数据文件的完整目录。恢复数据库时，将数据目录复制到原来的位置。 2. SQL转储。
用到的工具是pg_dump和pg_dumpall。
此方式可以在数据库正在使用的时候进行完整一致的备份，并不阻塞其它用户对数据库的访问。它会产生一个脚本文件，里面包含备份开始时，已创建的各种数据库对象的SQL语句和每个表中的数据。可以使用数据库提供的工具pg_dumpall和pg_dump来进行备份。pg_dump只备份数据库集群中的某个数据库的数据，它不会导出角色和表空间相关的信息，因为这些信息是整个数据库集群共用的，不属于某个单独的数据库。pg_dumpall，对集簇中的每个数据库调用pg_dump来完成该工作,还会还转储对所有数据库公用的全局对象（pg_dump不保存这些对象）。 目前这包括适数据库用户和组、表空间以及适合所有数据库的访问权限等属性。
样例，对dbname数据库进行备份：
pg_dump –h 127.0.0.1 -p 5432 -U postgres -c -C –f dbname.sql dbname
对全部pg数据库进行备份：
pg_dumpall –h 127.0.0.1 –p 5432 -U postgres –c -C –f db_bak.sql
恢复数据库：
psql –h 127.0.0.1 -p 5432 -U postgres –f db_bak.sql
3. 连续归档
这种方式的策略是把一个文件系统级别的全量备份和WAL(预写式日志)级别的增量备份结合起来。当需要恢复时，先恢复文件系统级别的备份，然后重放备份的WAL文件，把系统恢复到之前的某个状态。这种备份有显著的优点：
不需要一个完美的一致的文件系统备份作为开始点。备份中的任何内部不一致性将通过日志重放来修正。 可以结合一个无穷长的WAL文件序列用于重放，可以通过简单地归档WAL文件来达到连续备份。 不需要重放WAL项一直到最后。可以在任何点停止重放，并使数据库恢复到当时的一致状态。 可以连续地将一系列WAL文件输送给另一台已经载入了相同基础备份文件的机器，得到一个实时的热备份系统。
如何进行连续归档呢？
下面的实例中，操作系统为windows 10，Postgresql的版本为9.6。
首先，需要修改postgresql.conf文件的几个参数修改如下：
wal_level = ‘replica’
archive_mode = ‘on’
archive_command = 'copy /y "%p" "D:\\archive\\%f"'
archive_command执行时，%p会被要被归档的文件路径所替代，而%f只会被文件名所替代。如果你需要在命令中嵌入一个真正的%字符，可以使用%%。 “D:\\archive\\”替换为归档日志的存放路径，要确保归档的目录是存在的。
之后需要重启数据库使配置生效。
接下来需制作一个非排他的基础备份。Postgresql提供了排他备份和非排他备份两种备份方式，推荐使用非排他备份。
1. 作为一个具有运行 pg_start_backup 权利的用户连接到服务器（不在乎是哪个数据库）并且发出命令：
Select pg_start_backup('backup_label', false, false);
2. 对数据库进行一次文件系统级别的备份。即将postgresql的安装目录下的data目录及其内容复制到其他位置。
3. 在同一个连接中，发出命令：
select * from pg_stop_backup(false);
这个命令代表结束一次非排他的备份。
现在来看基于时间点的恢复。
假如你的数据库出现了故障，需要恢复到之前的某个时刻的一致的状态，就需要进行基于时间点的恢复。
其过程是：
1. 如果服务器仍在运行，停止它。
2. 如果你具有足够的空间，将整个集簇数据目录和表空间复制到一个临时位置。注意最好是拷贝而不是移动。如果你没有足够的空间，你至少要保存集簇的pg_xlog子目录的内容，因为它可能包含在系统垮掉之前还未被归档的日志。
3. 移除data 目录及其所有子文件和子目录。
4. 从文件系统备份中恢复数据库文件。注意它们要使用正确的用户恢复并且使用正确的权限。如果你在使用表空间，你应该验证pg_tblspc/中的符号链接被正确地恢复。
5.现在已经从备份中恢复了整个数据目录，接下来，你需要部分或全部删除数据目录中的下列文件，如果它们存在：
(1) postmaster.pid；（必须）
(2) pg_xlog中的文件；（必须）
(3) pgsql_tmp开头的临时文件；（可选）
(4) postgresql.auto.conf.tmp；（可选）
(5) pg_replslot目录中的文件；（可选）
(6) pg_stat_tmp目录中的文件。（可选）
6. 如果你有在第2步中保存的未归档WAL段文件，把它们拷贝到pg_xlog/中或WAL日志的归档目录中。
在集簇数据目录中创建一个恢复命令文件recovery.conf。如果你想恢复到最近的一致状态，在recovery.conf写入如下两行：
restore_command = 'copy /y D:\\archive \\%f\\%p'
recovery_target_timeline = 'latest'
其中，restore_command的内容表示将归档日志文件夹中的内容拷贝到pg_xlog，其参数的含义与上文archive_command的参数含义完全相同；recovery_target_timeline = 'latest' 表示恢复到最近的时间点。
7. 如果要阻止普通用户在成功恢复之前连接，请修改pg_hba.conf。
8. 启动服务器。服务器将会进入到恢复模式并且进而根据需要读取归档WAL文件。恢复可能因为一个外部错误而被终止，可以简单地重新启动服务器，这样它将继续恢复。恢复过程结束后，服务器将把recovery.conf重命名为recovery.done（为了阻止以后意外地重新进入恢复模式），并且开始正常数据库操作。
9. 检查数据库的内容来确保你已经恢复到了期望的状态。如果没有，返回到第1步。如果一切正常，通过恢复pg_hba.conf为正常来允许用户连接。
这样就完成了一次文件系统级别的全量备份，并实现了WAL文件级别的增量备份。
附：pg_start_backup() 和 pg_stop_backup()做了什么？
1. pg_start_backup()
pg_start_backup() 的函数原型如下：
pg_start_backup(label text [, fast boolean [, exclusive boolean ]])
其中label是用来唯一标识这次备份操作的任意字符串，fast 表示是否立即执行强制的检查点，exclusive 表示该备份是否是一个排他备份。
使用该函数时，推荐将exclusive设置为false，即非排他方式备份。
执行下面的命令：
Select pg_start_backup('backup_label', false, false);
这条命令会产生三个动作：
1. 在缓冲区中创建两个变量：label_file和tblspc_map_file。前者包含WAL的起始位置、检查点的起始位置、备份方法、备份模式、备份开始时间和备份标签的名称（本例中，名称为“backup_label”）等信息；后者包含 “pg_tblspc/”中表空间符号链接的信息，如果它们存在。
2. 强制发生一次检查点。将检查点开始前提交的事务对数据库的修改刷新到磁盘。
3. 置写日志标志为：XLogCtl->Insert.forcePageWrites = true。把这个标志设置为true后，如果在备份期间时有其他事务修改数据库，那么系统会把被修改的数据页在修改前的完整页面都记录到WAL中，而不仅仅是记录页面中的变化的部分。
为什么要将完整的页面记录到WAL中呢？
原因是在备份过程中，其他事务修改数据库，可能会造成备份后的数据存在新旧数据混合的情况，甚至同一数据页面也会出现这种情况。假如WAL日志中仅仅记录变化的那部分的内容，就无法将数据库恢复到上次备份结束时刻的状态。所以要将修改后的完整页面写入WAL中，以保证数据库恢复后的一致性。
2. pg_stop_backup()
pg_stop_backup()的函数原型如下：
pg_stop_backup([, exclusive boolean ]);
exclusive 表示该备份是否是一个排他备份。
如果采用非排他方式备份，执行：
Select pg_stop_backup(false);
此命令会产生如下动作：
1. label_file和tblspc_map_file的内容会包含在该函数返回的结果中，并且应该被写入到该备份的一些文件中（这些内容不在数据目录中）。
2. 在事务日志归档区里创建一个备份历史文件（.hostory）。这个历史文件包含 pg_start_backup的标签、备份的起始与终止事务日志位置以及备份的起始和终止时间。返回值是备份的终止事务日志位置（同样也可以被忽略）。 在记录结束位置之后，当前事务日志插入点被自动地推进到下一个事务日志文件，这样结束的事务日志文件可以立即被归档来结束备份。
Postgresql的常见备份方式有以下三种：
1. 文件系统级别的冷备份。
此方式需关闭数据库，然后拷贝数据文件的完整目录。恢复数据库时，将数据目录复制到原来的位置。 2. SQL转储。
用到的工具是pg_dump和pg_dumpall。
此方式可以在数据库正在使用的时候进行完整一致的备份，并不阻塞其它用户对数据库的访问。它会产生一个脚本文件，里面包含备份开始时，已创建的各种数据库对象的SQL语句和每个表中的数据。可以使用数据库提供的工具pg_dumpall和pg_dump来进行备份。pg_dump只备份数据库集群中的某个数据库的数据，它不会导出角色和表空间相关的信息，因为这些信息是整个数据库集群共用的，不属于某个单独的数据库。pg_dumpall，对集簇中的每个数据库调用pg_dump来完成该工作,还会还转储对所有数据库公用的全局对象（pg_dump不保存这些对象）。 目前这包括适数据库用户和组、表空间以及适合所有数据库的访问权限等属性。
样例，对dbname数据库进行备份：
pg_dump –h 127.0.0.1 -p 5432 -U postgres -c -C –f dbname.sql dbname
对全部pg数据库进行备份：
pg_dumpall –h 127.0.0.1 –p 5432 -U postgres –c -C –f db_bak.sql
恢复数据库：
psql –h 127.0.0.1 -p 5432 -U postgres –f db_bak.sql
3. 连续归档
这种方式的策略是把一个文件系统级别的全量备份和WAL(预写式日志)级别的增量备份结合起来。当需要恢复时，先恢复文件系统级别的备份，然后重放备份的WAL文件，把系统恢复到之前的某个状态。这种备份有显著的优点：
不需要一个完美的一致的文件系统备份作为开始点。备份中的任何内部不一致性将通过日志重放来修正。 可以结合一个无穷长的WAL文件序列用于重放，可以通过简单地归档WAL文件来达到连续备份。 不需要重放WAL项一直到最后。可以在任何点停止重放，并使数据库恢复到当时的一致状态。 可以连续地将一系列WAL文件输送给另一台已经载入了相同基础备份文件的机器，得到一个实时的热备份系统。
如何进行连续归档呢？
下面的实例中，操作系统为windows 10，Postgresql的版本为9.6。
首先，需要修改postgresql.conf文件的几个参数修改如下：
wal_level = ‘replica’
archive_mode = ‘on’
archive_command = 'copy /y "%p" "D:\\archive\\%f"'
archive_command执行时，%p会被要被归档的文件路径所替代，而%f只会被文件名所替代。如果你需要在命令中嵌入一个真正的%字符，可以使用%%。 “D:\\archive\\”替换为归档日志的存放路径，要确保归档的目录是存在的。
之后需要重启数据库使配置生效。
接下来需制作一个非排他的基础备份。Postgresql提供了排他备份和非排他备份两种备份方式，推荐使用非排他备份。
1. 作为一个具有运行 pg_start_backup 权利的用户连接到服务器（不在乎是哪个数据库）并且发出命令：
Select pg_start_backup('backup_label', false, false);
2. 对数据库进行一次文件系统级别的备份。即将postgresql的安装目录下的data目录及其内容复制到其他位置。
3. 在同一个连接中，发出命令：
select * from pg_stop_backup(false);
这个命令代表结束一次非排他的备份。
现在来看基于时间点的恢复。
假如你的数据库出现了故障，需要恢复到之前的某个时刻的一致的状态，就需要进行基于时间点的恢复。
其过程是：
1. 如果服务器仍在运行，停止它。
2. 如果你具有足够的空间，将整个集簇数据目录和表空间复制到一个临时位置。注意最好是拷贝而不是移动。如果你没有足够的空间，你至少要保存集簇的pg_xlog子目录的内容，因为它可能包含在系统垮掉之前还未被归档的日志。
3. 移除data 目录及其所有子文件和子目录。
4. 从文件系统备份中恢复数据库文件。注意它们要使用正确的用户恢复并且使用正确的权限。如果你在使用表空间，你应该验证pg_tblspc/中的符号链接被正确地恢复。
5.现在已经从备份中恢复了整个数据目录，接下来，你需要部分或全部删除数据目录中的下列文件，如果它们存在：
(1) postmaster.pid；（必须）
(2) pg_xlog中的文件；（必须）
(3) pgsql_tmp开头的临时文件；（可选）
(4) postgresql.auto.conf.tmp；（可选）
(5) pg_replslot目录中的文件；（可选）
(6) pg_stat_tmp目录中的文件。（可选）
6. 如果你有在第2步中保存的未归档WAL段文件，把它们拷贝到pg_xlog/中或WAL日志的归档目录中。
在集簇数据目录中创建一个恢复命令文件recovery.conf。如果你想恢复到最近的一致状态，在recovery.conf写入如下两行：
restore_command = 'copy /y D:\\archive \\%f\\%p'
recovery_target_timeline = 'latest'
其中，restore_command的内容表示将归档日志文件夹中的内容拷贝到pg_xlog，其参数的含义与上文archive_command的参数含义完全相同；recovery_target_timeline = 'latest' 表示恢复到最近的时间点。
7. 如果要阻止普通用户在成功恢复之前连接，请修改pg_hba.conf。
8. 启动服务器。服务器将会进入到恢复模式并且进而根据需要读取归档WAL文件。恢复可能因为一个外部错误而被终止，可以简单地重新启动服务器，这样它将继续恢复。恢复过程结束后，服务器将把recovery.conf重命名为recovery.done（为了阻止以后意外地重新进入恢复模式），并且开始正常数据库操作。
9. 检查数据库的内容来确保你已经恢复到了期望的状态。如果没有，返回到第1步。如果一切正常，通过恢复pg_hba.conf为正常来允许用户连接。
这样就完成了一次文件系统级别的全量备份，并实现了WAL文件级别的增量备份。
附：pg_start_backup() 和 pg_stop_backup()做了什么？
1. pg_start_backup()
pg_start_backup() 的函数原型如下：
pg_start_backup(label text [, fast boolean [, exclusive boolean ]])
其中label是用来唯一标识这次备份操作的任意字符串，fast 表示是否立即执行强制的检查点，exclusive 表示该备份是否是一个排他备份。
使用该函数时，推荐将exclusive设置为false，即非排他方式备份。
执行下面的命令：
Select pg_start_backup('backup_label', false, false);
这条命令会产生三个动作：
1. 在缓冲区中创建两个变量：label_file和tblspc_map_file。前者包含WAL的起始位置、检查点的起始位置、备份方法、备份模式、备份开始时间和备份标签的名称（本例中，名称为“backup_label”）等信息；后者包含 “pg_tblspc/”中表空间符号链接的信息，如果它们存在。
2. 强制发生一次检查点。将检查点开始前提交的事务对数据库的修改刷新到磁盘。
3. 置写日志标志为：XLogCtl->Insert.forcePageWrites = true。把这个标志设置为true后，如果在备份期间时有其他事务修改数据库，那么系统会把被修改的数据页在修改前的完整页面都记录到WAL中，而不仅仅是记录页面中的变化的部分。
为什么要将完整的页面记录到WAL中呢？
原因是在备份过程中，其他事务修改数据库，可能会造成备份后的数据存在新旧数据混合的情况，甚至同一数据页面也会出现这种情况。假如WAL日志中仅仅记录变化的那部分的内容，就无法将数据库恢复到上次备份结束时刻的状态。所以要将修改后的完整页面写入WAL中，以保证数据库恢复后的一致性。
2. pg_stop_backup()
pg_stop_backup()的函数原型如下：
pg_stop_backup([, exclusive boolean ]);
exclusive 表示该备份是否是一个排他备份。
如果采用非排他方式备份，执行：
Select pg_stop_backup(false);
此命令会产生如下动作：
1. label_file和tblspc_map_file的内容会包含在该函数返回的结果中，并且应该被写入到该备份的一些文件中（这些内容不在数据目录中）。
2. 在事务日志归档区里创建一个备份历史文件（.hostory）。这个历史文件包含 pg_start_backup的标签、备份的起始与终止事务日志位置以及备份的起始和终止时间。返回值是备份的终止事务日志位置（同样也可以被忽略）。 在记录结束位置之后，当前事务日志插入点被自动地推进到下一个事务日志文件，这样结束的事务日志文件可以立即被归档来结束备份。
标签：文件,WAL,PostgreSQL,备份,pg,backup,数据库 来源： https://www.cnblogs.com/workhelper/p/16209438.html