探索PostgreSQL数据库的架构设计
发表时间: 2022-05-05 11:17
PG架构图
进程 | 说明 |
Postmaster 主进程 | 是整个数据库实例的总控进程，负责启动和关闭该数据库实例 |
Potgres （常驻进程） | 管理后端的常驻进程，也称为“postmaster”。其默认监测UNIXDomain Socket和TCP/IP（Windows等，一部分的平台只监测TCP/IP）的5432端口，等待来自前端的的连接处理。监测的端口号可以在PostgreSql的设置文件postgresql.conf中修改。 |
Postgres（子进程） | 子进程根据pg_hba.conf定义的安全策略来判断是否允许进行连接，根据策略，会拒绝某些特定的IP及网络，或者也可以只允许某些特定的用户或者对某些数据库进行连接。 Postgres会接受前端过来的查询，然后对数据库进行检索，最后把结果返回，有时也会对数据库进行更新。更新的数据同时还会记录在事务日志里面（PostgreSQL称为WAL日志），这个主要是当停电的时候，服务器宕机，重新启动的时候进行恢复处理的时候使用的。另外，把日志归档保存起来，可在需要进行恢复的时候使用。在PostgreSQL 9.0以后，通过把WAL日志传送其他的PostgreSQL，可以实时地进行数据库复制，这就是所谓的“数据库复制”功能。 |
PgArch进程 （归档） | WAL日志会被循环使用，PgArch在归档前会把WAL日志备份出来。通过PITR（Point in Time Recovery）技术，可以对数据库进行一次全量备份后，该技术将备份时间点之后的WAL日志通过归档进行备份，使用数据库的全量备份再加上后面产生的WAL日志，即可把数据库向前推到全量备份后的任意一个时间点。 |
PgStat进程 （统计数据收集） | 做数据的统计收集工作。主要用于查询优化时的代价估算，包括一个表和索引进行了多少次的插入、更新、删除操作，磁盘块读写的次数、行的读次数。pg_statistic中存储了PgStat收集的各类信息。 |
AutoVacuum进程 （自动清理） | 在PostgreSQL数据库中，对表进行DELETE操作后，旧的数据并不会立即被删除，并且，在更新数据时，也并不会在旧的数据上做更新，而是新生成一行数据。旧的数据只是被标识为删除状态，只有在没有并发的其他事务读到这些旧数据时，它们才会被清除。这个清除工作就由AutoVacuum进程完成。 |
BgWriter进程 （后台） | 页写到磁盘上的进程。主要是为了提高插入、更新和删除数据的性能。 |
Wal Writer进程 （预写式日志） | WAL（Write Ahead Log，预写式日志），在修改数据之前把修改操作记录到磁盘中，以便后面更新实时数据时就不需要数据持久化到文件中。 |
CheckPoint进程 （检查点） | 检查点是系统设置的事务序列点，设置检查点保证检查点前的日志信息刷到磁盘中。 |
Syslogger进程 （系统日志） | 将错误信息写到log日志中，需要在Postgres.conf中logging_collection设置为on，此时主进程才会启动Syslogger辅助进程。 |
postgresql的物理架构非常简单，它由共享内存、一系列后台进程和数据文件组成。
Shared Memory
共享内存是服务器服务器为数据库缓存和事务日志缓存预留的内存缓存空间。其中最重要的组成部分是Shared Buffer和WAL Buffer。
- Shared Buffer：是数据页缓冲区。Shared Buffer的目的是减少磁盘IO，大部分oltp工作负载都是随机IO,因此从磁盘获取非常慢。为了解决这个问题，postgre将数据缓存在RAM中，来提高性能。对于shared_buffers，没有一个特定的推荐值。但是一般来说，对于专用DB服务器，shared_buffers的值应该大约是系统总RAM的25%。
- WAL Buffer：是预写日志(wal)缓冲区。在备份和恢复的场景下，WAL Buffer和WAL文件是极其重要的。如果要调优的系统有大量并发连接，那么wal_buffers的值越高，性能越好。
PostgreSQL 进程类型
PostgreSQL有四种进程类型
- Postmaster (Daemon) Process（主后台驻留进程）
- Background Process（后台进程）
- Backend Process（后端进程）
- Client Process（客户端进程）
- Postmaster Process：PostgreSQL启动时第一个启动的进程。启动时，他会执行恢复、初始化共享内存的运行后台进程操作。运行期间，当有客户端发起链接请求时，它还负责创建后端进程。
如果通过pstree命令查看进程之间的关系，你会发现Postmaster进程是其他所有进程的父进程。
Background Process
PgArch进程 （归档） | WAL日志会被循环使用，PgArch在归档前会把WAL日志备份出来。通过PITR（Point in Time Recovery）技术，可以对数据库进行一次全量备份后，该技术将备份时间点之后的WAL日志通过归档进行备份，使用数据库的全量备份再加上后面产生的WAL日志，即可把数据库向前推到全量备份后的任意一个时间点。 |
PgStat进程 （统计数据收集） | 做数据的统计收集工作。主要用于查询优化时的代价估算，包括一个表和索引进行了多少次的插入、更新、删除操作，磁盘块读写的次数、行的读次数。pg_statistic中存储了PgStat收集的各类信息。 |
AutoVacuum进程 （自动清理） | 在PostgreSQL数据库中，对表进行DELETE操作后，旧的数据并不会立即被删除，并且，在更新数据时，也并不会在旧的数据上做更新，而是新生成一行数据。旧的数据只是被标识为删除状态，只有在没有并发的其他事务读到这些旧数据时，它们才会被清除。这个清除工作就由AutoVacuum进程完成。 |
BgWriter进程 （后台） | 页写到磁盘上的进程。主要是为了提高插入、更新和删除数据的性能。 |
Wal Writer进程 （预写式日志） | WAL（Write Ahead Log，预写式日志），在修改数据之前把修改操作记录到磁盘中，以便后面更新实时数据时就不需要数据持久化到文件中。 |
CheckPoint进程 （检查点） | 检查点是系统设置的事务序列点，设置检查点保证检查点前的日志信息刷到磁盘中。 |
Syslogger进程 （系统日志） | 需要在Postgres.conf中logging_collection设置为on，此时主进程才会启动Syslogger辅助进程。 |
Backend Process
最大后台链接数通过max_connections参数设定，默认值为100。后端进程用于处理前端用户请求并返回结果。查询运行时需要一些内存结构，就是所谓的本地内存（local memory）。本地内存涉及的主要参数有：
work_mem：用于排序、位图索引、哈希链接和合并链接操作。默认值为4MB。
maintenance_work_mem：用于vacuum和创建索引操作。默认值为64MB。
temp_buffers：用于临时表。默认值为8MB。
Client Process
客户端进程需要和后端进程配合使用，处理每一个客户链接。通常情况下，Postmaster进程会派生一个子进程用来处理用户连接。
数据库结构
数据库相关概念：
- PostgreSQL由一系列数据库组成。一套PostgreSQL程序称之为一个数据库群集。
- 当initdb()命令执行后，template0 , template1 , 和postgres数据库被创建。
- template0和template1数据库是创建用户数据库时使用的模版数据库，他们包含系统元数据表。
- initdb()刚完成后，template0和template1数据库中的表是一样的。但是template1数据库可以根据用户需要创建对象。
- 用户数据库是通过克隆template1数据库来创建的；
表空间相关概念：
- initdb()后马上创建pg_default和pg_global表空间。
- 建表时如果没有指定特定的表空间，表默认被存在pg_default表空间中。
- 用于管理整个数据库集群的表默认被存储在pg_global表空间中。
- pg_default表空间的物理位置为$PGDATA\base目录。
- pg_global表空间的物理位置为$PGDATA\global目录。
- 一个表空间可以被多个数据库同时使用。此时，每一个数据库都会在表空间路径下创建为一个新的子路径。
- 创建一个用户表空间会在$PGDATA\pg_tblspc目录下面创建一个软连接，连接到表空间制定的目录位置。
表相关概念：
- 每个表有三个数据文件。
- 一个文件用于存储数据，文件名是表的OID。
- 一个文件用于管理表的空闲空间，文件名是OID_fsm。
- 一个文件用于管理表的块是否可见，文件名是OID_vm。
- 索引没有_vm文件，只有OID和OID_fsm两个文件
鲁公网安备37020202000738号