# docker-postgres **Repository Path**: colovu/docker-postgres ## Basic Information - **Project Name**: docker-postgres - **Description**: Dockerfile for PostgreSQL. - **Primary Language**: Shell - **License**: MIT - **Default Branch**: master - **Homepage**: None - **GVP Project**: No ## Statistics - **Stars**: 2 - **Forks**: 0 - **Created**: 2020-05-08 - **Last Updated**: 2021-09-01 ## Categories & Tags **Categories**: Uncategorized **Tags**: None ## README # 简介 针对 [PostgreSQL](https://www.postgresql.org) 应用的 Docker 镜像，用于提供 PostgreSQL 服务。 详细信息可参照：[PostgreSQL10手册](http://www.postgres.cn/docs/10/)及[PostgreSQL12手册](http://www.postgres.cn/docs/12/) postgresql-logo **版本信息：** - 12.4、latest - 10 **镜像信息：** * 镜像地址： - 阿里云: registry.cn-shenzhen.aliyuncs.com/colovu/postgres:12.4 - DockerHub：colovu/postgres:12.4 * 依赖镜像：debian:buster > 后续相关命令行默认使用`[Docker Hub](https://hub.docker.com)`镜像服务器做说明 ## TL;DR Docker 快速启动命令： ```shell # 从 Docker Hub 服务器下载镜像并启动 $ docker run -d -e ALLOW_ANONYMOUS_LOGIN=yes --name imgname colovu/colovu/postgres:12.4 # 从 Aliyun 服务器下载镜像并启动 $ docker run -d -e ALLOW_ANONYMOUS_LOGIN=yes registry.cn-shenzhen.aliyuncs.com/colovu/postgres:12.4 ``` - `colovu/imgname:`：镜像名称及版本标签；标签不指定时默认使用`latest` Docker-Compose 快速启动命令： ```shell # 从 Gitee 下载 Compose 文件 $ curl -sSL -o https://gitee.com/colovu/docker-postgres/raw/master/docker-compose.yml # 从 Github 下载 Compose 文件 $ curl -sSL https://raw.githubusercontent.com/colovu/docker-postgres/master/docker-compose.yml $ docker-compose up -d ``` --- ## 默认对外声明 ### 端口 - 5432：PostgreSQL 业务客户端访问端口 ### 数据卷 镜像默认提供以下数据卷定义，默认数据分别存储在自动生成的应用名对应`postgres`子目录中： ```shell /var/log # 日志输出，应用日志输出，非数据日志输出 /srv/conf # 配置文件 /srv/data # 数据文件 /srv/datalog # 数据操作日志文件 ``` 如果需要持久化存储相应数据，需要在宿主机建立本地目录，并在使用镜像初始化容器时进行数据卷映射。 举例： - 使用宿主机`/host/dir/to/conf`存储配置文件 - 使用宿主机`/host/dir/to/data`存储数据文件 - 使用宿主机`/host/dir/to/log`存储日志文件 创建以上相应的宿主机目录后，容器启动命令中对应的数据卷映射参数类似如下： ```shell -v /host/dir/to/conf:/srv/conf -v /host/dir/to/data:/srv/data -v /host/dir/to/log:/var/log ``` 使用 Docker Compose 时配置文件类似如下： ```yaml services: postgresql: ... volumes: - /host/dir/to/conf:/srv/conf - /host/dir/to/data:/srv/data - /host/dir/to/log:/var/log ... ``` > 注意：应用需要使用的子目录会自动创建。 ## 使用说明 ### 启动容器 #### 通过默认方式启动 ```shell $ docker run --name some-postgres -e POSTGRES_PASSWORD=mysecretpassword -d colovu/postgres:12.4 ``` - 由容器执行默认的`entrypoint.sh`脚本，并生成默认的用户及数据文件 - `some-postgres`：容器名；命名后，可以直接使用该名字进行操作 - `mysecretpassword`：数据库密码 #### 通过`psql`命令方式启动 ```shell $ docker run -it --rm --network some-network colovu/postgres:12.4 psql -h some-postgres -U postgres psql (10.12.0) Type "help" for help. postgres=# SELECT 1; ?column? ---------- 1 (1 row) ``` #### 通过`docker-compose`方式启动 docker-cpmpose.yml 参考: ```yaml # 使用 postgres/example 作为用户名/密码 version: '3.1' services: db: image: colovu/postgres:12.4 restart: always environment: POSTGRES_PASSWORD: example adminer: image: adminer restart: always ports: - 8080:8080 ``` ## 镜像扩展使用 有多种方式可以扩展使用`postgres`镜像；这里仅列举部分，在实际使用时，不一定需要全部使用。 ### 环境变量 PostgreSQL镜像定义了许多环境变量，但并不是所有都必须使用的；如果需要定制化启动镜像，可以选择需要的环境变量进行设置。 > 注意：部分环境变量仅在初始化时起作用。针对已经存在数据目录的情况，环境变量会被跳过。 #### POSTGRES_PASSWORD 该环境变量需要在启动镜像时使用。该环境变量定义了使用PostgreSQL时，超级用户对应的密码，不应当为空。默认的超级用户由环境变量`POSTGRES_USER`定义. > 注意： > > - PostgreSQL镜像配置`localhost`为默认的`trust`认证方式，在同一容器内链接数据库时，可以不使用密码。但通过不同的`主机/容器`链接时，需要密码。 > - 在使用PostgreSQL镜像创建容器时，通过`initdb脚本`在启动时定义该变量对应的值。但该值不影响尽在`psql`方式启动时设置的`PGPASSWORD`环境变量。`PGPASSWORD`环境变量在设置时仅作为一个独立的环境变量设置。 #### POSTGRES_USER 该可选环境环境变量与`POSTGRES_PASSWORD`环境变量一起使用，以在使用镜像创建容器时设置用户名和密码。使用该变量时，会创建用户对应的超级权限及同名数据库。如果该变量没有设置，默认使用用户`postgres`。 > 注意：即使使用了该变量，在初始化时，系统信息仍然会提示`The files belonging to this database system will be owned by user "postgres"`；这是因为在容器初始化时，是以Linux系统用户（镜像中`/etc/passwd`定义）`postgres`来运行的守护进程。 #### POSTGRES_DB 该可选环境变量在使用镜像创建容器时，定义一个不与默认的`POSTGRES_USER`同名的数据库。如果在创建容器时没有使用该变量，则创建`POSTGRES_USER`对应的同名数据库。 #### POSTGRES_INITDB_ARGS 该可选环境变量在使用镜像创建容器时，传递参数给`postgres initdb`。传递的参数是一个使用空格分隔的字符串。例如增加页校验码：`-e POSTGRES_INITDB_ARGS="--data-checksums"`。 #### POSTGRES_INITDB_WALDIR 该可选环境变量在使用镜像创建容器时，定义一个单独的PostgreSQL事务处理日志存储目录。相关的日志默认存储在PostgreSQL的数据存储目录(`PGDATA`)子目录中。部分情况下，用户可以定义该存储目录在不同的存储设备上，以提升性能或稳定性。 #### POSTGRES_HOST_AUTH_METHOD 该可选环境变量在使用镜像创建容器时，定义至服务器的`auth-method`，该定义针对所有数据库、用户、链接地址起作用。未定义该参数时，使用默认值`md5`密码认证方式。 对于一个未初始化的数据库，可以修改`pg_hba.conf`文件，增加以下命令行进行预定义： ```shell echo "host all all all $POSTGRES_HOST_AUTH_METHOD" >> pg_hba.conf ``` 或： ```shell echo "host all all 0.0.0.0/0 $POSTGRES_HOST_AUTH_METHOD" >> pg_hba.conf ``` 详细说明可参考官方针对[`pg_hba.conf`](https://www.postgresql.org/docs/current/auth-pg-hba-conf.html)文档的介绍。 > 注意： > > - 不建议使用[`trust`](https://www.postgresql.org/docs/current/auth-trust.html)方式；该方式允许任意用户不使用密码连接数据库，即使部分用户设置了密码（如通过`POSTGRES_PASSWORD`）。更多介绍可参考[*Trust Authentication*](https://www.postgresql.org/docs/current/auth-trust.html)。 > - 如果设置了`POSTGRES_HOST_AUTH_METHOD`为`trust`，那么`POSTGRES_PASSWORD`就不在需要，也不再起作用了。 #### PGDATA 该可选环境变量在使用镜像创建容器时，定义一个单独的PostgreSQL数据库存储目录。未定义该参数时，使用默认的`/var/lib/postgresql/data`目录。 如果使用的数据卷为文件系统挂载点（GCE persistent disks）或远程目录（NFS mounts），这些目录无法被更改所属用户为`postgres`，针对这种情况建议配置子目录以存储数据。例如: ```shell $ docker run -d \ --name some-postgres \ -e POSTGRES_PASSWORD=mysecretpassword \ -e PGDATA=/var/lib/postgresql/data/pgdata \ -v /custom/mount:/var/lib/postgresql/data \ colovu/postgres:12.4 ``` 该变量并不是为Docker定义的数据卷，而是由`postgres`服务本身使用（参考 [PostgreSQL docs](https://www.postgresql.org/docs/11/app-postgres.html#id-1.9.5.14.7)），entrypoing.sh脚本只是传输该值。 ### 容器安全 作为敏感信息通过环境变量传输的可选替代方案，可以增加`_FILE`在部分环境变量末尾，以使容器的初始化脚本通过加载文件的方式，获取相关变量。例如，可以通过加载文件的方式加载密码： ```shell $ docker run --name some-postgres -e POSTGRES_PASSWORD_FILE=/run/secrets/postgres-passwd -d colovu/postgres:12.4 ``` 支持该方式的变量为： `POSTGRES_INITDB_ARGS`, `POSTGRES_PASSWORD`, `POSTGRES_USER`, `POSTGRES_DB`。 ### 初始化脚本 如果需要在使用当前镜像时，增加一些附加的初始化操作，可以将相应的`*.sql`、 `*.sql.gz` 或 `*.sh`脚本文件放置在`initdb.d`目录中（使用数据卷映射方式时，可先创建相应的目录）。在`entrypoint.sh`调用`initdb`创建默认的`postgres`用户及数据库时，会执行所有在`initdb.d`目录下的`*.sql`及可执行`*.sh`脚本，并source所有不可执行的`*.sh`脚本，执行完成后，启动postgres服务。 > 注意： > > - 在`initdb.d`目录下的脚本，仅在数据库存储目录为空时才会执行。如果部分脚本执行失败（会导致容器退出），则可能数据库目录已经存在；此时，重新启动容器，则不会继续执行`initdb.d`目录下的初始化脚本。 ### 数据库配置 有多种方式可以配置PostgreSQL服务器。详细信息可参考相关[docs](https://www.postgresql.org/docs/current/static/runtime-config.html)文档。部分常用配置项如下： - 使用自定义的配置文件。可将容器内的模板配置文件 `/usr/share/postgresql/postgresql.conf.sample`导出后修改，并重新映射以启动容器。 ```shell $ # 获取配置文件模板，存储为当前目录的my-postgres.conf $ docker run -i --rm colovu/postgres:12.4 cat /usr/share/postgresql/postgresql.conf.sample > my-postgres.conf $ # 个性化修改配置信息，至少增加`listen_addresses='*'`以确保其他容器可以访问 $ echo "listen_addresses='*'" >> my-postgres.conf $ # 使用定制后的配置文件启动容器 $ docker run -d --name some-postgres -v "$PWD/my-postgres.conf":/etc/postgresql/postgresql.conf -e POSTGRES_PASSWORD=mysecretpassword colovu/postgres:12.4 -c 'config_file=/etc/postgresql/postgresql.conf' ``` - 在命令行中设置相应参数。entrypoint.sh基本会将所有的启动时传递给Docker的配置参数传递给postgres服务进程。从官方 [docs](https://www.postgresql.org/docs/current/static/app-postgres.html)文档可以看出，所有在 `.conf`文件中的配置项都可以使用`-c`进行设置。 ```shell $ docker run -d --name some-postgres -e POSTGRES_PASSWORD=mysecretpassword colovu/postgres:12.4 -c 'shared_buffers=256MB' -c 'max_connections=200' ``` > 注意：配置文件至少修改`listen_addresses='*'`以确保其他容器可以访问 配置文件模板： - 基于Linux系列的镜像，默认配置文件在容器内为：`/usr/share/postgresql/postgresql.conf.sample` - 基于Alpine系统的镜像，默认配置文件在容器内为：`/usr/local/share/postgresql/postgresql.conf.sample` 导出模板文件： ```shell docker run -i --rm colovu/postgres:12.4 cat /usr/share/postgresql/postgresql.conf.sample > my-postgres.conf ``` - 使用的镜像：colovu/postgres:12.4 - 原始文件：/usr/share/postgresql/postgresql.conf.sample - 导出后文件：my-postgres.conf ### 个性化配置Locale PostgreSQL镜像使用的Ubuntu基础镜像默认的Locale配置为`en_US.UTF-8`，可以使用一个简单的 Dockerfile来设置为不同的Locale。比如设置为 `de_DE.utf8`: ```dockerfile FROM colovu/postgres:12.4 RUN localedef -i de_DE -c -f UTF-8 -A /usr/share/locale/locale.alias de_DE.UTF-8 ENV LANG de_DE.utf8 ``` 因为数据库仅在容器启动时创建，使用这种方式，可以在创建数据库前设置默认语言。 ### 扩展功能模块 使用默认的镜像时，安装扩展功能模块比较简单，可以参考文档 [github.com/postgis/docker-postgis](https://github.com/postgis/docker-postgis/blob/4eb614133d6aa87bfc5c952d24b7eb1f499e5c7c/12-3.0/Dockerfile) 。 使用基于Alpine的镜像时，没有在 [postgres-contrib](https://www.postgresql.org/docs/10/static/contrib.html) 列明的模块需要自己在镜像中编译，参见文档 [github.com/postgis/docker-postgis](https://github.com/postgis/docker-postgis/blob/4eb614133d6aa87bfc5c952d24b7eb1f499e5c7c/12-3.0/alpine/Dockerfile) 。 ## 变参 --user 说明 本镜像允许使用变参`--user`指定运行时的用户信息。但需要注意的是，`postgres`可以允许使用任何UID执行（只需要与数据库目录所属账户一致），`initdb`需要确保该UID实际存在（指定的用户需要在容器的`/etc/passwd`文件中存在）： ```shell $ docker run -it --rm --user www-data -e POSTGRES_PASSWORD=mysecretpassword colovu/postgres:12.4 The files belonging to this database system will be owned by user "www-data". ... $ docker run -it --rm --user 1000:1000 -e POSTGRES_PASSWORD=mysecretpassword colovu/postgres:12.4 initdb: could not look up effective user ID 1000: user does not exist ``` 针对类似问题，有三种解决方案： 1. 使用Linux系列镜像（Centos/Debian/Ubuntu/Redhat等），类似镜像允许使用 [ `nss_wrapper` 库](https://cwrap.org/nss_wrapper.html) 将系统`/etc/passwd`包含的用户伪装为容器内用户。但Alpine系列镜像不允许。 2. 如果宿主系统存在相应的用户，可以使用只读绑定将`/etc/passwd`文件映射为容器内对应文件： ```shell $ docker run -it --rm --user "$(id -u):$(id -g)" -v /etc/passwd:/etc/passwd:ro -e POSTGRES_PASSWORD=mysecretpassword colovu/postgres:12.4 The files belonging to this database system will be owned by user "jsmith". ... ``` 3. 单独初始化相应的数据库存储目录，并使用`chown`命令更改所属用户： ```shell $ docker volume create pgdata $ docker run -it --rm -v pgdata:/var/lib/postgresql/data -e POSTGRES_PASSWORD=mysecretpassword colovu/postgres:12.4 The files belonging to this database system will be owned by user "postgres". ... ( once it's finished initializing successfully and is waiting for connections, stop it ) $ docker run -it --rm -v pgdata:/var/lib/postgresql/data colovu/postgres:latest bash chown -R 1000:1000 /var/lib/postgresql/data $ docker run -it --rm --user 1000:1000 -v pgdata:/var/lib/postgresql/data colovu/postgres:12.4 LOG: database system was shut down at 2017-01-20 00:03:23 UTC LOG: MultiXact member wraparound protections are now enabled LOG: autovacuum launcher started LOG: database system is ready to accept connections ``` ## 使用预警 如果不存在数据库，容器启动时，会花费一定时间创建默认的数据库，在创建期间，容器不接受访问链接。如果使用`docker-compose`方式同时启动多个容器时，可能会产生问题。 容器默认的`/dev/shm` 大小为`64MB`。如果在容器运行过程中共享内存不足，可能会遇到错误``。针对这种情况，可以通过在启动容器时传递类似参数 [--shm-size=256MB ](https://docs.docker.com/engine/reference/run/#runtime-constraints-on-resources) 进行调整。 在Swarm模式中使用overlay网络模式时，针对长时间运行的IDLE链接，可能会遇到`IPVS connection timeouts`错误，可以参照以下信息解决： ["IPVS connection timeout issue" in the Docker Success Center](https://success.docker.com/article/ipvs-connection-timeout-issue) 。 ## 如何存储数据 **重要**：针对运行在Docker容器中的应用，有几种不同的数据存储方式。如： - 让Docker本身管理存储的数据（在容器内）。这是一种简单，也是默认的存储方式。这种方式存在的问题是：在宿主机上很难使用工具对存储的数据定位及处理。 - 在宿主机上创建数据存储目录（在容器外）。使用这种方式，可以比较容易的在宿主机上使用工具对数据文件进行分析及处理。这种方式存在的问题是：使用镜像的用户需要保证相关目录的存在和权限的正确性。 详细说明，可参考Docker的相关文档或讨论区。简单举例使用方式： 1. 在宿主机上合适位置创建数据存储目录，如：`/absolute/host/datadir`. 2. 启动容器： ```shell $ docker run --name -v /absolute/host/datadir:/container/volume/dir -d image-name:tag ``` 其中，`-v /absolute/host/datadir:/container/volume/dir`参数部分，会将宿主机的`/absolute/host/datadir`目录挂载为容器中的`/var/lib/postgresql/data`目录。 ## 安全 ### 用户及密码 PostgreSQL 镜像默认禁用了无密码访问功能，在实际生产环境中建议使用用户名及密码控制访问；如果为了测试需要，可以使用以下环境变量启用无密码访问功能： ```shell ALLOW_EMPTY_PASSWORD=yes ``` 通过配置环境变量`PG_PASSWORD`，可以启用基于密码的用户认证功能。命令行使用参考： ```shell $ docker run -d -e PG_USERNAME=postgres -e PG_PASSWORD=colovu colovu/postgres:12.4 ``` 使用 Docker-Compose 时，`docker-compose.yml`应包含类似如下配置： ```yaml services: postgres: ... environment: - PG_USERNAME=postgres - PG_PASSWORD=colovu ... ``` ### 容器安全 本容器默认使用`non-root`运行应用，以加强容器的安全性。在使用`non-root`用户运行容器时，相关的资源访问会受限；应用仅能操作镜像创建时指定的路径及数据。使用`non-root`方式的容器，更适合在生产环境中使用。 如果需要切换为`root`方式运行应用，可以在启动命令中增加`-u root`以指定运行的用户。 ## 注意事项 - 容器中应用的启动参数不能配置为后台运行，如果应用使用后台方式运行，则容器的启动命令会在运行后自动退出，从而导致容器退出 ## 更新记录 - 2021/1/1 (1.0): 初始版本 ## 参考 - [官方Docker](https://hub.docker.com/_/postgres?tab=description) - [官方介绍](http://www.postgresql.org/docs/9.5/interactive/app-initdb.html) - [官方中文手册](http://www.postgres.cn/v2/document) ---- 本文原始来源 [Endial Fang](https://github.com/colovu) @ [Github.com](https://github.com)