<div dir="ltr"><div>I have a three node pgpool system running watchdog.  </div>pgpool-II version 4.5.0 (hotooriboshi)<div>Postgres version 16</div><div>the three servers are running Rocky 9</div><div>I am using streaming backup for replication. </div><div><br></div><div>I used this <a href="https://www.pgpool.net/docs/45/en/html/example-cluster.html">https://www.pgpool.net/docs/45/en/html/example-cluster.html</a> tutorial to setup my three servers.   It is working really well.  I am just having one issue. </div><div><br></div><div>If I shut down on of the standby servers, or simply shutdown pgpool and postgres, when I restart postgres it is not getting itself back up to date.  </div><div><br></div><div>node_id |  hostname  | port | status | pg_status | lb_weight |  role   | pg_role | select_cnt | load_balance_node | replication_delay | replication_state | replication_sync_state | last_status_change  <br><br></div><div>---------+------------+------+--------+-----------+-----------+---------+---------+------------+-------------------+-------------------+-------------------+------------------------+---------------------<br> 0       | 10.30.0.40 | 5432 | up     | up        | 0.333333  | primary | primary | 93681      | false             | 0                 |                   |                        | 2024-01-23 12:24:03<br> 1       | 10.30.0.41 | 5432 | up     | up        | 0.333333  | standby | standby | 35143      | true              | 0                 |                   |                        | 2024-01-23 12:24:03<br> 2       | 10.30.0.42 | 5432 | down   | down      | 0.333333  | standby | unknown | 2005       | false             | 0                 |                   |                        | 2024-01-24 10:45:00<br>(3 rows)<br><div><br></div><div>I then restart postgres and pgpool</div><div><br></div><div>node_id |  hostname  | port | status | pg_status | lb_weight |  role   | pg_role | select_cnt | load_balance_node | replication_delay | replication_state | replication_sync_state | last_status_change  <br>---------+------------+------+--------+-----------+-----------+---------+---------+------------+-------------------+-------------------+-------------------+------------------------+---------------------<br> 0       | 10.30.0.40 | 5432 | up     | up        | 0.333333  | primary | primary | 93709      | false             | 0                 |                   |                        | 2024-01-23 12:24:03<br> 1       | 10.30.0.41 | 5432 | up     | up        | 0.333333  | standby | standby | 35143      | true              | 0                 |                   |                        | 2024-01-23 12:24:03<br> 2       | 10.30.0.42 | 5432 | down   | up        | 0.333333  | standby | standby | 2005       | false             | 0                 |                   |                        | 2024-01-24 10:45:00<br>(3 rows)<br></div><div><br></div><div><br></div><div>Here is watchdog info after restarting</div><div><a href="http://10.30.0.40:9999">10.30.0.40:9999</a> Linux pg0 10.30.0.40 9999 9000 4 LEADER 0 MEMBER<br><a href="http://10.30.0.41:9999">10.30.0.41:9999</a> Linux pg1 10.30.0.41 9999 9000 7 STANDBY 0 MEMBER<br><a href="http://10.30.0.42:9999">10.30.0.42:9999</a> Linux pg2 10.30.0.42 9999 9000 7 STANDBY 0 MEMBER<br></div><div><br></div><div>it looks like it is restoring log files but it never finishes... and nothing really happening on the system. </div><div><br></div><div><br></div><div>postgres   89859       1  0 10:49 ?        00:00:00 /usr/pgsql-16/bin/postgres -D /var/lib/pgsql/16/data<br>postgres   89860   89859  0 10:49 ?        00:00:00 postgres: logger <br>postgres   89861   89859  0 10:49 ?        00:00:00 postgres: checkpointer <br>postgres   89862   89859  0 10:49 ?        00:00:00 postgres: background writer <br>postgres   89863   89859  0 10:49 ?        00:00:00 postgres: startup recovering 0000000300000008000000A7<br></div><div><br></div><div><br></div><div>To fix i have to shut off postgres and run:</div><div>pcp_recovery_node -h 10.30.0.45 -p 9898 -U pgpool -n 2 -W<br></div><div><br></div><div>This gets everything going again but takes a long time of course because it is doing a full restore.   I have used streaming backup in the past and normally it just starts back up where it left off after restarting the standby server.</div><div><br></div><div>What am I doing wrong?</div><div><br></div><div>THanks</div><div>Mark</div><div><br></div><div><br></div><div><br></div><div><br></div><div><br></div><div><br></div><div><br></div><span class="gmail_signature_prefix">-- </span><br><div dir="ltr" class="gmail_signature" data-smartmail="gmail_signature"><div dir="ltr"><font color="#222222" size="4"><b>Mark Gordon</b></font><div style="color:rgb(34,34,34)">Phoenix, AZ</div><div style="color:rgb(34,34,34)"><a href="mailto:mark@ordertech.com" style="color:rgb(17,85,204)" target="_blank">mark@ordertech.com</a></div><div style="color:rgb(34,34,34)">480.285.1403</div><div style="color:rgb(34,34,34)"><b><br></b></div><div style="color:rgb(34,34,34)"><img src="https://www.ordertech.com/content/light-logo.png" alt="OrderTech Logo"></div></div></div></div></div>