<div dir="ltr">Hi.<div><br></div><div>Newbie here trying to TEST 3-node pgpool cluster.</div><div><br></div><div>>< show pool_nodes;<br></div><div>"node_id"    "hostname"    "port"        <b>"status"     "pg_status"</b> "lb_weight"   "role"        "pg_role"     "select_cnt"  "load_balance_node"   "replication_delay"   "replication_state"   "replication_sync_state"      "last_status_change"<br>"0"   "node1"       "5432"        <b>"up" "up"</b>        "0.200000"    "primary"     "primary"     "3"   "false"       "0"                   "2023-09-18 10:30:04"<br>"1"  "node2"       "5432"        "up"  "up"  "0.400000"    "standby"     "standby"     "0"   "false"       "0"                   "2023-09-18 10:30:04"<br>"2"  "node3"       "5432"        "up"  "up"  "0.400000"    "standby"     "standby"     "1"   "true"        "0"                   "2023-09-18 10:30:04"<br></div><div><br></div><div><br></div><div><b>stop node1 postgresql service</b></div><div>>service postgresql stop<br></div><div>></div><div>>show pool_nodes;</div><div>"node_id"  "hostname"    "port"        <b>"status"     "pg_status"</b> "lb_weight"   "role"        "pg_role"     "select_cnt"  "load_balance_node"   "replication_delay"   "replication_state"   "replication_sync_state"      "last_status_change"<br>"0"   "node1"       "5432"        <b>"down"       "down"</b>      "0.200000"    "primary"     "unknown"     "4"   "false"       "0"                   "2023-09-18 10:32:44"<br>"1"  "node2"       "5432"        "up"  "up"  "0.400000"    "standby"     "standby"     "4"   "true"        "0"                   "2023-09-18 10:30:04"<br>"2"  "node3"       "5432"        "up"  "up"  "0.400000"    "standby"     "standby"     "1"   "false"       "0"                   "2023-09-18 10:30:04"<br></div><div><br></div><div><br></div><div><b>start node1 postgresql service</b><br></div><div>>service postgresql start</div><div>></div><div>>show pool_nodes;</div><div>"node_id"        "hostname"    "port"        <b>"status"     "pg_status"</b> "lb_weight"   "role"        "pg_role"     "select_cnt"  "load_balance_node"   "replication_delay"   "replication_state"   "replication_sync_state"      "last_status_change"<br>"0"   "node1"       "5432"        <b>"down"       "up"</b>        "0.200000"    "primary"     "primary"     "4"   "false"       "0"                   "2023-09-18 10:32:44"<br>"1"  "node2"       "5432"        "up"  "up"  "0.400000"    "standby"     "standby"     "5"   "true"        "0"                   "2023-09-18 10:30:04"<br>"2"  "node3"       "5432"        "up"  "up"  "0.400000"    "standby"     "standby"     "1"   "false"       "0"                   "2023-09-18 10:30:04"<br></div><div><br></div><div>What's the difference between status and pg_status? Why status is still down although node1 is already working/started? Should I edit my own failover/failback scripts?<br></div><div><br></div><div>Same not-going-back behaviour happens with node2 and 3 if service is stopped and then started.</div><div><br></div><div><br></div><div><b>Some logs:</b></div><div>pgpool 10:29:51.84 <br>pgpool 10:29:51.84 Welcome to the Bitnami pgpool container<br>pgpool 10:29:51.85 Subscribe to project updates by watching <a href="https://github.com/bitnami/containers">https://github.com/bitnami/containers</a><br>pgpool 10:29:51.85 Submit issues and feature requests at <a href="https://github.com/bitnami/containers/issues">https://github.com/bitnami/containers/issues</a><br>pgpool 10:29:51.85 <br>pgpool 10:29:51.86 INFO  ==> ** Starting Pgpool-II setup **<br>pgpool 10:29:51.88 INFO  ==> Validating settings in PGPOOL_* env vars...<br>pgpool 10:29:51.91 INFO  ==> Initializing Pgpool-II...<br>pgpool 10:29:51.91 INFO  ==> Generating pg_hba.conf file...<br>pgpool 10:29:51.92 INFO  ==> Generating pgpool.conf file...<br>pgpool 10:29:52.16 INFO  ==> Custom configuration '/pgpool.conf' detected!. Adding it to the configuration file.<br>pgpool 10:29:52.17 INFO  ==> Generating password file for local authentication...<br>pgpool 10:29:52.18 INFO  ==> Generating password file for pgpool admin user...<br>pgpool 10:29:52.19 INFO  ==> ** Pgpool-II setup finished! **<br><br>pgpool 10:29:52.21 INFO  ==> ** Starting Pgpool-II **<br>2023-09-18 10:29:52.241: main pid 14: LOG:  Backend status file /opt/bitnami/pgpool/logs/pgpool_status does not exist<br>2023-09-18 10:29:52.241: main pid 14: LOG:  health_check_stats_shared_memory_size: requested size: 12288<br>2023-09-18 10:29:52.241: main pid 14: LOG:  memory cache initialized<br>2023-09-18 10:29:52.241: main pid 14: DETAIL:  memcache blocks :64<br>2023-09-18 10:29:52.241: main pid 14: LOG:  allocating (134563952) bytes of shared memory segment<br>2023-09-18 10:29:52.241: main pid 14: LOG:  allocating shared memory segment of size: 134563952 <br>2023-09-18 10:29:52.345: main pid 14: LOG:  health_check_stats_shared_memory_size: requested size: 12288<br>2023-09-18 10:29:52.345: main pid 14: LOG:  health_check_stats_shared_memory_size: requested size: 12288<br>2023-09-18 10:29:52.345: main pid 14: LOG:  memory cache initialized<br>2023-09-18 10:29:52.345: main pid 14: DETAIL:  memcache blocks :64<br>2023-09-18 10:29:52.347: main pid 14: LOG:  pool_discard_oid_maps: discarded memqcache oid maps<br>2023-09-18 10:29:52.361: main pid 14: LOG:  unix_socket_directories[0]: /opt/bitnami/pgpool/tmp/.s.PGSQL.5432<br>2023-09-18 10:29:52.361: main pid 14: LOG:  listen address[0]: *<br>2023-09-18 10:29:52.363: main pid 14: LOG:  Setting up socket for <a href="http://0.0.0.0:5432">0.0.0.0:5432</a><br>2023-09-18 10:29:52.363: main pid 14: LOG:  Setting up socket for :::5432<br>2023-09-18 10:29:52.365: main pid 14: LOG:  perhaps failed to create INET domain socket<br>2023-09-18 10:29:52.365: main pid 14: DETAIL:  socket(::) failed: "Address family not supported by protocol"<br>2023-09-18 10:29:52.367: main pid 14: LOG:  find_primary_node_repeatedly: waiting for finding a primary node<br>2023-09-18 10:29:52.368: main pid 14: LOG:  listen address[0]: localhost<br>2023-09-18 10:29:52.370: main pid 14: LOG:  Setting up socket for <a href="http://127.0.0.1:9898">127.0.0.1:9898</a><br>2023-09-18 10:29:52.370: main pid 14: LOG:  Setting up socket for ::1:9898<br>2023-09-18 10:29:52.372: main pid 14: LOG:  perhaps failed to create INET domain socket<br>2023-09-18 10:29:52.372: main pid 14: DETAIL:  socket(::1) failed: "Address family not supported by protocol"<br>2023-09-18 10:29:52.373: pcp_main pid 163: LOG:  PCP process: 163 started<br>2023-09-18 10:29:52.373: health_check pid 165: LOG:  process started<br>2023-09-18 10:29:52.374: health_check pid 167: LOG:  process started<br>2023-09-18 10:29:52.374: health_check pid 166: LOG:  process started<br>2023-09-18 10:29:52.376: sr_check_worker pid 164: LOG:  process started<br>2023-09-18 10:29:52.381: main pid 14: LOG:  pgpool-II successfully started. version 4.4.3 (nurikoboshi)<br>2023-09-18 10:29:52.381: main pid 14: LOG:  node status[0]: 0<br>2023-09-18 10:29:52.381: main pid 14: LOG:  node status[1]: 0<br>2023-09-18 10:29:52.381: main pid 14: LOG:  node status[2]: 0<br>2023-09-18 10:32:44.537: pgAdmin 4 - CONN:1549034 pid 161: LOG:  reading and processing packets<br>2023-09-18 10:32:44.537: pgAdmin 4 - CONN:1549034 pid 161: DETAIL:  postmaster on DB node 0 was shutdown by administrative command<br>2023-09-18 10:32:44.537: pgAdmin 4 - CONN:1549034 pid 161: LOG:  received degenerate backend request for node_id: 0 from pid [161]<br>2023-09-18 10:32:44.537: pgAdmin 4 - CONN:1549034 pid 161: LOG:  signal_user1_to_parent_with_reason(0)<br>2023-09-18 10:32:44.537: main pid 14: LOG:  Pgpool-II parent process received SIGUSR1<br>2023-09-18 10:32:44.537: main pid 14: LOG:  Pgpool-II parent process has received failover request<br>2023-09-18 10:32:44.537: main pid 14: LOG:  === Starting degeneration. shutdown host node1(5432) ===<br>>>> Failover - that will initialize new primary node search!<br>2023-09-18 10:32:44.551: main pid 14: LOG:  Restart all children<br>2023-09-18 10:32:44.551: main pid 14: LOG:  execute command: echo ">>> Failover - that will initialize new primary node search!"<br>2023-09-18 10:32:44.558: main pid 14: LOG:  find_primary_node_repeatedly: waiting for finding a primary node<br>2023-09-18 10:32:44.558: main pid 14: LOG:  failover: set new primary node: 0<br>2023-09-18 10:32:44.558: main pid 14: LOG:  failover: set new main node: 1<br>2023-09-18 10:32:44.561: sr_check_worker pid 164: LOG:  worker process received restart request<br>2023-09-18 10:32:44.561: main pid 14: LOG:  === Failover done. shutdown host node1(5432) ===<br>2023-09-18 10:32:45.561: pcp_main pid 163: LOG:  restart request received in pcp child process<br>2023-09-18 10:32:45.563: main pid 14: LOG:  PCP child 163 exits with status 0 in failover()<br>2023-09-18 10:32:45.564: main pid 14: LOG:  fork a new PCP child pid 179 in failover()<br>2023-09-18 10:32:45.564: main pid 14: LOG:  reaper handler<br>2023-09-18 10:32:45.565: pcp_main pid 179: LOG:  PCP process: 179 started<br>2023-09-18 10:32:45.565: main pid 14: LOG:  reaper handler: exiting normally<br>2023-09-18 10:32:45.565: sr_check_worker pid 180: LOG:  process started<br>2023-09-18 10:37:38.471: pgAdmin 4 - CONN:1549034 pid 175: LOG:  reading and processing packets<br>2023-09-18 10:37:38.471: pgAdmin 4 - CONN:1549034 pid 175: DETAIL:  postmaster on DB node 1 was shutdown by administrative command<br>2023-09-18 10:37:38.471: pgAdmin 4 - CONN:1549034 pid 175: LOG:  received degenerate backend request for node_id: 1 from pid [175]<br>2023-09-18 10:37:38.471: pgAdmin 4 - CONN:1549034 pid 175: LOG:  signal_user1_to_parent_with_reason(0)<br>2023-09-18 10:37:38.471: main pid 14: LOG:  Pgpool-II parent process received SIGUSR1<br>2023-09-18 10:37:38.471: main pid 14: LOG:  Pgpool-II parent process has received failover request<br></div><div><br></div><div><br></div><div><b>Configuration (grep -v "#")</b></div><div><br></div><div>backend_clustering_mode = 'streaming_replication'<br>listen_addresses = '*'<br>port = '5432'<br>unix_socket_directories = '/opt/bitnami/pgpool/tmp'<br>pcp_socket_dir = '/opt/bitnami/pgpool/tmp'<br>enable_pool_hba = 'on'<br>pool_passwd = 'pool_passwd'<br>authentication_timeout = '30'<br>allow_clear_text_frontend_auth = 'off'<br>num_init_children = '10'<br>max_pool = '1'<br>log_connections = 'off'<br>log_hostname = 'off'<br>log_per_node_statement = 'off'<br>pid_file_name = '/opt/bitnami/pgpool/tmp/pgpool.pid'<br>logdir = '/opt/bitnami/pgpool/logs'<br>load_balance_mode = 'on'<br>disable_load_balance_on_write = 'transaction'<br>statement_level_load_balance = 'on'<br>sr_check_period = '30'<br>sr_check_user = 'replica'<br>sr_check_database = 'postgres'<br>health_check_period = '30'<br>health_check_timeout = '10'<br>health_check_user = 'replica'<br>health_check_max_retries = '5'<br>health_check_retry_delay = '5'<br>connect_timeout = '10000'<br>failover_command = 'echo ">>> Failover - that will initialize new primary node search!"'<br>failover_on_backend_error = 'off'<br>search_primary_node_timeout = '0'<br>auto_failback = 'on'<br>hostname0 = ''<br>backend_hostname0 = 'node1'<br>backend_port0 = 5432<br>backend_weight0 = 2<br>backend_data_directory0 = 'primary'<br>backend_flag0 = 'ALWAYS_PRIMARY'<br>backend_application_name0 = 'node1'<br>backend_hostname1 = 'node2'<br>backend_port1 = 5432<br>backend_weight1 = 4<br>backend_data_directory1 = 'replica'<br>backend_flag1 = 'ALLOW_TO_FAILOVER'<br>backend_application_name1 = 'node2'<br>backend_hostname2 = 'node3'<br>backend_port2 = 5432<br>backend_weight2 = 4<br>backend_data_directory2 = 'replica'<br>backend_flag2 = 'ALLOW_TO_FAILOVER'<br>backend_application_name2 = 'node3'<br></div><div><br></div><div><br></div></div>