<div dir="ltr">Thanks Tatsuo, we've got the cluster running with `enable_shared_relcache = off` now and will report back if we have any more issues (we'll also take a look at updating our conf for 4.3, thanks for pointing that out)</div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Thu, Dec 8, 2022 at 5:23 PM Tatsuo Ishii <<a href="mailto:ishii@sraoss.co.jp">ishii@sraoss.co.jp</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">> Hello PgPool Team,<br>
> <br>
> We've been experiencing frequent segfaults from PgPool-II 4.3.2, sometimes<br>
> as frequently as every 30min, when the cluster is under significant (though<br>
> normal for us) load. We've been using pgpool without issue for a while, and<br>
> these issues began occurring after we launched a cluster of all new<br>
> machines with no changes on the pgpool machines, and updated shared_buffers<br>
> (from "8000MB" to "14000MB" on machines with 32GB RAM) and decreased<br>
> swappiness on the PSQL nodes (vm.swappiness=1 to vm.swappiness=0 in<br>
> sysctl.conf). Following the segfaults the cluster appears to continue<br>
> behaving normally, though it's still a bit early for us to know for sure.<br>
> <br>
> Details follow including core dump backtraces from gdb for two segfaults<br>
> we've observed recently (one in memcpy, another in<br>
> pool_find_item_on_shmem_cache), including `bt` and `bt full`. Please let us<br>
> know if there is any more information we can provide.<br>
> <br>
> Thanks,<br>
> Jordan<br>
> <br>
> Environment details (ubuntu-focal-20.04-amd64):<br>
> <br>
>    - Cluster contains 3 PgPool nodes and 3 PSQL nodes, all on AWS EC2<br>
>    instances, pgpool.conf attached. Segfaults occurred on the leader at the<br>
>    time.<br>
>    - $ uname -a<br>
>    Linux ip-172-30-64-83 5.4.0-1038-aws #40-Ubuntu SMP Fri Feb 5 23:50:40<br>
>    UTC 2021 x86_64 x86_64 x86_64 GNU/Linux<br>
>    - # SHOW POOL_VERSION;<br>
>         pool_version<br>
>    -----------------------<br>
>     4.3.2 (tamahomeboshi)<br>
>    (1 row)<br>
>    - In both cases the log line for segfault is like:<br>
>    pgpool[45529]: segfault at 7ff9cfa1094e ip 000056215c2d53fe sp<br>
>    00007ffe3e7db160 error 6 in pgpool[56215c28c000+d9000]<br>
>    - Backtraces attached:<br>
>    - segfault_memcpy_202212208_1500<br>
>       - segfault_pool_find_item_on_shmem_cache_20221208_1500<br>
<br>
The pgpool.conf is not for 4.3.x, though it's not directly related to<br>
the issue, I think.<br>
<br>
It seems all the segfaults are related to shared relcache, which was<br>
introduced in 4.3. Can you disable the feature and see if the segfaults still occur?<br>
You can do it by adding:<br>
<br>
enable_shared_relcache = off<br>
<br>
Best reagards,<br>
--<br>
Tatsuo Ishii<br>
SRA OSS LLC<br>
English: <a href="http://www.sraoss.co.jp/index_en/" rel="noreferrer" target="_blank">http://www.sraoss.co.jp/index_en/</a><br>
Japanese:<a href="http://www.sraoss.co.jp" rel="noreferrer" target="_blank">http://www.sraoss.co.jp</a><br>
_______________________________________________<br>
pgpool-general mailing list<br>
<a href="mailto:pgpool-general@pgpool.net" target="_blank">pgpool-general@pgpool.net</a><br>
<a href="http://www.pgpool.net/mailman/listinfo/pgpool-general" rel="noreferrer" target="_blank">http://www.pgpool.net/mailman/listinfo/pgpool-general</a><br>
</blockquote></div>