その後も、時々ZIL/L2ARCがremovedとなる状態が続いています。
特に頻発する1台目のNASに対して、HMBを切ることで状況が変わるか調べるために、hw.nvme.hmb_max=0を/boot/loader.confに追記してみました。今までは起動直後に
nvme0: Allocated 64MB host memory buffer
が表示されていましたが、HMBを止めたことでこれが表示されなくなりました。これで状況が改善されると嬉しいのですが。
P.S. その後、しばらく使ってみましたが、動作が非常に遅くなって耐えられなかったので、HMBを使う構成に戻しました。ZIL/L2ARCがremoveされる頻度は約2か月に1回なので、このまま我慢するか、DRAMキャッシュ付きのSSDに交換するか、FreeBSDを諦めるかの選択です。
P.P.S. ちなみに、このマシンで使用しているnvme SSDはubuntuでnvme id-ctrl /dev/nvme0 -Hを実行するとhmpreもhmminも16384(=64MB)です。なお、最初に使いだしたのは12.2Rからですが、12.2Rや13.0Rではこの問題は一年半以上の利用期間中に一度も発生せず、13.1Rにupgradeしてから発生するようになったことに気付きました。
P.P.P.S. FreeBSD上でhmpreやhmminを確認したい場合には、
# nvmecontrol identify nvme0 | grep -i 'host buffer' Host Buffer Preferred Size: 67108864 bytes Host Buffer Minimum Size: 67108864 bytes
で可能です。