13.0Rのzfs上で動かしているNFSサーバですが、ubuntuからのアクセスで稀に誤ったデータを返すようです。
単にNFSサーバ上のファイルを200個程度(合計500GB程度)コピーしているだけなのですが、稀に以前のブロックを繰り返し再送し、ubuntuは以後のブロックのデータと解釈しているようです。perlで処理しているのですが、コピーが終わったら次のファイルをopenしようとする際に、openに失敗するので、この事象が発生したことが判ります。そのため、openに失敗したら、直前のファイルコピーをやり直すことで何とか回避できるものの、非常に困った話です。取り敢えず、13.1-RC6にしてみましたが、これで解消するかどうかは不明です。
P.S. その後、FreeBSD 14.0-Current(NFS client) -> 13.0R(ZFS)(NFS server)のNFS経由の書き込みで、稀に一部のデータがごっそりall'0'になっているのを発見しました。具体的には長さ0x2cdbe8000(約11.2GB)のファイルのうち、0x5ac60000〜0x5ad2ffffの部分(サイズ832KB)がall'0'でした。コピーし直して復旧させましたが、13.1Rで直れば良いけど駄目だったらFreeBSDを諦めることも考えないと駄目ですね。all'0'になった時も何のエラーも吐かなかったので非常に致命的な状況です。
P.P.S. その後、13.1Rでも同じ事象が発生することを確認しました。