[OmniOS-discuss] Fwd: Zvol write a lot of data
anthony omnios
icoomnios at gmail.com
Fri Jun 22 08:11:59 UTC 2018
Thanks for you reply.
I am writing very few data on zil:
./zilstat.ksh -t 5
TIME N-Bytes N-Bytes/s N-Max-Rate B-Bytes B-Bytes/s
B-Max-Rate ops <=4kB 4-32kB >=32kB
2018 Jun 21 17:58:53 106560 21312 106560 860160
172032 860160 8 0 0 8
2018 Jun 21 17:58:58 2288 457 2288 262144
52428 262144 2 0 0 2
2018 Jun 21 17:59:03 1949816 389963 1935408 5373952
1074790 4456448 41 0 0 41
2018 Jun 21 17:59:08 0 0 0 0
0 0 0 0 0 0
2018 Jun 21 17:59:13 0 0 0 0
0 0 0 0 0 0
2018 Jun 21 17:59:18 888 177 888 131072
26214 131072 1 0 0 1
2018 Jun 21 17:59:23 414512 82902 414512 1310720
262144 1310720 10 0 0 10
2018 Jun 21 17:59:28 2288 457 2288 262144
52428 262144 2 0 0 2
2018 Jun 21 17:59:33 8568 1713 8568 131072
26214 131072 1 0 0 1
2018 Jun 21 17:59:38 31272 6254 31272 393216
78643 393216 3 0 0 3
2018 Jun 21 17:59:43 888 177 888 131072
26214 131072 1 0 0 1
2018 Jun 21 17:59:48 0 0 0 0
0 0 0 0 0 0
2018 Jun 21 17:59:53 548384 109676 548384 3223552
644710 3223552 44 0 0 44
2018 Jun 21 17:59:58 2288 457 2288 262144
52428 262144 2 0 0 2
2018 Jun 21 18:00:03 405088 81017 305456 2433024
486604 1122304 20 0 0 20
Do you know why i am writing lot of data on disk pool (my 7 VMS are only
online without write opération), not on zil ssd (but sync=always ! ).
With 40 VM with no disk activity on it, i flush to data disk
approximatively 30 MB every 5 seconds. What type of data is it (metadata ?)
How can i readuce data write on disks ?
Best regards
2018-06-21 14:51 GMT+02:00 Linda Kateley <lkateley at kateley.com>:
> You should be able to get zilstat(just google) and get much more details
> on what is happening in zil.
>
> I haven't done this for awhile in omni, but I increase the transaction
> timeout in freebsd or linux quite often. The 5 seconds is set by a
> variable. Put this into /etc/system and reboot.
>
> *set zfs:zfs_txg_timeout = 1*
>
> Quite often with zfs you won't see disk activity. That is it's beauty. All
> of what you need is probably running from ram.
>
> Linda
>
>
> On 6/21/18 5:50 AM, anthony omnios wrote:
>
> Hi,
>
> i am testing a new plateform with OmniosCe with 7 VM on zvol with ISCSI
> comstar.
>
> I have set sync=always for all zvol and i have 2 ssd intel 3700 for zil
> and two mirror ssd for data.
>
> Data Disk are samsung 850 evo (ashift=13).
>
> My problem is that the pool commit to data disk approximatively 5MB every
> 5 second but i have only few data is write on zil (sync=always on zvol) and
> my 7 vm are only up with no disk activity.
>
> With 40 VM with no disk activity on it, i flush to data disk
> approximatively 30 MB every 5 seconds.
>
> How can i write a lot of data on data disk without network iscsi trafic
> and no disk activity on VM and no disk activity on zil ? What type of data
> is it (metadata ?) ?
>
> zpool status
> pool: filervm2
> state: ONLINE
> scan: resilvered 0 in 0h0m with 0 errors on Mon Jun 4 17:46:40 2018
> config:
>
> NAME STATE READ WRITE CKSUM
> filervm2 ONLINE 0 0 0
> mirror-0 ONLINE 0 0 0
> c0t5002538E40102BECd0 ONLINE 0 0 0
> c0t5002538E40264251d0 ONLINE 0 0 0
> logs
> mirror-1 ONLINE 0 0 0
> c0t55CD2E404B73F8F1d0 ONLINE 0 0 0
> c0t55CD2E404C270DD9d0 ONLINE 0 0 0
>
> iostat -xn -d 1 :
>
> extended device statistics
> r/s w/s kr/s kw/s wait actv wsvc_t asvc_t %w %b device
> 2,0 39,4 80,6 2014,5 0,2 0,0 5,4 0,4 0 1 filervm2
> 0,0 0,9 0,3 12,1 0,1 0,0 89,9 3,7 0 0 rpool
> 0,0 0,5 0,1 6,0 0,0 0,0 0,0 3,4 0 0
> c0t55CD2E414D2D4782d0
> 0,0 0,5 0,1 6,0 0,0 0,0 0,0 3,4 0 0
> c0t55CD2E414D2D4713d0
> 0,0 14,5 0,0 476,5 0,0 0,0 0,0 0,4 0 0
> c0t55CD2E404B73F8F1d0
> 0,0 8,9 0,0 476,5 0,0 0,0 0,0 0,3 0 0
> c0t55CD2E404C270DD9d0
> 1,0 11,0 40,3 530,8 0,0 0,0 0,0 0,2 0 0
> c0t5002538E40102BECd0
> 1,0 11,0 40,3 530,8 0,0 0,0 0,0 0,2 0 0
> c0t5002538E40264251d0
> extended device statistics
> r/s w/s kr/s kw/s wait actv wsvc_t asvc_t %w %b device
> 0,0 20,0 0,0 304,0 0,0 0,0 0,0 0,2 0 0 filervm2
> 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 rpool
> 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0
> c0t55CD2E414D2D4782d0
> 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0
> c0t55CD2E414D2D4713d0
> 0,0 20,0 0,0 152,0 0,0 0,0 0,0 0,1 0 0
> c0t55CD2E404B73F8F1d0
> 0,0 10,0 0,0 152,0 0,0 0,0 0,0 0,1 0 0
> c0t55CD2E404C270DD9d0
> 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0
> c0t5002538E40102BECd0
> 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0
> c0t5002538E40264251d0
> extended device statistics
> r/s w/s kr/s kw/s wait actv wsvc_t asvc_t %w %b device
> 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 filervm2
> 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 rpool
> 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0
> c0t55CD2E414D2D4782d0
> 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0
> c0t55CD2E414D2D4713d0
> 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0
> c0t55CD2E404B73F8F1d0
> 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0
> c0t55CD2E404C270DD9d0
> 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0
> c0t5002538E40102BECd0
> 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0
> c0t5002538E40264251d0
> extended device statistics
> r/s w/s kr/s kw/s wait actv wsvc_t asvc_t %w %b device
> 0,0 212,1 0,0 9826,4 1,9 0,1 8,8 0,3 3 3 filervm2
> 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 rpool
> 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0
> c0t55CD2E414D2D4782d0
> 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0
> c0t55CD2E414D2D4713d0
> 0,0 11,0 0,0 56,0 0,0 0,0 0,0 0,1 0 0
> c0t55CD2E404B73F8F1d0
> 0,0 5,0 0,0 56,0 0,0 0,0 0,0 0,1 0 0
> c0t55CD2E404C270DD9d0
> 0,0 101,0 0,0 4857,2 0,0 0,0 0,0 0,2 0 2
> c0t5002538E40102BECd0
> 0,0 105,0 0,0 4857,2 0,0 0,0 0,0 0,2 0 2
> c0t5002538E40264251d0
> extended device statistics
> r/s w/s kr/s kw/s wait actv wsvc_t asvc_t %w %b device
> 0,0 38,0 0,0 735,5 0,0 0,0 0,0 0,2 0 0 filervm2
> 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 rpool
> 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0
> c0t55CD2E414D2D4782d0
> 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0
> c0t55CD2E414D2D4713d0
> 0,0 37,0 0,0 367,7 0,0 0,0 0,0 0,1 0 0
> c0t55CD2E404B73F8F1d0
> 0,0 19,0 0,0 367,7 0,0 0,0 0,0 0,1 0 0
> c0t55CD2E404C270DD9d0
> 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0
> c0t5002538E40102BECd0
> 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0
> c0t5002538E40264251d0
> extended device statistics
> r/s w/s kr/s kw/s wait actv wsvc_t asvc_t %w %b device
> 0,0 8,0 0,0 64,0 0,0 0,0 0,0 0,2 0 0 filervm2
> 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 rpool
> 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0
> c0t55CD2E414D2D4782d0
> 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0
> c0t55CD2E414D2D4713d0
> 0,0 8,0 0,0 32,0 0,0 0,0 0,0 0,1 0 0
> c0t55CD2E404B73F8F1d0
> 0,0 4,0 0,0 32,0 0,0 0,0 0,0 0,1 0 0
> c0t55CD2E404C270DD9d0
> 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0
> c0t5002538E40102BECd0
> 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0
> c0t5002538E40264251d0
> extended device statistics
> r/s w/s kr/s kw/s wait actv wsvc_t asvc_t %w %b device
> 0,0 4,0 0,0 32,0 0,0 0,0 0,0 0,2 0 0 filervm2
> 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 rpool
> 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0
> c0t55CD2E414D2D4782d0
> 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0
> c0t55CD2E414D2D4713d0
> 0,0 4,0 0,0 16,0 0,0 0,0 0,0 0,1 0 0
> c0t55CD2E404B73F8F1d0
> 0,0 2,0 0,0 16,0 0,0 0,0 0,0 0,1 0 0
> c0t55CD2E404C270DD9d0
> 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0
> c0t5002538E40102BECd0
> 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0
> c0t5002538E40264251d0
> extended device statistics
> r/s w/s kr/s kw/s wait actv wsvc_t asvc_t %w %b device
> 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 filervm2
> 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 rpool
> 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0
> c0t55CD2E414D2D4782d0
> 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0
> c0t55CD2E414D2D4713d0
> 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0
> c0t55CD2E404B73F8F1d0
> 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0
> c0t55CD2E404C270DD9d0
> 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0
> c0t5002538E40102BECd0
> 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0
> c0t5002538E40264251d0
> extended device statistics
> r/s w/s kr/s kw/s wait actv wsvc_t asvc_t %w %b device
> 0,0 239,1 0,0 11491,4 2,6 0,1 10,9 0,3 3 3 filervm2
> 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 rpool
> 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0
> c0t55CD2E414D2D4782d0
> 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0
> c0t55CD2E414D2D4713d0
> 0,0 1,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0
> c0t55CD2E404B73F8F1d0
> 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0
> c0t55CD2E404C270DD9d0
> 0,0 118,0 0,0 5745,7 0,0 0,0 0,0 0,2 0 2
> c0t5002538E40102BECd0
> 0,0 125,0 0,0 5745,7 0,0 0,0 0,0 0,2 0 2
> c0t5002538E40264251d0
> extended device statistics
> r/s w/s kr/s kw/s wait actv wsvc_t asvc_t %w %b device
> 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 filervm2
> 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 rpool
> 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0
> c0t55CD2E414D2D4782d0
> 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0
> c0t55CD2E414D2D4713d0
> 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0
> c0t55CD2E404B73F8F1d0
> 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0
> c0t55CD2E404C270DD9d0
> 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0
> c0t5002538E40102BECd0
> 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0
> c0t5002538E40264251d0
> extended device statistics
> r/s w/s kr/s kw/s wait actv wsvc_t asvc_t %w %b device
> 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 filervm2
> 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 rpool
> 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0
> c0t55CD2E414D2D4782d0
> 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0
> c0t55CD2E414D2D4713d0
> 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0
> c0t55CD2E404B73F8F1d0
> 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0
> c0t55CD2E404C270DD9d0
> 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0
> c0t5002538E40102BECd0
> 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0
> c0t5002538E40264251d0
> extended device statistics
> r/s w/s kr/s kw/s wait actv wsvc_t asvc_t %w %b device
> 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 filervm2
> 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 rpool
> 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0
> c0t55CD2E414D2D4782d0
> 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0
> c0t55CD2E414D2D4713d0
> 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0
> c0t55CD2E404B73F8F1d0
> 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0
> c0t55CD2E404C270DD9d0
> 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0
> c0t5002538E40102BECd0
> 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0
> c0t5002538E40264251d0
> extended device statistics
> r/s w/s kr/s kw/s wait actv wsvc_t asvc_t %w %b device
> 0,0 18,0 0,0 272,1 0,0 0,0 0,0 0,5 0 0 filervm2
> 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 rpool
> 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0
> c0t55CD2E414D2D4782d0
> 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0
> c0t55CD2E414D2D4713d0
> 0,0 18,0 0,0 136,0 0,0 0,0 0,0 0,1 0 0
> c0t55CD2E404B73F8F1d0
> 0,0 9,0 0,0 136,0 0,0 0,0 0,0 0,2 0 0
> c0t55CD2E404C270DD9d0
> 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0
> c0t5002538E40102BECd0
> 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0
> c0t5002538E40264251d0
> extended device statistics
> r/s w/s kr/s kw/s wait actv wsvc_t asvc_t %w %b device
> 0,0 168,0 0,0 6336,8 0,9 0,1 5,4 0,3 2 3 filervm2
> 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 rpool
> 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0
> c0t55CD2E414D2D4782d0
> 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0
> c0t55CD2E414D2D4713d0
> 0,0 15,0 0,0 96,0 0,0 0,0 0,0 0,1 0 0
> c0t55CD2E404B73F8F1d0
> 0,0 7,0 0,0 96,0 0,0 0,0 0,0 0,1 0 0
> c0t55CD2E404C270DD9d0
> 0,0 76,0 0,0 3072,4 0,0 0,0 0,0 0,2 0 2
> c0t5002538E40102BECd0
> 0,0 82,0 0,0 3072,4 0,0 0,0 0,0 0,2 0 2
> c0t5002538E40264251d0
> extended device statistics
> r/s w/s kr/s kw/s wait actv wsvc_t asvc_t %w %b device
> 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 filervm2
> 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 rpool
> 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0
> c0t55CD2E414D2D4782d0
> 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0
> c0t55CD2E414D2D4713d0
> 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0
> c0t55CD2E404B73F8F1d0
> 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0
> c0t55CD2E404C270DD9d0
> 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0
> c0t5002538E40102BECd0
> 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0
> c0t5002538E40264251d0
> extended device statistics
> r/s w/s kr/s kw/s wait actv wsvc_t asvc_t %w %b device
> 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 filervm2
> 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 rpool
> 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0
> c0t55CD2E414D2D4782d0
> 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0
> c0t55CD2E414D2D4713d0
> 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0
> c0t55CD2E404B73F8F1d0
> 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0
> c0t55CD2E404C270DD9d0
> 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0
> c0t5002538E40102BECd0
> 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0
> c0t5002538E40264251d0
>
> zfs get all filervm2/hdd-110133a
> NAME PROPERTY VALUE
> SOURCE
> filervm2/hdd-110133a type volume
> -
> filervm2/hdd-110133a creation mer. juin 20 17:38
> 2018 -
> filervm2/hdd-110133a used 1,80G
> -
> filervm2/hdd-110133a available 860G
> -
> filervm2/hdd-110133a referenced 2,28G
> -
> filervm2/hdd-110133a compressratio 1.74x
> -
> filervm2/hdd-110133a origin filervm2/template-ha-centos7-6
> 4bits at template1 -
> filervm2/hdd-110133a reservation none
> default
> filervm2/hdd-110133a volsize 25G
> local
> filervm2/hdd-110133a volblocksize 64K
> -
> filervm2/hdd-110133a checksum on
> default
> filervm2/hdd-110133a compression lz4
> local
> filervm2/hdd-110133a readonly off
> default
> filervm2/hdd-110133a copies 1
> default
> filervm2/hdd-110133a refreservation none
> default
> filervm2/hdd-110133a primarycache all
> default
> filervm2/hdd-110133a secondarycache all
> default
> filervm2/hdd-110133a usedbysnapshots 150M
> -
> filervm2/hdd-110133a usedbydataset 1,65G
> -
> filervm2/hdd-110133a usedbychildren 0
> -
> filervm2/hdd-110133a usedbyrefreservation 0
> -
> filervm2/hdd-110133a logbias latency
> default
> filervm2/hdd-110133a dedup off
> default
> filervm2/hdd-110133a mlslabel none
> default
> filervm2/hdd-110133a sync always
> local
> filervm2/hdd-110133a refcompressratio 1.67x
> -
> filervm2/hdd-110133a written 6,21M
> -
> filervm2/hdd-110133a logicalused 3,09G
> -
> filervm2/hdd-110133a logicalreferenced 3,81G
> -
> filervm2/hdd-110133a snapshot_limit none
> default
> filervm2/hdd-110133a snapshot_count none
> default
> filervm2/hdd-110133a redundant_metadata all
> default
>
>
> Best regards,
>
> Anthony
>
>
>
>
> _______________________________________________
> OmniOS-discuss mailing listOmniOS-discuss at lists.omniti.comhttp://lists.omniti.com/mailman/listinfo/omnios-discuss
>
>
>
-------------- next part --------------
An HTML attachment was scrubbed...
URL: <https://omniosce.org/ml-archive/attachments/20180622/52ea270b/attachment-0001.html>
More information about the OmniOS-discuss
mailing list