[OmniOS-discuss] Zvol write a lot of data

anthony omnios icoomnios at gmail.com
Thu Jun 21 10:50:24 UTC 2018


Hi,

i am testing a new plateform with OmniosCe with 7 VM on zvol with ISCSI
comstar.

I have set sync=always for all zvol and  i have 2 ssd intel 3700 for zil
and two mirror ssd for data.

Data Disk are samsung 850 evo (ashift=13).

My problem is that the pool commit to data disk approximatively 5MB every 5
second but i have only few data is write on zil (sync=always on zvol) and
my 7 vm are only up with no disk activity.

With 40 VM with no disk activity on it, i flush to data disk
approximatively 30 MB every 5 seconds.

How can i write a lot of data on data disk without network iscsi trafic and
no disk activity on VM and no disk activity on zil ? What type of data is
it (metadata ?) ?

 zpool status
  pool: filervm2
 state: ONLINE
  scan: resilvered 0 in 0h0m with 0 errors on Mon Jun  4 17:46:40 2018
config:

        NAME                       STATE     READ WRITE CKSUM
        filervm2                   ONLINE       0     0     0
          mirror-0                 ONLINE       0     0     0
            c0t5002538E40102BECd0  ONLINE       0     0     0
            c0t5002538E40264251d0  ONLINE       0     0     0
        logs
          mirror-1                 ONLINE       0     0     0
            c0t55CD2E404B73F8F1d0  ONLINE       0     0     0
            c0t55CD2E404C270DD9d0  ONLINE       0     0     0

iostat -xn -d 1 :

     extended device statistics
    r/s    w/s   kr/s   kw/s wait actv wsvc_t asvc_t  %w  %b device
    2,0   39,4   80,6 2014,5  0,2  0,0    5,4    0,4   0   1 filervm2
    0,0    0,9    0,3   12,1  0,1  0,0   89,9    3,7   0   0 rpool
    0,0    0,5    0,1    6,0  0,0  0,0    0,0    3,4   0   0
c0t55CD2E414D2D4782d0
    0,0    0,5    0,1    6,0  0,0  0,0    0,0    3,4   0   0
c0t55CD2E414D2D4713d0
    0,0   14,5    0,0  476,5  0,0  0,0    0,0    0,4   0   0
c0t55CD2E404B73F8F1d0
    0,0    8,9    0,0  476,5  0,0  0,0    0,0    0,3   0   0
c0t55CD2E404C270DD9d0
    1,0   11,0   40,3  530,8  0,0  0,0    0,0    0,2   0   0
c0t5002538E40102BECd0
    1,0   11,0   40,3  530,8  0,0  0,0    0,0    0,2   0   0
c0t5002538E40264251d0
                    extended device statistics
    r/s    w/s   kr/s   kw/s wait actv wsvc_t asvc_t  %w  %b device
    0,0   20,0    0,0  304,0  0,0  0,0    0,0    0,2   0   0 filervm2
    0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0 rpool
    0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0
c0t55CD2E414D2D4782d0
    0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0
c0t55CD2E414D2D4713d0
    0,0   20,0    0,0  152,0  0,0  0,0    0,0    0,1   0   0
c0t55CD2E404B73F8F1d0
    0,0   10,0    0,0  152,0  0,0  0,0    0,0    0,1   0   0
c0t55CD2E404C270DD9d0
    0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0
c0t5002538E40102BECd0
    0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0
c0t5002538E40264251d0
                    extended device statistics
    r/s    w/s   kr/s   kw/s wait actv wsvc_t asvc_t  %w  %b device
    0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0 filervm2
    0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0 rpool
    0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0
c0t55CD2E414D2D4782d0
    0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0
c0t55CD2E414D2D4713d0
    0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0
c0t55CD2E404B73F8F1d0
    0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0
c0t55CD2E404C270DD9d0
    0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0
c0t5002538E40102BECd0
    0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0
c0t5002538E40264251d0
                    extended device statistics
    r/s    w/s   kr/s   kw/s wait actv wsvc_t asvc_t  %w  %b device
    0,0  212,1    0,0 9826,4  1,9  0,1    8,8    0,3   3   3 filervm2
    0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0 rpool
    0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0
c0t55CD2E414D2D4782d0
    0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0
c0t55CD2E414D2D4713d0
    0,0   11,0    0,0   56,0  0,0  0,0    0,0    0,1   0   0
c0t55CD2E404B73F8F1d0
    0,0    5,0    0,0   56,0  0,0  0,0    0,0    0,1   0   0
c0t55CD2E404C270DD9d0
    0,0  101,0    0,0 4857,2  0,0  0,0    0,0    0,2   0   2
c0t5002538E40102BECd0
    0,0  105,0    0,0 4857,2  0,0  0,0    0,0    0,2   0   2
c0t5002538E40264251d0
                    extended device statistics
    r/s    w/s   kr/s   kw/s wait actv wsvc_t asvc_t  %w  %b device
    0,0   38,0    0,0  735,5  0,0  0,0    0,0    0,2   0   0 filervm2
    0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0 rpool
    0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0
c0t55CD2E414D2D4782d0
    0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0
c0t55CD2E414D2D4713d0
    0,0   37,0    0,0  367,7  0,0  0,0    0,0    0,1   0   0
c0t55CD2E404B73F8F1d0
    0,0   19,0    0,0  367,7  0,0  0,0    0,0    0,1   0   0
c0t55CD2E404C270DD9d0
    0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0
c0t5002538E40102BECd0
    0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0
c0t5002538E40264251d0
                    extended device statistics
    r/s    w/s   kr/s   kw/s wait actv wsvc_t asvc_t  %w  %b device
    0,0    8,0    0,0   64,0  0,0  0,0    0,0    0,2   0   0 filervm2
    0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0 rpool
    0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0
c0t55CD2E414D2D4782d0
    0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0
c0t55CD2E414D2D4713d0
    0,0    8,0    0,0   32,0  0,0  0,0    0,0    0,1   0   0
c0t55CD2E404B73F8F1d0
    0,0    4,0    0,0   32,0  0,0  0,0    0,0    0,1   0   0
c0t55CD2E404C270DD9d0
    0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0
c0t5002538E40102BECd0
    0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0
c0t5002538E40264251d0
                    extended device statistics
    r/s    w/s   kr/s   kw/s wait actv wsvc_t asvc_t  %w  %b device
    0,0    4,0    0,0   32,0  0,0  0,0    0,0    0,2   0   0 filervm2
    0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0 rpool
    0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0
c0t55CD2E414D2D4782d0
    0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0
c0t55CD2E414D2D4713d0
    0,0    4,0    0,0   16,0  0,0  0,0    0,0    0,1   0   0
c0t55CD2E404B73F8F1d0
    0,0    2,0    0,0   16,0  0,0  0,0    0,0    0,1   0   0
c0t55CD2E404C270DD9d0
    0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0
c0t5002538E40102BECd0
    0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0
c0t5002538E40264251d0
                    extended device statistics
    r/s    w/s   kr/s   kw/s wait actv wsvc_t asvc_t  %w  %b device
    0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0 filervm2
    0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0 rpool
    0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0
c0t55CD2E414D2D4782d0
    0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0
c0t55CD2E414D2D4713d0
    0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0
c0t55CD2E404B73F8F1d0
    0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0
c0t55CD2E404C270DD9d0
    0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0
c0t5002538E40102BECd0
    0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0
c0t5002538E40264251d0
                    extended device statistics
    r/s    w/s   kr/s   kw/s wait actv wsvc_t asvc_t  %w  %b device
    0,0  239,1    0,0 11491,4  2,6  0,1   10,9    0,3   3   3 filervm2
    0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0 rpool
    0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0
c0t55CD2E414D2D4782d0
    0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0
c0t55CD2E414D2D4713d0
    0,0    1,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0
c0t55CD2E404B73F8F1d0
    0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0
c0t55CD2E404C270DD9d0
    0,0  118,0    0,0 5745,7  0,0  0,0    0,0    0,2   0   2
c0t5002538E40102BECd0
    0,0  125,0    0,0 5745,7  0,0  0,0    0,0    0,2   0   2
c0t5002538E40264251d0
                    extended device statistics
    r/s    w/s   kr/s   kw/s wait actv wsvc_t asvc_t  %w  %b device
    0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0 filervm2
    0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0 rpool
    0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0
c0t55CD2E414D2D4782d0
    0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0
c0t55CD2E414D2D4713d0
    0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0
c0t55CD2E404B73F8F1d0
    0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0
c0t55CD2E404C270DD9d0
    0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0
c0t5002538E40102BECd0
    0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0
c0t5002538E40264251d0
                    extended device statistics
    r/s    w/s   kr/s   kw/s wait actv wsvc_t asvc_t  %w  %b device
    0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0 filervm2
    0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0 rpool
    0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0
c0t55CD2E414D2D4782d0
    0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0
c0t55CD2E414D2D4713d0
    0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0
c0t55CD2E404B73F8F1d0
    0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0
c0t55CD2E404C270DD9d0
    0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0
c0t5002538E40102BECd0
    0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0
c0t5002538E40264251d0
                    extended device statistics
    r/s    w/s   kr/s   kw/s wait actv wsvc_t asvc_t  %w  %b device
    0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0 filervm2
    0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0 rpool
    0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0
c0t55CD2E414D2D4782d0
    0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0
c0t55CD2E414D2D4713d0
    0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0
c0t55CD2E404B73F8F1d0
    0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0
c0t55CD2E404C270DD9d0
    0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0
c0t5002538E40102BECd0
    0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0
c0t5002538E40264251d0
                    extended device statistics
    r/s    w/s   kr/s   kw/s wait actv wsvc_t asvc_t  %w  %b device
    0,0   18,0    0,0  272,1  0,0  0,0    0,0    0,5   0   0 filervm2
    0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0 rpool
    0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0
c0t55CD2E414D2D4782d0
    0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0
c0t55CD2E414D2D4713d0
    0,0   18,0    0,0  136,0  0,0  0,0    0,0    0,1   0   0
c0t55CD2E404B73F8F1d0
    0,0    9,0    0,0  136,0  0,0  0,0    0,0    0,2   0   0
c0t55CD2E404C270DD9d0
    0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0
c0t5002538E40102BECd0
    0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0
c0t5002538E40264251d0
                    extended device statistics
    r/s    w/s   kr/s   kw/s wait actv wsvc_t asvc_t  %w  %b device
    0,0  168,0    0,0 6336,8  0,9  0,1    5,4    0,3   2   3 filervm2
    0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0 rpool
    0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0
c0t55CD2E414D2D4782d0
    0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0
c0t55CD2E414D2D4713d0
    0,0   15,0    0,0   96,0  0,0  0,0    0,0    0,1   0   0
c0t55CD2E404B73F8F1d0
    0,0    7,0    0,0   96,0  0,0  0,0    0,0    0,1   0   0
c0t55CD2E404C270DD9d0
    0,0   76,0    0,0 3072,4  0,0  0,0    0,0    0,2   0   2
c0t5002538E40102BECd0
    0,0   82,0    0,0 3072,4  0,0  0,0    0,0    0,2   0   2
c0t5002538E40264251d0
                    extended device statistics
    r/s    w/s   kr/s   kw/s wait actv wsvc_t asvc_t  %w  %b device
    0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0 filervm2
    0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0 rpool
    0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0
c0t55CD2E414D2D4782d0
    0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0
c0t55CD2E414D2D4713d0
    0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0
c0t55CD2E404B73F8F1d0
    0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0
c0t55CD2E404C270DD9d0
    0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0
c0t5002538E40102BECd0
    0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0
c0t5002538E40264251d0
                    extended device statistics
    r/s    w/s   kr/s   kw/s wait actv wsvc_t asvc_t  %w  %b device
    0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0 filervm2
    0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0 rpool
    0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0
c0t55CD2E414D2D4782d0
    0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0
c0t55CD2E414D2D4713d0
    0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0
c0t55CD2E404B73F8F1d0
    0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0
c0t55CD2E404C270DD9d0
    0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0
c0t5002538E40102BECd0
    0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0
c0t5002538E40264251d0

zfs get all filervm2/hdd-110133a
NAME                  PROPERTY
VALUE                                                              SOURCE
filervm2/hdd-110133a  type
volume                                                             -
filervm2/hdd-110133a  creation              mer. juin 20 17:38
2018                                            -
filervm2/hdd-110133a  used
1,80G                                                              -
filervm2/hdd-110133a  available
860G                                                               -
filervm2/hdd-110133a  referenced
2,28G                                                              -
filervm2/hdd-110133a  compressratio
1.74x                                                              -
filervm2/hdd-110133a  origin
filervm2/template-ha-centos7-64bits at template1  -
filervm2/hdd-110133a  reservation
none                                                               default
filervm2/hdd-110133a  volsize
25G                                                                local
filervm2/hdd-110133a  volblocksize
64K                                                                -
filervm2/hdd-110133a  checksum
on                                                                 default
filervm2/hdd-110133a  compression
lz4                                                                local
filervm2/hdd-110133a  readonly
off                                                                default
filervm2/hdd-110133a  copies
1                                                                  default
filervm2/hdd-110133a  refreservation
none                                                               default
filervm2/hdd-110133a  primarycache
all                                                                default
filervm2/hdd-110133a  secondarycache
all                                                                default
filervm2/hdd-110133a  usedbysnapshots
150M                                                               -
filervm2/hdd-110133a  usedbydataset
1,65G                                                              -
filervm2/hdd-110133a  usedbychildren
0                                                                  -
filervm2/hdd-110133a  usedbyrefreservation
0                                                                  -
filervm2/hdd-110133a  logbias
latency                                                            default
filervm2/hdd-110133a  dedup
off                                                                default
filervm2/hdd-110133a  mlslabel
none                                                               default
filervm2/hdd-110133a  sync
always                                                             local
filervm2/hdd-110133a  refcompressratio
1.67x                                                              -
filervm2/hdd-110133a  written
6,21M                                                              -
filervm2/hdd-110133a  logicalused
3,09G                                                              -
filervm2/hdd-110133a  logicalreferenced
3,81G                                                              -
filervm2/hdd-110133a  snapshot_limit
none                                                               default
filervm2/hdd-110133a  snapshot_count
none                                                               default
filervm2/hdd-110133a  redundant_metadata
all                                                                default


Best regards,

Anthony
-------------- next part --------------
An HTML attachment was scrubbed...
URL: <https://omniosce.org/ml-archive/attachments/20180621/b813c9d6/attachment-0001.html>


More information about the OmniOS-discuss mailing list