Proxmox EXT4 performance Probleme

By | 9. Mai 2012

Ich hatte auf meinem Proxmox Server bei Hetzner (EX4s) üble performance Probleme. Im Proxmox Forum bin ich dann darauf gestossen das es am Dateisystem (EXT4) liegt.

AndreU aus dem Forum hatte einige Tests auf dem selben Server laufen lassen. Das Ergebniss war sehr klar!

Software vs. Hardware RAID 1

Software RAID 1
mdadm
2-Port Hardware RAID 1
02:00.0 RAID bus controller:
LSI Logic / Symbios Logic LSI MegaSAS 9260 (rev 05)
no BBU / no write cache
ext3
defaults 0 0
BUFFERED READS: 165.10 MB/sec
AVERAGE SEEK TIME: 6.86 ms
FSYNCS/SECOND: 22.55
BUFFERED READS: 139.71 MB/sec
AVERAGE SEEK TIME: 7.00 ms
FSYNCS/SECOND: 1003.28
ext3
rw,relatime,data=ordered 0 0
BUFFERED READS: 155.52 MB/sec
AVERAGE SEEK TIME: 6.30 ms
FSYNCS/SECOND: 853.28
BUFFERED READS: 130.92 MB/sec
AVERAGE SEEK TIME: 7.02 ms
FSYNCS/SECOND: 1011.99


2-Port Hardware RAID 1

02:00.0 RAID bus controller: LSI Logic / Symbios Logic LSI MegaSAS 9260 (rev 05) – no BBU / no write cache

sysbench –test=fileio –file-fsync-freq=1 –file-num=1 –file-total-size=16384 –file-test-mode=rndwr run

2.6.32-5-amd64 (org. Debian Squeeze) 2.6.32-5-amd64 (org. Debian Squeeze)
with Proxmox packages:
dmsetup libdevmapper1.02.1 lvm2
2.6.32-11-pve
with Proxmox packages:
dmsetup libdevmapper1.02.1 lvm2
ext3
defaults
2760.15 Requests/sec
43.127Mb/sec
2854.28 Requests/sec
44.598Mb/sec
3241.04 Requests/sec
50.641Mb/sec
ext3
rw,relatime,data=ordered 0 0
2749.91 Requests/sec
42.967Mb/sec
ext4 2186.61 Requests/sec
34.166Mb/sec
2189.96 Requests/sec
34.218Mb/sec
895.48 Requests/sec
13.992Mb/sec
XFS 1176.80 Requests/sec
18.388Mb/sec
2039.42 Requests/sec
31.866Mb/sec
bfs 2317.19 Requests/sec
36.206Mb/sec

Ich hatte dann kurzer Hand den Server nochmals neu aufgesetzt und per default ext3 gewählt.
Die Performance unterschiede sind sehr stark spürbar. Wichtig waren zudem auch die Mountpoint Options welche nochmals mehr Geschwindigkeit brachten.

Anbei noch ein „pveperf“ davor (ext3):

root@miraculix / # pveperf
 CPU BOGOMIPS:      54583.68
 REGEX/SECOND:      1724603
 HD SIZE:           4.96 GB (/dev/mapper/vg0-root)
 BUFFERED READS:    176.48 MB/sec
 AVERAGE SEEK TIME: 6.78 ms
 FSYNCS/SECOND:     14.57
 DNS EXT:           71.91 ms

Und einmal danach (ext4)

root@miraculix / # pveperf /backup
 CPU BOGOMIPS:      54583.68
 REGEX/SECOND:      1676305
 HD SIZE:           738.23 GB (/dev/mapper/vg0-backup)
 BUFFERED READS:    170.51 MB/sec
 AVERAGE SEEK TIME: 13.86 ms
 FSYNCS/SECOND:     645.91
 DNS EXT:           81.28 ms

Die FSYNCS unterschiede sind einfach der Hammer. Laut manpage von Proxmox sollten die FSYNCS min. über 200 liegen was mit ext4 und dem aktuellen Kernel nicht möglich war.

Danke nochmals @AnderU

5 thoughts on “Proxmox EXT4 performance Probleme

  1. avataradmini

    Hmm, die Messungen kann ich so nicht bestätigen.
    Ein aktueller EX4 mit HW-Raid (LSI) und EXT4 kommt unter Proxmox 2 zu passablen Werten:

    pveperf

    CPU BOGOMIPS: 54584.31
    REGEX/SECOND: 1681612
    HD SIZE: 1388.97 GB (/dev/mapper/vg0-root)
    BUFFERED READS: 136.65 MB/sec
    AVERAGE SEEK TIME: 11.69 ms
    FSYNCS/SECOND: 3289.09
    DNS EXT: 60.83 ms

    Überhaupt schätze ich EXT4 inzwischen sehr, sowohl was Performance als auch Robustheit angeht.

  2. avatarBeNe Post author

    Cool! Danke für die Info. Natürlich bin ich auch für EXT4 allerdings war die erste 2.0 Proxmox Version überhaupt nicht unter EXT4 zu gebrauchen.
    In dem Fall werde ich bei der nächsten Installation wieder auf EXT4 gehen 🙂

    Danke für!

    Greez,
    BeNe

  3. avatarJay

    root@phi74200 ~ # pveperf
    CPU BOGOMIPS: 54394.11
    REGEX/SECOND: 1756489
    HD SIZE: 19.84 GB (/dev/mapper/vg0-root)
    BUFFERED READS: 282.92 MB/sec
    AVERAGE SEEK TIME: 7.12 ms
    FSYNCS/SECOND: 3686.17
    DNS EXT: 38.11 ms
    root@phi74200 ~ #

    ex4 mit ext4

  4. avatartommy

    Danke für den Hinweis! Werde mal ext3 probieren.

    Aktuelle Werte (EX4s, sw-raid, ext4):
    BUFFERED READS: 179.32 MB/sec
    AVERAGE SEEK TIME: 12.39 ms
    FSYNCS/SECOND: 59.06

  5. avatartommy

    Habe jetzt den direkten Vergleich.
    EXT4: FSYNCS/SECOND: 59.06
    EXT3: FSYNCS/SECOND: 891.64

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.