Entries by Oliver Fuckner

Mir ist gerade aufgefallen, dass ZFS komische Dinge tut. Ich habe einen zpool mit 2 raidz2-Raidgruppen. Vor Kurzem ist in der ersten Raidgruppe eine Disk ausgefallen. Das System hat automatische eine Spare-Disk hinzugefuegt, so weit so gut und wie erwartet. Weil aber die alte defekte Disk noch als UNAVAIL im Pool eingetragen war, wurde die dazu gehoerige RAID-Gruppe als DEGRADED angezeigt...

  pool: data
 state: ONLINE
 scrub: resilver completed after 0h44m with 0 errors on Sun Feb  6 02:12:02 2011
config:

        NAME                       STATE     READ WRITE CKSUM
        data                       ONLINE       0     0     0
          raidz2                   ONLINE       0     0     0
            c1t5000CCA221C88445d0  ONLINE       0     0     0  16.1G resilvered
            c1t5000CCA221C6DFA3d0  ONLINE       0     0     0
            c1t5000CCA221C6EE00d0  ONLINE       0     0     0
            c1t5000CCA221C7AA77d0  ONLINE       0     0     0
            c1t5000CCA221C7BC2Ad0  ONLINE       0     0     0
            c1t5000CCA221C7D8A2d0  ONLINE       0     0     0
            c1t5000CCA221C7D316d0  ONLINE       0     0     0
            c1t5000CCA221C7F373d0  ONLINE       0     0     0
            c1t5000CCA221C8A8D6d0  ONLINE       0     0     0
            c1t5000CCA221C8AD85d0  ONLINE       0     0     0
            c1t5000CCA221C8AED5d0  ONLINE       0     0     0
          raidz2                   ONLINE       0     0     0
            c1t5000CCA221C8B3E6d0  ONLINE       0     0     0
            c1t5000CCA221C82A50d0  ONLINE       0     0     0
            c1t5000CCA221C89DCAd0  ONLINE       0     0     0
            c1t5000CCA221C328B9d0  ONLINE       0     0     0
            c1t5000CCA221C785D4d0  ONLINE       0     0     0
            c1t5000CCA221C795A9d0  ONLINE       0     0     0
            c1t5000CCA221C865D7d0  ONLINE       0     0     0
            c1t5000CCA221C8398Fd0  ONLINE       0     0     0
            c1t5000CCA221C8716Cd0  ONLINE       0     0     0
            c1t5000CCA221C78719d0  ONLINE       0     0     0
            c1t5000CCA221C80149d0  ONLINE       0     0     0
        spares
          c1t5000CCA221DDD6ABd0    AVAIL

errors:

Aus diesem Output kann man erkennen, dass c1t5000CCA221C88445d0 die defekte Platte ersetzt hat. Leider musste ich nun herausfinden, dass die erste Raidgruppe im kaputten Zustand nicht weiter befuellt worden ist, daher ist die Auslastung sehr ungleichmaessig. Dazu sieht man sich zpool iostat -v an und vergleicht den belegten Platz (capacity used 21.0G zu 1.64T). Wie gleicht man das jetzt wieder an? BP Rewrite scheint ja immer noch nicht fertig zu sein...

                              capacity     operations    bandwidth
pool                        used  avail   read  write   read  write
-------------------------  -----  -----  -----  -----  -----  -----
data                       1.66T  38.3T     23    228   263K  20.4M
  raidz2                   21.0G  20.0T      0    110      0  10.2M
    c1t5000CCA221C88445d0      -      -      0    107      0  1.14M
    c1t5000CCA221C6DFA3d0      -      -      0    107      0  1.14M
    c1t5000CCA221C6EE00d0      -      -      0    106      0  1.14M
    c1t5000CCA221C7AA77d0      -      -      0    107      0  1.14M
    c1t5000CCA221C7BC2Ad0      -      -      0    107      0  1.14M
    c1t5000CCA221C7D8A2d0      -      -      0    107      0  1.14M
    c1t5000CCA221C7D316d0      -      -      0    107      0  1.14M
    c1t5000CCA221C7F373d0      -      -      0    107      0  1.14M
    c1t5000CCA221C8A8D6d0      -      -      0    107      0  1.14M
    c1t5000CCA221C8AD85d0      -      -      0    107      0  1.14M
    c1t5000CCA221C8AED5d0      -      -      0    107      0  1.14M
  raidz2                   1.64T  18.4T     23    117   263K  10.2M
    c1t5000CCA221C8B3E6d0      -      -      0    113  34.7K  1.14M
    c1t5000CCA221C82A50d0      -      -      0    112  34.8K  1.14M
    c1t5000CCA221C89DCAd0      -      -      0    112  34.4K  1.14M
    c1t5000CCA221C328B9d0      -      -      0    112  34.8K  1.14M
    c1t5000CCA221C785D4d0      -      -      0    112  34.7K  1.14M
    c1t5000CCA221C795A9d0      -      -      1    112  34.1K  1.14M
    c1t5000CCA221C865D7d0      -      -      0    112  34.1K  1.14M
    c1t5000CCA221C8398Fd0      -      -      1    112  34.5K  1.14M
    c1t5000CCA221C8716Cd0      -      -      0    112  31.8K  1.14M
    c1t5000CCA221C78719d0      -      -      1    113  31.6K  1.14M
    c1t5000CCA221C80149d0      -      -      0    112  34.3K  1.14M

Und was lernen wir daraus? Damit alles wieder heil wird, muss man die kaputte Platte von Hand detachen und das am besten zeitnah.

gefunden in den Changelogs fuer Kernelpatch 144489-xx (fixed in 144489-02):

6954736 stop -f /SYS on one Otoro head causes the other head to panic

Und gegen sowas benutzt man eigentlich Clustering.

Wir haben vor Kurzem eine 24" Glotze mit LED Backlight gekauft (Samsung BX2450). Das Ding hat 2 HDMI-Eingaenge, die man mit einer Taste vorne bequem umschalten kann. Frueher gab es mal USB-Hubs in Displays eingebaut, aber das macht man wohl heutzutage nicht mehr :-/

Wenn man jetzt dem USB-Hub 2 Eingaenge verpassen wuerde, die man gleichzeitig mit den HDMI-Eingaengen umschaltet, haette man nen prima KVM-Switch im Display integriert... Das waere ein tolles Produkt, das wuerde ich sofort kaufen.

Es ist mal wieder so weit und NetApp bringt eine komplette Palette neuer Hardware.

Was ist alles neu?

• FAS62x0- und FAS32x0-Heads mit Xeon-CPUs, keine Opterons mehr


• ONTAP 8.01 mit  Compression und DataMotion


• 2.5" Disks (24 10K SAS-Disks in 2HE-Shelfs)


• ganz viel Flash-Cache
  

Wenn man dem Register glauben darf, besitzt die groesste Box 2 Xeon X5670-CPUs und bis zu 192GByte RAM (wahrscheinlich muss man die RAM-Zahl wieder halbieren, weil die clustered config immer doppelt gezaehlt wird). Also nur noch 2 Sockel pro Head statt 4 bei der FAS6080. Ich vermute, dass NetApp auf PCIe-Bandbreite setzt und deswegen 2 IOH5520-Chips verbaut. Trotzdem sind die Hardware-Specs noch ne ganze Ecke von SUNs OpenStorage 7720 entfernt. Und dass die Heads onboard 8 10GigE-Ports haben, halte ich auch fuer falsch. Wie auch immer, heute abend werden wir alle mehr wissen.

UPDATE:

Die Heads und Specs sind soweit bestaetigt, die FAS6280 sind weiterhin 6HE-Heads mit 96GByte RAM und 12 PCIe-Slots. Mit wie vielen IOH5520 und PCIe-Switches gearbeitet wird, muss das NOW zeigen. Wenn ich das richtig sehe, hat jeder Head eine Kombination aus FC- und SAS-Ports onboard. Natuerlich ist nur das neue ONTAP8 supported.

Die einzige Unbekannte ist im Moment nur noch die RAM-Menge auf der NVRAM8-Karte.

UPDATE2:

ONTAP 7.3.5RC1 ist raus und verraet ein paar Dinge mehr: PAM II heisst jetzt Flash Cache und es gibt Karten bis zu 1TB. Ausserdem gibts FC-VI Karten mit 8GBit. Nur wie das mit den zusaetzlichen PCIe-Slots (IOXM scheint das Zauberwort zu sein) funktioniert, ist mir noch unklar. Obwohl die neue Hardware offiziell mit ONTAP8 unterstuetzt wird, findet sich die FAS32x0 in der sysconfigtab.

UPDATE3:

Ausstattung FAS6280 mit PCIe-Slots und onboard-Ports sowie IOXM hier. Ausserdem mehr Infos zu ONTAP8. Jetzt erklaert sich das auch mit den Ports: Die senkrechten Slots zaehlen als "onboard", davon hat der Head 2 (1 fuer die NVRAM-Karte), das IOXM auch 2. Richtig onboard sind je 4 Ports 10GigE und 8GBit FC. Mit den 3 Slots kann man weitere 12 onboard-Ports (8GBit FC oder 6GBit SAS) hinzufuegen, so dass ein Cluster auf 32FC-Ports oder 8 FC- und 24 SAS-Ports kommt.

UPDATE4:

spec.org hat SpecNFS2008-Werte fuer FAS3270 und FAS6240. 190K NFS-Ops sind fuer das 2. groesste System gar nicht mal schlecht. Und dort erfaehrt man auch, dass die NVRAM-Karte der 6240 4GByte hat... ich hatte mit mehr gerechnet.

Gestern hatte ich folgenden Spaß mit ZFS:

  pool: raid

 state: ONLINE

 scrub: none requested

config:



	NAME        STATE     READ WRITE CKSUM

	raid        ONLINE       0     0     0

	  mirror    ONLINE       0     0     0

	    ada1    ONLINE       0     0     0

	    ada2    ONLINE       0     0     0

	cache

	  ada2      FAULTED      0     0     0  corrupted data

	  ada1      FAULTED      0     0     0  corrupted data



errors: No known data errors

Die Cache-Devices hätten ada3 und ada4 sein sollen, sind sie aber nicht. zpool export/import bringt keine Verbesserung. Natürlich kann ein Device nicht gleichzeitig Daten- und Cache-Device sein. Lustigerweise kann man die Cache-Devices jetzt nicht removen (weil der pool denkt, man würde das gleichnamige Datendevice entfernen) und auch nicht replacen (weil der pool weiß, dass man Cache-Devices nicht replacen kann).Die Lösung lautet: Spiegelhälfte detachen, dann kann man das gleichnamige Cache-Device removen. Dann attach und Rebuild und das Gleiche mit der anderen Seite noch mal.