Ziel war es die Dateien möglichst schnell zu sortieren. Ganz
gleich was es kostet oder es an Hardware benötigt.
Der hHSM kümmert sich nicht wirklich um Speicherprobleme.
Die Maschine wo 4 Dateien mit je 1,8 GB zu einer grossen sortiert
werden soll (7,6 GB) sollte schon etwas RAM haben.
Zwischen 600 MB und 'n Gig RAM sollte die Kiste schon haben.
Ein Directattach SCSI RAID ist auch sinnvoll, aber nicht nötig.
Platz auf der Platte wär auch ganz toll :-)
Speicherverbrauch
Der Speicherverbrauch errechnet sich auf die einzelnen Zeilen der
Dateien. Pro Zeile verbraucht er etwa 20 Bytes. Hat man nun etwa
50 Millionen Zeilen (Hits) dann braucht man etwa 'n Gig
Hauptspeicher. Wär klasse wenn es kein SWAP ist, weil dann
kann man auch ha-sort nehmen :-)
Es gilt : Je mehr Speicher drinn ist, desto besser. Legt man o.g.
Formel zur Grundlage und rechnet noch etwas drauf, dann
liegt man auf der sicheren Seite. Am besten schaut man sich das ganze
dann mit top an, da einige Versionen mehr oder weniger
brauchen.
Massenspeicher
Wer wirklich Performance haben will sollte ein schnelles RAID
mit U2W oder mehr anschliessen. Aber eine NetAPP tut es auch,
sofern die mit GigE angeschlossen ist. Platz sollte vorhanden
sein im Überfluss :-)
Jedes Files wird mehrfach gescannt. Logfiles auf einem NFS Server oder
mehrere grosse Files auf einer einzelnen langsamen Platte sind nicht
zu empfehlen. Das dauert dann nicht nur sehr lange, sondern macht auch
die Platte kaputt, oder das Netzwerk dicht.
Performance
Das Programm ist auf extreme High Performance getrimmt. Werden
o.b. Datenmengen auf einer NetraX1 mit 128 MB RAM ausgeführt,
komme ich persönlich vorbei um zu prügeln .....
Probleme
Probleme treten dann auf, wenn z.B. eine Logdatei irreparabel
beschädigt wurde. Man kennt es ja, wenn die Platte zuläuft
und das Accesslog sehr merkwürdig aussieht. Der hHSM fängt
solche Fehler nicht ab, sondern coret dann sofort. Er mag es nicht,
weil er nix prüft, wie gesagt ich brauchte ein schnelles Ding.