Der
High Speed Merger (kurz hHSM) sortiert die
Apache Logfiles zu einem zusammen.
Das Problem bei grösseren Webfarmen ist die Verteilung
von Access Logfiles über mehrere Server. Werden jetzt jedoch
Statistiken benötigt müssen diese Logfiles zu einem
grossen Logfile zusammen geführt werden.
Man darf die einzelnen Files nicht einfach so zusammen klatschen,
weil sonst das Statistiktool etwas durcheinander mit den Zeiten
kommt.
Es gibt ein paar Programme die das tun. Jedoch ist keins der Programme
wirklich in der Lage grosse Files in einem verträglichen
Zeitrahmen zu sortieren. Mit grossen Files meine ich Logfiles der
groesse von mehreren hunderten Megabytes, bzw. Gigabytes.
Das letzte Programm benötigte 7 Stunden. Mein hHSM brauchte
für die gleiche Aufgabe nur 20 Minuten. Das mal so nebenbei.