Meine kleine Homepage
Programmierung - High Speed Apache Log Merger
Der High Speed Apache Log Merger ist ein kleines Programm welches mehrere Apache Logfiles von mehreren Servern zu einem grossen Apache Log zusammenstellt und dabei die Reihenfolge der Hits, anhand des Datum, beachtet
Wenn mehrere Server via Loadbalancer eine Seite ausliefern sollen, so befinden sich die Hits der Benutzer mischit in den einzelnen Logfiles auf dem Server.
Sofern man jedoch Statistiken mit Webalizer auswerten will und diesen sinnvollerweise inm Inkrementalmodus betreibt müssen die einzelnen Logfiles der Server zu einem grossen Logfile zusammengeführt werden
Jedoch müssen die Logfiles alle nach Datum sortiert werden, weil sonst der Inkremental Mechanismus vollkommen versagt
Es gibt bereits ein Programm mit dem Namen ha-sort, das mag für kleinere Logfiles reichen, nicht jedoch wenn es grosse Logfiles von vielen Servern ist
20 Webserver mit etwa 500.000 Hits pro Stunde pro Server ist bisher das größte Einsatzgebiet der Mergers bisher bei mir gewesen. Die Arbeit konnte auf einem 2 GHz mit 4 GB Ram System in etwa 5 Minuten abgehandelt werden. Die Statistiken waren also immer nach etwa 10 Minuten hoch aktuell
Das Programm wird einfach mit den Logfiles die man sortieren möchte aufgerufen. Das Ergebnis landet auf dem stdout Kanal und sollte, sofern man das Ergebnis braucht, umgeleitet werden. Zusätzlich können die Optionen -v verwendet werden, auch zwei mal, wenn man mehr Debugging braucht
Beispiel :
hHSM -v access_log-200206[0-9]* >access_log-200206 2>debug
Die History ist hier zu finden
FreeBSD 4.x Intel Diese Version ist für FreeBSD 32bit Intel
Linux Intel Diese Version ist für Linux 32bit Intel
Solaris Sparc Diese Version ist für Solaris SPARC 32bit
Einsatzgebiet
Wenn mehrere Server via Loadbalancer eine Seite ausliefern sollen, so befinden sich die Hits der Benutzer mischit in den einzelnen Logfiles auf dem Server.
Sofern man jedoch Statistiken mit Webalizer auswerten will und diesen sinnvollerweise inm Inkrementalmodus betreibt müssen die einzelnen Logfiles der Server zu einem grossen Logfile zusammengeführt werden
Jedoch müssen die Logfiles alle nach Datum sortiert werden, weil sonst der Inkremental Mechanismus vollkommen versagt
Es gibt bereits ein Programm mit dem Namen ha-sort, das mag für kleinere Logfiles reichen, nicht jedoch wenn es grosse Logfiles von vielen Servern ist
Größtes Einsatzgebiet
20 Webserver mit etwa 500.000 Hits pro Stunde pro Server ist bisher das größte Einsatzgebiet der Mergers bisher bei mir gewesen. Die Arbeit konnte auf einem 2 GHz mit 4 GB Ram System in etwa 5 Minuten abgehandelt werden. Die Statistiken waren also immer nach etwa 10 Minuten hoch aktuell
Man Page - Benutzung
Das Programm wird einfach mit den Logfiles die man sortieren möchte aufgerufen. Das Ergebnis landet auf dem stdout Kanal und sollte, sofern man das Ergebnis braucht, umgeleitet werden. Zusätzlich können die Optionen -v verwendet werden, auch zwei mal, wenn man mehr Debugging braucht
Beispiel :
hHSM -v access_log-200206[0-9]* >access_log-200206 2>debug
History
Die History ist hier zu finden
Downloads
FreeBSD 4.x Intel Diese Version ist für FreeBSD 32bit IntelLinux Intel Diese Version ist für Linux 32bit IntelSolaris Sparc Diese Version ist für Solaris SPARC 32bit