Belastung der (Netzwerk-) Hardware - Wie weit darf Logging gehen?

[tiermutter]

Moin,

ich würde gerne eure Meinung zu einem Thema hören, das mich schon seit geraumer Zeit immer mal wieder beschäftigt:
Was ist der Sinn und Unsinn vom Logging diverser Ereignisse und wie weit darf das Logging gehen, um die Hardware nicht unnötig zu belasten?

In meinem Fall geht es um eine OPNsense mit AdGuard Home, das Thema ist aber eher global und nicht auf darauf beschränkt.

Als ich mit OPNsense angefangen habe, habe ich noch fast alles geloggt, also insbesondere DNS Anfragen und Firewall-Regeln.
Um das System nicht unnötig zu belasten habe ich das Logging von Firewall-Rules / pf mittlerweile auf ein Minimum reduziert, sodass nur noch ein paar Regeln geloggt werden über deren "Trigger" ich gerne informiert bin, das sind aber nur eine Handvoll Log-Einträge alle paar Tage.
Auch das System-Logging habe ich mittlerweile auf Fehler und Warnungen beschränkt. In beiden Fällen aktiviere ich das (vollständige) Logging nur noch zur Fehlersuche, etc.
Beim DNS (AdGuard) logge ich weiterhin alles, insbesondere die Anfragen, davon mag ich mich zwecks "Überwachung" ungerne trennen. Hier kommt natürlich auch die größte Last Zustande, mit über 1000 Einträgen je Stunde (im Schnitt).

So wirklich greifbar ist die dadurch verusachte Belastung der Hardware für mich aber nicht... Um RAM mache ich mir wenig Sorgen, ebenso wie um Speicherplatz. Die CPU scheint davon recht unbeeindruckt zu sein, nur auf die SSD wird natürlich ständig geschrieben.
Wie seht ihr das? Mache ich mir da zu viele Gedanken oder gibt es noch weitere, evtl. sogar gravierende Nachteile durch "zu viel" Logging?

 

[the other]

Moinsen,
naja, wenn deine Hardware da locker mitmacht, dann wäre DAS ja zumindest kein Grund für "weniger" logging.

Ich komme aus dem QM-Bereich (ja, nicht sonderlich beliebt, I know). Mit Kennzahlen oder eben in diesem Fall Log-Daten ist es imho immer so eine Sache:
einerseits will mensch alles auslesen, was die Systeme so hergeben. Andererseits bleibt dann aber auch die Frage zu stellen: wer wertet das dann alles aus?

Ich sehe die Gefahr in einer bedarfsfreien routinemäßigen Datensammlung immer darin, dass mensch sich am Anfang noch alles relativ genau anschaut, ggf. auswertet, interpretiert.
Wenn dann aber nach einigen Wochen der "Reiz" verflogen ist, dann werden da weiterhin diverse Daten generiert. Meist sind davon 80 % für die Tonne, nur 20 % relevant und davon wiederum nur ein kleiner Teil WIRKLICH zu beachten. Die Gefahr besteht dann eben darin, dass vor lauter Datenüberschuss die wirklich wesentlichen im Nirvana verschwinden bzw. schwieriger zu finden sind.

Insofern: ich würde nur das mitschneiden, worauf es wirklich ankommt bzw. die Tiefe der geloggten Daten individuell reduzieren.
Da ich hier nur 2 User im Netz habe, überschaubare Anzahl an Clients und keine Dienste nach außen anbiete sowie das alles rein privat als Hobby betreibe...habe ich da zuletzt auch etwas reduziert.
Zwischenzeitlich hatte ich just for fun (und zum Rumprobieren) auf ner Raspi mal CheckMK laufen...ja, nett, ja, informativ...nein, nicht wirklich wichtig und die "Fehlermeldungen" ohne wirkliche Bedeutung haben mehr genervt als geholfen...

 

[tiermutter]

wer wertet das dann alles aus?

Na ich Immer wieder mal nebenbei zB vom Sofa oder beim einer Zigarette... zB beim DNS was sich da so rumtummelt und ob nicht manche Anfrage geblockt werden muss.

dass vor lauter Datenüberschuss die wirklich wesentlichen im Nirvana verschwinden bzw. schwieriger zu finden sind.

Keine Frage... ich werte das ja auch nicht komplett aus, aber mal durch die Anfragen gescrollt ergibt dann schon immer mal wieder was.

Manchmal ist es ja auch so, dass man bei Bedarf schauen will, was vor einiger Zeit war... irgendwann ging es zB mal darum, wie oft der jeweilige ISP ein neues v6 Präfix vergibt.
Das wird bei mir mittlerweile gar nicht mehr geloggt, damals konnte ich es nicht ausfindig machen, weil das Log "nur" 6 Monate beinhaltete. Wäre schön gewesen, das zu wissen.

Größte Sorge habe ich eigentlich vor dem SSD Verschleiß... habe zwar Ersatz, aber auf Austausch habe ich auch nicht sooo die riesen Lust

 

[blurrrr]

Najo, für den Hausgebrauch sollte man es vllt einfach nur auf "Fehler" beschränken. Im Fall der Fälle "kurzzeitig" mal - zwecks Fehleranalyse - auf "Debug" umstellen. Wenn Du es dennoch ausführlich haben willst (oder eine Menge Hosts zu loggen hast), wäre sich der Einsatz eines zentralen Logging-Systems empfehlenswert (z.B. Graylog). Da dieses System es dann aber von allen Seiten abkriegt, sollten es schon SSDs sein (IOPS). Da diese dann aber ebenfalls 24/7 beschrieben werden, sollte man den Abnutzungswert (Wearout) schon besser im Blick haben.

Was die "Unübersichtlichkeit" angeht, solche Systeme verfügen auch über entsprechende Filter-Mechanismen, die "rohe Masse" betrachtet man eher selten bzw. eher garnicht Ebenso sind auch Benachrichtigungen bei entsprechenden (vorher definierten) Vorkommnissen möglich, also schaut man eigentlich auch nur noch rein, wenn man irgendwas genauer wissen will, oder sich generell einen Überblick verschaffen möchte.

P.S.: 1000 Einträge pro Sekunde sind mitunter quasi "nichts", wenn Du sehr ausführlich bei vielen Hosts/Diensten loggst.

 

[Barungar]

Tipp von mir... so mache ich es.

Ich habe einen recht hohen Logging Level auf den Systemen selbst. Zusätzlich habe ich aber auf allen Systmen auch SYSLOG eingerichtet. Hier bin ich restriktiver. Eigentlich nur noch die oberen Ebenen im Bereich Error oder Warning gebe ich weiter.

Das hat für mich den Vorteil, die wirklich wichtigen Sachen, sehe ich zentral an einer Stelle. Und falls ich mehr wissen will, kann ich immer noch einen Blick in das lokale Log der Systeme werfen.

 

[Tommes]

Meist sind davon 80 % für die Tonne, nur 20 % relevant und davon wiederum nur ein kleiner Teil WIRKLICH zu beachten [ ... ] ich würde nur das mitschneiden, worauf es wirklich ankommt

Ich hab für die Synology mal ein GUI Programm geschrieben um sich alle /var/log Einträge anzeigen zu lassen und auch, um darin zu suchen. Wenn man also weiß, wonach man sucht, dann ist so ein Log schon eine feine Sache, egal wieviel geloggt wird. Einfach nur z.B. die /var/log/messages durch zu scrollen um zu schauen, ob man was interessantes findet, halte ich dagegen für nicht zielführend. Auch habe ich in einem anderen Programm, welches ich mal geschrieben habe, einfach alles mit loggen lassen um möglichst viele Inforationen bereit zu stellen. Je öfter ich das Programm hab durchlaufen lassen, um so mehr Logeinträge wurden wieder auskommentiert, weil es einfach nicht zielführend und teilweise auch nichtssagend war. Grad Linuxsysteme sind ja ein Profis darin, alles mögliche zu loggen. Ich halte dieses Vorgehen teilweise für ein wenig übertrieben. Meine Meinung.

Von daher... wenn du dir aus der Menge an Informationen die wichtigen Informationen rausfiltern kannst, dann klar... so viel wie nur möglich loggen und dann entsprechen filtern. Wenn man aber Gefahr läuft, durch den ganzen Informationsfluss einer Reizüberflutung zu erliegen und durch den dadruch entstehenden Kontrollzwang vielleicht anfängt, paranoide Züge zu entwickeln, sollte man sich Gedanken machen.

Ich denke auch, das es heutigen Systemen ziemlich egal ist, mit wievielen Logeinträgen diese permanent penetriert werden. Aber auch hier wieder: Meine Meinung! Aber gut...

 

[-jody-]

Hallöle,

also die Gedanken um eventuelle Performanceeinbußen sind heutzutage wohl obsolet

Was Art und Umfang der Logs betrifft, kann man sicherlich unterschiedlicher Meinung sein, von daher kann Dir keiner raten oder abraten, welche Logs Du konservieren möchtest.

Wenn Du auf Deinem NAS noch ausreichend Platz hast, kannst Du dort Deine Logs an zentraler Stelle ablegen. (wurde ja schon gesagt Was ich Dir empfehlen würde, wären nur die Ereignisse zu loggen, die eine besondere Bedeutung für Dich haben (z.B. bestimmte FW-Ereignisse, DNS Aufrufe etc.) Damit diese nicht unnötig die Platte vollschreiben, kannst Du sie ggf. noch durch einen Parser laufen lassen.

Was das Verhältnis von sinnvollen/nutzbaren Logs zur grauen Masse angeht, denke ich, das es für den "Heimanwender" eher bei 95:5 liegt.
Das berühmte Lieschen Müller oder Herr Normalverbraucher wird nur in die Logs schauen, wenn etwas nicht so funktioniert, wie es soll, oder aus Langeweile (Vorausgesetzt, der genannte Personenkreis weiß überhaupt wo er schauen könnte....

Bei mir landen bestimmte Ereignisse der Firewalls per Mail direkt auf Handy und der Rest fällt in der Regel dem "Purge" nach dem Log-Rotate zum Opfer, außer es besteht die Notwendigkeit zur tiefergehenden Analyse....

Für den kommerziellen Bereich sieht das Ganze schon wieder anders aus, insbesondere wenn personenbezogene Daten im Spiel sind! Hier wird geloggt, was geht, Alarme und automatische Incidents generiert und die Firewall wird im 4-Augenprinzip 24/7 bewacht !
...ob das allerdings die Sicherheit erhöht bzw. zu einer erhöhten Sicherheit beträgt, stelle ich mal Frage!