Snort wird eigentlich nicht genutzt um einfache Rootserver abzusichern. Wie ich schon gesagt habe wirst du kein Buch finden, das alle Systemdienste unter Linux abdeckt. Sicherheit ist eben leider kein eng abgegrenztes Produkt, sondern es betrifft alle Systemkomponenten.
Der Umgang mit iptables ist aber eigentlich trivial. Und viele Logdateien gibt es unter Linux auch nicht. Die relevanten findest du alle in /var/log und entsprechenden Unterverzeichnissen. Wo du was genau findest hängt aber von der Distribution ab.
Häufig werden so Sachen falsch gemacht wie Useraccounts mit schwachem oder gar keinem Passwort etc. Das sind typische Angriffspunkte, die tagtäglich ausgeschlachtet werden. Ebenfalls kritisch sind Webapplikationen die von außen erreichbar sind (z.B. phpmyadmin, CMS, ..). Sowas kann man zwar aufwändig absichern (chroot, suexec, fcgi, apparmor, mod_security, ..), aber das ist auch eine Frage der Verhältnismäßigkeit.
Am sichersten sind immer die Dienste, die gar nicht vorhanden sind
Spezifische Fachbücher darüber würde ich mir aber nie kaufen (da sehr teuer und schnell veraltet). Für solche Fälle gibt es (Universitäts-)Bibliotheken. Dort findet man je nach Ausstattung doch so einiges.