Nachdem viel über Kabel diskutiert wurde kurz zu Deinem Problem:
Du hattest vorher Unitymedia, jetzt DSL. VDSL?
Über Kabel (Gigabit) kann unter guten Bedingungen die Latenz minimal sein, dann VDSL (Je schneller, um so geringer die Latenzen), zum Schluss DSL klassisch.
Es gibt viele Störfaktoren, die die Latenzen runterbringen: Überlastete Server des Providers, Fehler oder Defekte Hardware bei der Vermittlung).
Nachdem Du gewechselt hast, war die Verbindung schonmal besser?
Ansonsten stelle ich mir die Frage, wie alt die Buchse ist, mit der DSL ins Haus kommt.
Bei mir war es eine alte Postbuchse, die falsch angeschlossen war. Nach dem Austausch war alles bestens, vorher pro Tag 50-100 Verbindungsabbrüche und hohe Latenzen inklusive.
Dein langes Netzwerkkabel wird mit sehr hoher wahrscheinlich keine Auswirkung auf die Latenzen haben, sollte die Kontakte sicher in den Endgeräten stecken.