Das ist mit Sicherheit kein Router, sondern ein DSL-Modem. Das kannst du nicht als Router verwenden.
Wenn du zwei PCs direkt verbinden willst, dann nimm ein Crossover-Netzwerkkabel, verbinde die beiden PCs und vergib den beiden PCs feste IP-Adressen, z.B.:
PC 1: 192.168.1.1
PC 2: 192.168.1.2
Beide bekommen die Subnetzmaske 255.255.255.0, den Rest kannst du freilassen. Wenn du bei beiden PCs die Arbeitsgruppe gleich benennst (Geht über Systemeigenschaften -> Computername -> Ändern), dann sollten sich die beiden PCs auch in der Netzwerkumgebung sehen. Ansonsten solltest du durch Eingabe von \\192.168.1.1\ bzw \\192.168.1.2\ im Windowsexplorer die Freigaben der Rechner sehen).
Wenn das nicht klappt, teste einen Ping auf den anderen Rechner, um im obigen Beispiel zu testen, ob vom PC 1 ein Ping auf PC 2 geht, gib folgendes ein: START -> Ausführen -> cmd -> Ok. Im erscheinenden Kommandofenster gin "ping 192.168.1.2" ein. Wenn die Meldung "Zeitüberschreitung" erscheint, dann klappt die Verbindung nicht. Überprüfe dann die Kabel und ob auf beiden Rechnern die Netzwerkkarten korrekt funktionieren (und vor allem, ob sie auch aktiviert sind). Versuche auch auf beiden Rechnern ein "ping 127.0.0.1". Sollte nicht mal das klappen, könnte es sein, dass in den LAN-Einstellungen liegen, evtl. ist das TCP/IP-Protokoll deaktiviert.