Das mit der DMZ hatte ich ja gleich geschrieben. Allerdings ist das keine wirkliche Lösung für dein Problem, da du dann nur einen der Computer vom Keller aus erreichen kannst.
Der Fehler ist --wie geschrieben -- dass du den WAN Port verwendet hast.das ist für dein Setup falsch! Hänge die Leitung aus dem Keller an einem der 4 LAN ports und vergib allen Rechnern IPs aus den selben subnet.
Mehr gern per ts, wenn ich nicht gerade in der S-Bahn sitze