Internet sehr langsam

Abhängig vom Router kannst du unter Umständen in dessen Protokolldatei herausfinden, welche IP (Rechner) dieses erzeugt.

Oder was passiert wenn nur dein Rechner am Netz hängt und die anderen ausgeschaltet sind. Aktivität sollte bereits an Kontrollleuchte vom Router oder Netzwerkkarte erkennbar sein

Mein Router zeigt diese Protokolldatei leider nicht an.
Also wenn nur ein Rechner dran hänkt bleibt er meistens konstant. Jedoch sobald 2 oder 3 dran sind nicht mehr. 

Zeigt der Router per LED den Datenverkehr an den einzelnen Anschlüssen an um herauszufinden, welcher den Netzverkehr verursacht.

Kann dies nicht sagen, da hier auf dem 1 Etage ein Pc steht und auf dem 2 Etage 2 Pc's und im Keller auch noch ein Pc.
Komme vom der Dsl Leitung auf meinem modem router. Darauf hin verbinde ich diese mit einem Wlan Router.Da hänkt auch der Pc (von wo ich schreibe) auch dran. Danach gehe ich vom Wlan router über einen Steckdosen Adapter auf den 2 Etage und von da direkt auf einen switch.Da ist der Rest von den Pc's angeschlossen. Jedoch hänkt an diesem switch auch nocht ein wlan router.

Auch jetzt wenn nur ein Pc dran ist (der auf dem 1 Etage) geht mir die Verbindung oft weg. Laut meinem Provider ist die Verbindung jedoch in Ordnung.Was mir aber auch aufgefallen ist, ist dass das Problem öfters so gegen abend kommt.

Also hängt deiner (1Etage) per Kabel am LAN ?

Modem -> W-Lan Router -> Switch -> W-Lan Router - PC2+3
                    -> Lan -> PC 1. Etage

 ???

ja etwa in die richtung
Jedoch ist jetzt nur ein pc am ersten wlan router angeschlossen und der rest nicht

Und dieser per Kabel und nicht per W-Lan um diese als Fehler auszuschließen.

Einmal einen Neustart des Routers gemacht (vom Strom nehmen, keinen! Reste)

alles schon probiert, führt aber zu keinem positiven ergebnis

Ach, da du ja noch ein extra Modem, nicht integriert im Routers hast, diesen ebenfalls mal vom Strom nehmen für einen Neustart.
Modem + Router vom Strom. Erst Modem anklemmen und nach 2 Minuten Wartezeit erst den Router