Das ist aber normal. Wenn man denn unbedingt den MAC-Filter verwenden möchte - und ich rate nochmal davon ab - dann ist das die übliche Vorgehensweise: Gerät verbinden, im Router einloggen, angezeigte MAC freischalten. Je nach Router gibt es aber auch Eingabefelder, um eine MAC per Hand hinzuzufügen. Das setzt aber voraus, dass man zB erstmal im Smartphone nachgucken muss welche MAC es denn hat.
Aber wie gesagt, MAC-Filter sind sinnlos. Das ist nicht nur meine persönliche Meinung. google mal nach "wifi security mac filter" und du wirst Hunderte von Fachseiten finden, die dir lang und breit erklären warum und wieso ein MAC-Filter wirkungslos bzw. sinnlos ist. Der Aufwand, die MAC-Liste zu pflegen, übersteigt den Nutzen als zweifelhaftes Sicherheitsinstrument um ein Vielfaches. MACs kann man zB schon mit Windows Bordmitteln ändern, dafür braucht man nicht mal ein Pseudo-Hacker-Tool. Das Scannen nach MACs ist auch trivial, kurz gegoogelt, Netzwerksniffer runtergeladen, ab geht's...
Wie dem auch sei, im DHCP-Bereich kannst du - sofern du keine statischen IPs verwendest - die MACs von registrierten Geräten sehen, weil der DHCP eine Adressreservierung erstellt hat. Mit etwas Glück steht daneben auch ein Hostname und du kannst die MAC auch im Kopf einem Gerät zuordnen, im worst case steht da aber nur eine MAC und du hast keinen blassen Schimmer ob es dein Laptop, dein AV-Receiver, dein WLAN-Radio oder auch der Toilettensitz mit Internetzugang ist...
Im ersten Post schreibst du aber etwas davon, dass du MACs aus dem Router löschen willst. Solltest du den MAC-Filter verwenden, müsste dort eben auch eine Liste der freigeschalteten MACs zu sehen sein - auch wenn sie offline sind. Schau sonst mal ins Handbuch des Routers, da müsste das stehen.