Das hängt tatsächlich mit dem zu kleinen Loch zusammen. Die AF-Sensoren funktionieren ähnlich wie ein Schnittbildindikator. Sie gucken in verschiedene Richtungen in die Linse und wenn in jeder Richtung dasselbe zu sehen ist, ist das Objekt im Fokus. Wenn nicht, hat man Verschiebungen. Wenn nun aber "das Loch zu klein" ist, sieht der Sensor nix, bzw. die innenseite des Objektives (natürlich alles vereinfacht). Ein Schnittbildindikator wird auch so ab f/8 unbrauchbar. Entscheidend ist aber hier nicht die Lichtstärke, sondern die geometrische Öffnung. Beim 500 Reflex schattet der Umlenkspiegel in der Mitte etwas ab, deshalb ist die Lichtstärke geringer als die geometrische Öffnung, welche wohl tatsächlich um die f/6.3 herum liegt.
Am Kontrast ansich kann es ja nicht liegen, oder nimmt bei euren Objektiven der Kontrast bei f/8 schon ab? Beim 50/1.7 dürfte demnach der AF auch nicht bei Offenblende funktionieren

.
Und an der Lichtmenge? Wenn der AF Tagsüber mit f/8 nicht funktioniert, dann dürfte er abends in der Wohnung garnicht funktionieren, wenn es daran läge. Und ein ein Polfilter der um die zwei Blenden schluckt müsste bei einem f/4-f/5.6 den AF stark stören.