Σε ένα μεγάλο τηγάνι βάζουμε 2 κ.σ. ελαιόλαδο και προσθέτουμε το κρεμμύδι ψιλοκομμένο. Σοτάρουμε για 4 λεπτά και προσθέτουμε τις σκελίδες σκόρδου ψιλοκομμένες. Σοτάρουμε λίγο ακόμη και τα βγάζουμε σε ένα μπολάκι, αδειάζοντας το τηγάνι.
Προσθέτουμε στο τηγάνι μας τις υπόλοιπες 2 κ.σ. ελαιόλαδο και προσθέτουμε τα μανιτάρια κομμένα στα τέσσερα. Σοτάρουμε σε μέτρια φωτιά για 6 λεπτά περίπου.
Σε ένα μεγάλο μπολ βάζουμε τα αυγά μας, το αλάτι, το μαυροπίπερο, το γάλα και χτυπάμε με ένα σύρμα.
Προσθέτουμε στα αυγά το σοταρισμένο κρεμμύδι και τα σοταρισμένα μανιτάρια. Προσθέτουμε τα τυριά και το μπρόκολο και ανακατεύουμε ελαφρά.
Σε ένα βουτυρωμένο ταψάκι 20 x 20 εκ. απλώνουμε το ψωμί μας που το έχουμε κόψει σε κύβους και πάνω στο ψωμί αδειάζουμε, με μια κουτάλα, το μείγμα αυγών να πάει ομοιόμορφα παντού.
Ψήνουμε σε προθερμασμένο φούρνο στις αντιστάσεις στους 175° C για περίπου 1 ώρα.