Pour moi, j'ai toujours vu Hagrid comme gardien du secret à Poudlard. Simplement parce qu'il faut que les nouveaux élèves entendent "le lieux" avant de le voir... or, que fait Hagrid ? Il accueille les nouveaux élèves et leur déclare avec emphase "et voici Poudlard".
Personellement, vu la taille du château, je serais tenté de répondre "bah, merci, on avait vu". Mais non... j'irai pas jusqu'à dire que c'est parce que, justement, "on avait pas vu", mais bon...
Après, Hagrid est un demi-géant, plutôt costaud, ça aide.
Il est aussi "gardien des clef et des lieux", un titre qui a été créé pour lui, mais qui n'est pas la fonction de Garde-Chasse, puisqu'il y en avait un avant lui (un dénommé Ogg). Plutôt que d'y voir une incohérence de Rowling, je préfère y voir l'indication d'un rôle plus important.
On sait que Dumby est friand du fidélitas, et rien ne nous dit que le sortilège pesait sur Poudlard avant lui* (les anciens directeurs ne le connaissaient peut-être pas, ou ne ressentaient pas le besoin de l'utiliser ; Dumbledore "règne" sur Poudlard durant la période la plus troublée du monde magique et a sans doute renforcé les défenses).
Donc, pour moi, tout pointe vers Hagrid.
Si c'était Peeves, les premières années ne pourraient jamais accéder au château, vu que l'esprit ne les accueille pas avant qu'ils soient entrés en général.
*Rien ne dit qu'il pèse actuellement, mais assumons.