Как-то странно было бы, если бы Фиделиус работал по принципу "все дружно забыли адрес". Что, и в записной книжке ни у кого не записано, где Поттеры живут? А если враг случайно мимо пройдет и в окошко увидит? По-моему, Фиделиус должен скрывать место буквально, в некое, условно говоря, подпространство, подобно чарам Незримого Расширения. А называние адреса просто символический акт такой.