Nach dem gescheiterten Hitlerattentat vom 20. Juli 1944 holte die Geheime Staatspolizei Alfred von Hofackers Mutter und seine beiden älteren Geschwister ab. Wenige Wochen später wurden auch Alfred von Hofacker und zwei weitere Geschwister ihrem Zuhause entrissen und an verschiedenen Orten unter falschen Namen untergebracht. Dass sein Vater Cäsar von Hofacker an dem Hitlerattentat beteiligt gewesen war, erfuhr er erst nach dem Zweiten Weltkrieg, obwohl er im Kinderheim Bad Sachsa mit den Kindern der von Stauffenbergs wohnte.