Harry Sher wurde als der Sohn einer Deutschen und eines Juden in Litauen geboren. Die Eltern sprachen zu Hause nur Deutsch, wenn sie nicht wollten, dass die Kinder es verstanden. Seine Mutter zog nach dem Tod des Vaters nach Deutschland und Sher folgte ihr 1977.