Omstreeks 1675 verhuisden verschillende vermogende Sefardische families uit Amsterdam naar Den Haag, om hun zakelijke banden met het landsbestuur in Den Haag beter te onderhouden. Zij vestigden zich in de omgeving van het Binnenhof, o.a. aan het fraaie Voorhout.