Зоя Палеолог приходилась племянницей последнего византийского императора Константина XI Палеолога, погибшего в 1453 г. при османском захвате Константинополя. Его брат, Фома Палеолог, отец Зои, был правителем Морейского деспотата на Пелопонесском полуострове. В 1460 г., после завоевания Мореи турками, он вместе с семьей бежал в Рим.