Der Grundstein für den Palazzo Cesi wurde fast zeitgleich mit der Gründung der heutigen Basilika St. Peter gelegt.
Kardinal Francesco Armellini begann 1517 mit dem Bau, die Arbeiten wurden 1520 abgeschlossen. Das Gebäude befand sich mehr als 40 Jahre im Besitz der Familie Armellini und wurde dann 1565 an die Familie Cesi verkauft.
Die aus Umbrien stammenden Cesi wurden in wenigen Jahren zu einer aufstrebendsten Familien Roms, dank Peter, einem Senator von Rom, und den drei Kardinälen Paul, Peter und Pier Donato. Pier Donato Cesi war von 1546 bis 1566 Bischof von Narni. Er zog nach Rom, um den Papst in verschiedenen diplomatischen Funktionen zu unterstützen. Nachdem er 1570 zum Kardinal ernannt worden war, restaurierte er gründlich seinen Palast und beauftragte einen lombardischen Architekten, Martino Longhi il Vecchio, der das für Armellini vielleicht von Antonio da Sangallo dem Jüngeren geschaffene Gebäude integrierte, um so Zeit und Geld zu sparen.