Byen er formentlig beliggende på stedet for den gamle latinske by Alba Longa. Et område hvor der senere blev anlagt flere romerske rigmands villaer blandt andet for kejser Domiziano. Castel Gandolfos navn stammer fra familien Gandolfo, der i 1100-tallet beherskede byen. Fra 1279 til 1596 havde Savelli-familien ejerskabet, der fra 1604 dog var en erklæret del af pavestaten. De store bygherrer var pave Urbano VIII, Barberini (1623-44) og så pave Alessandro VII, Chigi (1655-67).
På byens hovedplads Piazza della Libertá finder man pavens sommerresidens Palazzo Papale eller Apostolico.Palazzo Papale –Villa Pontificia
Det første slot blev erhvervet billigt af pave Clemente VIII, Aldobrandini (1592-1605) – han konfiskerede det simpelt hen. Store dele af det nu-værende palads er opført af Carlo Maderno (1556-1629) for pave Urbano VIII.
I 1935 indviede pave Pio XI (1922-1939) “la Specola Vaticano” et efter tidens målestok meget avanceret astronomisk observatorium. Inde i selve paladset liggerChiesa di Ss. Nicola e Michele opført af G. L. Bernini med fresker af Johann Paul Schnor (1615-74). Udover Palazzo Papale besidder Pavestaten også ejendommene Villa Barberini, Villa Cybo og Villa dei Gesuiti disse omtales kort nedenfor. Der er som regel ikke adgang til de pavelige paladser.
Fontana di Piazza della Libertà: Tegnet af Bernini omkring 1630 og udført af Mastro Clemente Volpe. Fontænen hvis rigt profilerede nederst stærkt indsnørede skål repræsenterer en form, som allerede var fastlagt af arkitekten Giacomo della Porta.Chiesa di S. Tommaso da Villanova.
Kirken er opført af G. L. Bernini i perioden 1658-62. Kirken har en meget smuk kuppel og det indre har form som et kortarmet græsk kors. Inden for er der følgende seværdigheder:Kuplen: Stukkatur og de fire evangelister af Antonio Raggi (1624- 86)Højalterramme: Antonio Raggi (sandsynligvis efter tegning af Bernini)Højaltertavle: Pietro da Cortona (1596-1669): La Crocefissione
Sidealter: Guglielmo Cortese – il Borgognone (1628-79): L’Assunzione della Vergine 1661
Chiesa di S. Francesco / dell’Assunta. Beliggende udenfor byen på vejen mod Albano. Kirken blev færdigbygget i 1624 og indviet 1634 som Chiesa dei riformati di S. Francesco. Dette blev senere ændret til Chiesa della Congregazione di Propaganda Fide.
Villa Barberini. Bygget ovenpå kejser Domitians villa. Bygningen kaldes også Palazzina di Taddeo fordi den blev købt mellem 1628-31 af Urban VIII’s nevø Taddeo Barberini. Ved Konkordatet 1929 blev villaen en del af Pavestaten Palazzo Cybo (del Moro). Bygget af arkitekten Francesco Fontana (1668-1717) og erhvervet 1717 af kardinal Camillo Cybo.Villa dei Gesuiti.Oprindeligt blev villaen købt af Jesuitterne men senere købt af Torlonia-familien for endelig i 1963 købt af Vatikanet. Skulle der være adgang kan man indenfor finde: Cappella degli Ibernesi:* Gaetano Sortini(1757-1758) fem altertavler:- Madonna med barn og S. Ignazio skrivende,
– S. Francesco Saverio,
– S. Francesco Regis,
– S. Francesco Borgia,
– S. Stanislao Koska
Tidligere ejet af Giustiniani familien, hvis hovedpalads ligger inde i Rom mellem Pantheon og Piazza Navona, dette er i dag sædet for senatets formand. Villaen blev erhvervet af Giovanni Torlonia og ombygget af den romerske arkitekt Giuseppe Valadier 1817 (Valadier havde også ansvaret for omlægningen af Piazza del Popolo ). På facaden er der en gavlskulptur af Berthel Thorvaldsen: “Apollon spiller på sin lyre mellem hyrder”. Indenfor er der malerier af Fr. Coghetti (1804-75) og Ludovico Seits (1844-1908)Villa Albani (del Drago) Bygget af kardinal Alessandro Albano i perioden 1740-1758. Villaen blev i 1800-tallet købt af Del Drago familien
