Christian IV havde skænket en del af grunden til sin elskerinde Vibeke Kruse som en „lyst- og køkkenhave“ og derfra gik den i arv til Ulrik Christian Gyldenløve. Siden bliver grunden overdraget til Ulrik Frederik Gyldenløve, som får skøde på den i 1669.

thumb|300px|Charlottenborg i 1870'erne Opførelsen af Gyldenløves Palais, som det oprindeligt blev kaldt, begyndte den 3. april 1672 og stod på mens Gyldenløve mest opholdt sig i Norge. Det stod som en trefløjet bygning i 1677. I 1683 blev slotsgården lukket da der blev bygget en lavere fjerde fløj ud mod slothaven der lå langs den ligeledes nyopførte Nyhavnskanel ned til vandet. Efter Christian 5.'s død i 1699 overtog dronningen, Charlotte Amalie, palæet som enkesæde den 5. juni 1700 for en sum af 50.000 kronedaler. Herefter blev det kaldt Charlottenborg.

Efter enkedronningens død i 1714 gik det i arv nogle gange for så at havne hos Christian VI. Det blev renoveret i 1736-37 og fik skiftende anvendelser og beboere for en periode. Således lagde det hus til bl.a. Det musikalske Societet, Kjøbenhavnske Assignation-, Vexel- og Laanebank, Christianhavns tyske Kirkes Lotteri, og Det kgl. danske Selskab til den nordiske Histories og Sprogets Forbedring. Der var også blevet indrettet en lille teatersal som blev anvendt til koncerter, operaer og skuespil.

Alle disse aktiviteter måtte dog efterhånden vige da kunsten tog over. Kunstakademiet var blevet oprettet i 1701 og den tilhørende skole, „Male- og Tegneakademiet“ var kommet til i 1744. I 1753 overtog skolen en stor del af Charlottenborg og i 1787 blev palæet endeligt overdradet til akademiet som ejendom - dog med undtagelse af en periode efter Københavns brand i 1795, hvor et antal institutioner midlertidigt flyttede ind.

Parken, som også var overdraget til akademiet, blev i 1778 omdannet da Københavns botaniske have her fik sin tredje placering. Botanisk Have flyttede videre til sin nuværende placering i 1874 da voldene blev sløjfet, og akademiet brugte nu i stedet sit haveareal til at opføre en udstillingsbygning som stod færdig i 1883. Bygningen blev tegnet af de to arkitekter Albert Jensen og Ferdinand Meldahl.

Udstillingsbygningen gennemgik en omfattende renovering i 2007-08, hvorunder stedet forandrede navn fra udstillingsbygning til 'Kunsthal Charlottenborg' for at signalere et brud med en stagnerende historie og markere en skifte til en mere visionær fremtid<ref>[http://www.berlingske.dk/article/20080108/kultur/701080032/ Nyt liv på Charlottenborg - refleksioner af Torben Weirup i Berlingske 8/1-2008]</ref>.

Charlottenborg huser stadig flere institutioner med tilknytning til kunstverden. Desuden afholdes der udstillinger i udstillingsbygningen.