Der kleine Pavillon hat es nicht immer leicht gehabt: Als Erfrischungspavillon 1809 zu Zeiten des Herzogs Friedrich Franz I. gebaut, später als Bibliothek genutzt, verkam er zu DDR-Zeiten zum Toilettenhaus, das aber immerhin nur ein kleiner Teil des Hauses war. Ab 1985 war der größte Teil des Pavillons eine Galerie. Nach der Wende verschwand die öffentliche Toilette vom Kamp und der ganze kleine Pavillon wurde zur Galerie im Herzen der Stadt. 1994 und 1995 wurde das Denkmal umfangreich restauriert und in den Originalfarben Rot, Ocker, Schwarz und Gold wiederhergestellt und zu einem kleinen Teil die originale Ausmalung wieder freigelegt.
Für besondere Aufmerksamkeit sorgte die Installation des Künstlers Zhu Yunwei, weil sie den Außenbereich mit ausfüllte. Eine ganze Serie passend zum Baustil der Chinoserie asiatische Künstlernamen waren LI Qinang (China), OKADA Kao, KAWASAKA Yuriko und MUROTA Izumi (alle Japan), die 2010-2011 in „Von 10 zu 11 – Mecklenburg inspiriert“ ausstellten. Für Einheimische ist insbesondere die Ausstellung „Verlorene Gebäude“ im Jahre 2011 in Erinnerung geblieben.
Betrieben wird die Galerie durch den Kunstverein „Roter Pavillon“ und der hat es auch nicht immer leicht gehabt, denn Galerien sind nun gerade nicht wirtschaftliche Selbstläufer. Ohne Förderung durch die Stadt hätte der Verein wahrscheinlich bei allem Engagement seiner Mitglieder nicht so lange durchgehalten.
Im Frühjahr 2017 war es dann mal wieder so weit: Der Verein geriet in Gefahr, weil es zu wenig Mitstreiter gibt und somit der für einen Verein dringend nötige Vorstand nicht zu Stande zu kommen drohte. Die Berlinerin Eva Firzlaff wurde bei einem Besuch in Bad Doberan darauf aufmerksam und nahm Kontakt zu Vorstandsmitgliedern auf.
Die sahen in der freien Journalistin wohl auch gleich eine Rettung und machten sie zur Vorsitzenden. Die Künstlerin Gudrun Poetzsch wurde zur Stellvertreterin und ein weiteres Mitglied in den Vorstand aufgenommen. Damit erlebt der Verein Roter Pavillon auch gleich einen Wechsel, denn die alten Vorstandsmitglieder scheiden auf eigenen Wunsch aus, weil sie das Ehrenamt zeitlich oder aus Altersgründen nicht mehr ausfüllen können.
Jetzt soll ein neues Konzept erstellt werden, mehr regionale Künstler sollen ins Boot geholt. Aktuell läuft die Ausstellung „Büchersendung“ von Kunststudenten des Caspar-David-Friedrich-Instituts Greifswald, die unter Leitung des Dozenten Nils Dicaz, Maler und Grafiker, in den Druckgrafischen Werkstätten des Instituts entstanden. Die Ausstellung endet am 28. Oktober und am 3. November eröffnet die Ausstellung „Papier-Installationen“ von To Helbig anlässlich der Wintergalerie.