Az épület része volt a királyi palotának, amíg a király a XIV.század végén a Louvre-ba nem költözött. 1391-től az első párizsi börtönként működött. Azért nevezték így (concierge házfelügyelő, kapus), mert itt volt a börtönfelügyelő hivatala, aki a király igen magas rangú hivatalnokának számított. Négy híres tornya van, a Tour de l'Horloge és a Tour Bombée (vagy Bon Bec) az épület két oldalán, további két torony pedig - a Tour de Cesar és a Tour d'Argent - a korábbi főbejáratot fogják közre.
A Tour de l'Horloge-ban található az első párizsi utcai óra, a Tour d'Argent-ben pedig a királyi kincstár volt.
Amíg börtönként működött nagyon sok rab halt meg itt, többek között olyan hírességek, mint Ravaillac, Marie-Antoinette, Danton vagy Robespierre.
1793-94 között 2780 halálra ítélt férfit és nőt tartottak fogva az Antichambre de la guillotine-ban ( a guillotine előszobájában), innen vitték őket a mai Concorde-térre, ahol a lefejezés várt rájuk.