Az emberi település legkorábbi jelei a területen 800 körül jelentek meg. A korai telepeseket valószínűleg a könnyen bányászható vasérc és a sekély Meurthe folyó vonzotta. 1050 körül Gerard lotaringiai herceg egy városfallal védett kis város építtetett Nanciacum (Nancy) néven.
A XIII. században II. Frigyes császár elfoglalta a várost, majd az elkövetkező évszázadok fejlődése nyomán, mint a Lorraine Nagyhercegség fővárosa egyre nőtt a jelentősége, amíg Merész Károly, Burgundia hercege 1477-ben, a Nancy csatával végett vetett ennek.
1766-ban Stanislas herceg halálával a hercegség francia tartomány lett és Nancy maradt a fővárosa.
1790-ben a Francia forradalom idején felszínre került a nyugtalanság a helyi hadsereg alakulataiban és teljes körű lázadás tört ki. A Párizsból idevezényelt egységek megölték vagy börtönbe zárták a lázadókat.
1871-ben Nancy Franciaország része maradt, amikor a poroszok bekebelezték Elzász-Lotaringiát és mivel a visszafelé menekülők számára Nancy könnyen elérhető volt, a város lakossága három évtized alatt megduplázódott.
1944-ben az Amerikai hadsereg III. hadosztálya szabadította fel a várost a náci megszállás alól.
Az 1988-ban II. János Pál pápa látogatott a városba, 2005-ben Jacques Chirac francia elnök, Gerhard Schröder német kancellár és a lengyel elnök, Aleksander Kwasniewski felavatta a felújított Place Stanislas-t . (Mi még csak a régit láttuk).