Redigerer James Madison (avsnitt)

== Senere liv ==
Etter at han forlot embedet, trakk Madison tilbake til [[Montpelier (Virginia)|Montpelier]], gården hans i Virginia. Han var for en tid rektor ved Jeffersons [[University of Virginia]], men tilbrakte mesteparten av dagene sine med å drive gården. Han døde [[28. juni]] [[1836]] av [[revmatisme]] og [[hjertestans]].

Madison var den første presidenten av [[American Colonization Society]], som kjøpte reisen for frie svarte amerikanere til selskapets koloni i Vest-Afrika, [[Liberia]]. Etter betingelsene i hans testament,<ref>[https://web.archive.org/web/20070812044136/http://www.jamesmadisonmus.org/textpages/will.htm]</ref> ble 2000 dollar gitt til ACS gjennom deres agent [[Ralph Randolph Gurley]].

Madisons portrett var på den amerikanske seddelen verdt 5000 dollar. Der var rundt tjue forskjellige varianter av 5000-dollarsedler som ble gitt ut mellom 1861 og 1846, og alle unntatt tre hadde James Madison.