To historyczne miejsce w Kolumbii jest jedyną zachowaną rezydencją jedenastego prezydenta USA, nie licząc Białego Domu. James K. Polk uczęszczał na Uniwersytet Północnej Karoliny w 1816 roku, kiedy jego ojciec Samuel zbudował dwupiętrowy dom w stylu federalnym przy Market Street (obecnie Seventh Street). Ta piękna ceglana budowla odzwierciedlała sukces Samuela Polka jako farmera, geodety i spekulanta ziemskiego. Po ukończeniu college’u w 1818 roku James Polk wrócił do Tennessee i pozostał z rodzicami do czasu ślubu z Sarah Childress w 1824 roku. Mieszkając w domu ojca, praktykował prawo i z powodzeniem kandydował do stanowej legislatury. Kiedy jego ojciec zmarł w 1827 roku, James wykonał testament, który zapewnił, że dom pozostanie rezydencją jego matki. Przez całe swoje życie był częstym gościem w domu w Columbii. Wkrótce po zakończeniu prezydentury, w kwietniu 1849 roku złożył matce ostatnią wizytę; dwa miesiące później zmarł w Nashville na cholerę. Jego matka, Jane Knox Polk, mieszkała w domu rodzinnym do swojej śmierci w 1852 roku.
Po śmierci Sarah Childress Polk w Nashville w 1891 roku, jej prawnuczka, Sarah Jetton Fall, zaczęła zbierać i publicznie wystawiać rzeczy osobiste prezydenta i pani Polk. W 1924 roku córka pani Fall, Saidee Fall Grant, założyła James K. Polk Association, aby kontynuować te wysiłki. Chociaż początkowo stowarzyszenie wystawiało swoje historyczne zbiory w Nashville, członkowie grupy uznali dom Polka w Columbii za idealne miejsce na muzeum. Z pomocą miasta Columbia i hrabstwa Maury stowarzyszenie zebrało połowę funduszy potrzebnych na zakup nieruchomości; stan Tennessee dołożył się do tej kwoty. Będący własnością stanu i zarządzany przez stowarzyszenie, James K. Polk Ancestral Home stał się w 1929 r. prezydenckim miejscem historycznym. Od tego czasu do 1979 roku, seria projektów renowacyjnych przywróciła budowli jej wygląd z początku XIX wieku. Usunięto wiktoriański ganek frontowy i zamknięty ganek boczny; metalowy dach zastąpiono autentycznym drewnianym gontowym; zrekonstruowano też wolnostojącą, murowaną kuchnię. W 1961 roku Służba Parków Narodowych uznała Dom Polka za Narodowy Zabytek Historyczny (National Historic Landmark).
Dzisiaj odwiedzający dom widzą oryginalne wyposażenie z lat prezydentury Polka w Columbii, Nashville i Waszyngtonie. W skład kolekcji ponad trzynastu setek artefaktów i dokumentów wchodzą książki z biblioteki Polka, pamiątki z jego kampanii politycznych, oficjalne zawiadomienie o wyborze na prezydenta, pamiątki z inauguracji, porcelana z Białego Domu i przedmioty dekoracyjne, olejne portrety prezydenta i pani Polk oraz dagerotyp gabinetu Polka, najwcześniejsza znana fotografia wnętrza Białego Domu. Dom pozostaje siedzibą Stowarzyszenia Pamięci Polka. Zgodnie z deklarowanym celem, organizacja kontynuuje „utrwalanie pamięci jedenastego prezydenta Stanów Zjednoczonych”
.