卡特是历任美国总统中寿命最长的一位，但他只担任了一届总统。在美国政治文化中，通常将只干一任的总统视为失败者。卡特曾表示，许多美国人认为他表现不佳，未能控制通货膨胀、解决能源危机和伊朗人质危机。他认为自己在任时想做的事情太多，而且行动过于急切，并且与华盛顿的文化不兼容。华盛顿的媒体人、游说人士和社会精英们对他这样的佐治亚州“乡巴佬”并不看好。
然而，为卡特写传记的作家阿特勒指出，评价总统不应只看其在任时的支持率，而应考虑其对国家和世界的贡献。从这个角度看，卡特虽不属于第一梯队，但表现仍然不错。1981年卡特离任时被认为是“最不受欢迎”的总统之一，但近年来他的评价有所提升。2022年的一项调查显示，他在历任美国总统中的排名已从第33位上升到第24位。
美国历任总统的评价经常发生变化。虽然卡特卸任后的评价逐渐改善，但一些曾经被视为伟人的总统如杰斐逊和杰克逊，因奴隶主身份而受到重新审视。历史学家现在将卡特视为几十年来美国“最体面”的总统，同时也是20世纪最聪明、最勤奋的总统之一。
卡特卸任后依然活跃，做了大量工作。2011年，他代表美国政府访问朝鲜。他的图书馆卡特中心成为解决国际问题和危机的思想交流中心。
