Il a remporté les élections à la Chambre en 1936 et a été Whip majoritaire de la Chambre en 1946. Il a quitté la Chambre en 1946 après avoir remporté une élection spéciale pour succéder au sénateur.
Pendant son mandat au Sénat, il a été président de plusieurs comités. Il a été candidat à la vice-présidence lors de l'élection présidentielle de 1952, mais a été battu par. Connu comme un partisan de la ségrégation pendant l'ère des droits civiques, Sparkman était un. Vote régulièrement contre la législation sur les droits civils et condamnait les. Qui s'opposait à l'intégration raciale et promettait d'utiliser "tous les moyens légaux" pour lutter contre.
La décision qui a donné au tribunal le pouvoir d'appuyer l'intégration des institutions publiques. Il est devenu le sénateur le plus ancien de l'Alabama en 1977. Sparkman a choisi de ne pas. Se représenter aux élections en 1978 et a pris sa retraite de la fonction publique l'année suivante.