Fue el primer músico en convertirse en una estrella del country. Su influencia en la música de raíces estadounidenses es incalculable, ya que ha influido a prácticamente todos los músicos que han desarrollado el country en el siglo XX, entre los que cabe destacar al también influyente Hank Williams.
Aunque nació en Geiger (Alabama), en casa de sus abuelos paternos, él siempre se consideró de Meridian (Mississippi). Pasó la mayor parte de su infancia acompañando a su padre en sus trabajos para el ferrocarril, donde también trabajó Jimmie de manera eventual como guardafrenos, quienes eran los encargados de accionar los frenos para detener los trenes cuando llegaban a las estaciones. Este trabajo se hacía corriendo de vagón en vagón cuando el tren aún estaba en marcha. Por ello se le conoció como el guardafrenos cantor.
Debido a que padecía de tuberculosis tuvo que dejar el ferrocarril, ejerciendo desde detective a músico callejero hasta que respondió a un anuncio de la compañía Victor Talking Machine Company (que empezaba su andadura como discográfica) en el que buscaban artistas. La audición se celebró en Bristol (Tennessee) el 4 de agosto de 1927, dos días después de que The Carter Family respondiese al mismo anuncio (y grabasen en el mismo lugar), permitiendo que Rodgers comenzara su exitosa carrera musical.
Grabó en total 113 canciones durante los seis años que duró su carrera musical. Sus últimas sesiones fueron en Manhattan (Nueva York) apenas una semana antes de su muerte. Se encontraba tan enfermo que entre las tomas debía descansar en una camilla. Murió de tuberculosis en el Taff Hotel (Nueva York) en 1933. Tenía 35 años.
Cuando el Salón de la Fama del Country fue creado en 1961, Jimmie Rodgers fue uno de los tres primeros en ser incluido. También se le ha incluido en el Salón de la Fama de los Cantautores y su canción «Blue Yodel No. 9» está situada en el puesto 23 de la lista de 500 canciones que moldearon el Rock and Roll del Salón de la Fama del Rock.
Fue uno de los primeros en utilizar las baladas de los Apalaches, el estilo hillbilly, con su voz aguda, para darle un enfoque folclórico a los blues, creando un híbrido que él llamo blue yodels y que, en definitiva, supuso la aparición de todo un género, el country blues que influyó de forma notable a un buen número de músicos de blues, como Big Joe Williams, Leadbelly, Mississippi John Hurt, Skip James, Tampa Red e, incluso, Howlin' Wolf, quienes desarrollaron variantes del mismo. Entre los músicos que grabaron con él, también figuran músicos de jazz, como Louis Armstrong.
El country blues que desarrolló, dejó una fecunda escuela en el campo del country, con músicos como los Allen Brothers, Darby & Tarlton, Jimmie Davis, Gene Autry o Cliff Carlisle. Se le conoció como Father of the Country Field, lo que ya es suficientemente indicativo.
