Issu d’une famille travaillant dans le « vaudeville », Zoot Sims apprend très jeune la clarinette. A 13 ans, Zoot Sims commence à pratiquer le saxophone ténor. Professionnel à 15 ans, Zoot Sims fait partie de nombreux big bands swing dont celui de Benny Goodman en 1943. Après son service militaire, on le retrouve dans l’orchestre dixieland du pianiste Jess Stacy. En 1943, on le retrouve chez Benny Goodman (il y retournera de 1946 à 1947, puis, en 1962 pour une tournée en URSS). De 1947 à 1949, Zoot Sims fait partie du « Second Herd » de Woody Herman. La section de saxophones de cet orchestre, les « Four brothers » (Zoot Sims, Stan Getz, Herbie Stewart au ténor et Serge Chaloff au baryton), est l’une des plus remarquables de l’histoire du jazz. On le voit ensuite dans l’orchestre de Stan Kenton (1953). A partir de 1954, Zoot Sims devient musicien « free-lance » et enregistre avec une multitude d’orchestres de studio. On peut l’entendre sur des disques de Miles Davis, Chet Baker, Clifford Brown, Bob Brookmeyer, Bill Evans, Charles Mingus, Quincy Jones, Ella Fitzgerald,… Zoot Sims enregistre régulièrement sous la direction de Gerry Mulligan (dans son « Sextet » de 1954 à 1956, puis avec le « Concert Jazz Band » en 1960). On peut écouter avec intérêt, l’album « Tenor Conclave » où on le retrouve dans un « all stars » de saxophonistes aux styles très différents (John Coltrane, Hank Mobley et Al Cohn). Par ailleurs, Zoot Sims enregistre de nombreux albums sous son nom, en particulier avec des petites formations co-dirigés avec son ami et confrère Al Cohn. C’est en duo avec Al Cohn qu’il accompagne l’écrivain Jack Kérouac récitant certains de ses poèmes (« blues & haikus », 1958). A partir de 1967, Zoot Sims participe à de nombreuses tournées avec le « JATP » organisées par Norman Granz. De 1975 à 1984, 1l enregistre d’ailleurs une série d’albums pour le label de ce dernier (« Pablo ») : Art ‘N’ Zoot (1981) avec Art Pepper par exemple.
Surtout connu comme saxophoniste ténor, Zoot Sims a aussi utilisé le saxophone alto dans les années 50 et le saxophone soprano à partir des années 70.
Zoot Sims, dont le style est fortement inspiré de celui de Lester Young, est souvent considéré comme le plus swinguant des « Brothers ».