Palmier  Coleman Hawkins, Dizzy Gillespie, Charlie Parker, e Teddy Wilson. 

 Pearl Bailey, Billie Holiday, e Sarah Vau

Ellis entrou para a Casa Loma Orchestra de Glen Gray e depois ingressou na big band de Jimmy Dorsey.

Tocou até 1958 com o pianista Oscar Peterson e com a cantora Ella Fitzgerald.

Nos anos 70 era membro das Great Guitars (com Barney Kessel e Charlie Byrd) e também trabalhou com Joe Pass.