1958, acompanhou ao violão a cantora Elizeth Cardoso na gravação de "Chega de saudade" (Tom Jobim e Vinicius de Moraes) e "Outra vez", faixas incluídas no LP "Canção do amor demais".Também nesse ano, gravou um 78 rpm contendo "Chega de saudade" e "Bim bom", de sua autoria. O histórico disco, citado mais tarde como referência por muitos artistas como Chico Buarque e Caetano Veloso, apresentava uma interpretação vocal intimista e uma nova batida de violão, tornando-se um marco para a bossa nova. 

Em 1959, lançou outro 78 rpm em que gravou "Desafinado" (Tom Jobim e Newton Mendonça) e "Oba-la-lá", de sua autoria. Nesse mesmo ano, gravou seu primeiro LP, "Chega de saudade", lançado pela Odeon, com produção musical de Aloysio de Oliveira e arranjos de Tom Jobim. No repertório, além das canções lançadas nos dois 78 rpm, a releitura de antigos sucessos como "Morena boca de ouro" (Ary Barroso e Luís Peixoto), "Rosa morena" (Dorival Caymmi) e "Aos pés da santa cruz" (Marino Pinto e Zé da Zilda), e "Lobo bobo", faixa que lançava uma nova dupla de compositores, Carlos Lyra e Ronaldo Bôscoli. 
Em 1960, gravou o LP "O amor, o sorriso e a flor", também pela Odeon, com destaque para "Samba de uma nota só" (Tom Jobim e Newton Mendonça), canção também emblemática da bossa nova. Participou, ainda nesse ano, do show "O amor, o sorriso e a flor", realizado no Teatro de Arena da Faculdade de Arquitetura (RJ). Apresentou-se, também, na casa noturna Arpège (RJ) e, com Vinicius de Moraes, na Associação Atlética Banco do Brasil (Salvador). Ainda em 1960, nasceu seu filho João Marcelo, de seu casamento com a cantora Astrud Gilberto. 
No ano seguinte, gravou seu terceiro LP, "João Gilberto", que contou com acompanhamento do conjunto de Walter Wanderley, destacando-se "O barquinho" (Roberto Menescal e Ronaldo Bôscoli), ao lado da releitura de sucessos como "Samba da minha terra" e "Saudade da Bahia", ambas de Dorival Caymmi. Apresentou-se, também em 1961, no Cassino San Raphael, em Punta del Este (Uruguaiana). Nesse mesmo ano, foi lançado no mercado norte-americano o disco "Brazil''s brilliant João Gilberto" (o LP brasileiro "O amor, o sorriso e a flor").