Josef Strauss nasceu em Viena, no dia 20 de agosto de 1827. Segundo filho de Strauss I, estudou engenharia mecânica contra a vontade de seu pai, que queria vê-lo alistado no exército. Mais tarde, fez carreira de arquiteto. Em suas horas vagas, punha em uso o seus talentos como artista, pintor, poeta, dramaturgo, cantor, compositor e inventor. Publicou também dois livros didáticos de matemática.

De personalidade tímida e sensível, passou a administrar a orquestra de seu irmão a partir de 1863 durante a ausência deste. Criou também uma orquestra sua e para ela compôs muitas peças de dança. Fez uma visita a Varsóvia, onde foi maltratado por oficiais russos por se haver recusado a tocar para eles. Josef Strauss morreu em Viena no dia 22 de julho de 1870.