Johann Michael Haydn nasceu em 14 de setembro de 1737, em Rohrau (Áustria). Era o irmão mais novo de Franz Joseph Haydn. Foi menino no coro da igreja de Santo Estevão em Viena, recebendo cedo a instrução musical, da mesma forma como seu irmão. Lá, estudou também violino, teclado e contraponto.

Saiu do coro quando a sua voz engrossou, e passou a ganhar a vida como músico independente. Em 1757, tornou-se mestre de capela do bispo de Grosswardein, na Hungria (hoje Oradea, Romênia), e em 1762 foi primeiro violino da orquestra do arcebispo de Salzburgo.

Em 1768 casou-se com Maria Magdalena Lipp (1745-1827), cantora à serviço do arcebispo, filha de Franz Ignaz Lipp, organista da corte. A única criança que tiveram, aloysia Josepha, nasceu em 1770, mas morreu dentro de um ano. Talvez por não ter criado filhos, achava compensar isto dando aulas à pequenos coristas.

Permaneceu como primeiro violino da orquestra para o resto da vida, e sucedeu Mozart, como organista da catedral, em 1781. Foi amigo íntimo de Mozart (o compositor austríaco que em 1783, dedicou-lhe dois duetos para violino e viola, KV 423 e KV 424) e professor de Weber. Deu aulas também para anton Diabelli e Sigismund Neukomm.

Quando Salzburgo foi invadida por forças francesas em 1800, J.M.Haydn perdeu toda sua propriedade e alguns de seus trabalhos. Constantemente em más condições financeiras, foi ajudado por seu irmão e amigos (inclusive Mozart) durante os tempos difíceis.

Eram lhe oferecidos vários trabalhos em outros lugares, mas rejeitava na esperança de que sua situação em Salzburgo melhorasse. Com o tempo, isso aconteceu. J.M.Haydn morreu em 10 de agosto de 1806, em Salzburgo (Áustria), sendo enterrado no cemitério de São Pedro.