Suas primeiras obras musicais constituem simples imitações de clássicos, especialmente Mozart e Haydn. Em 1893, sua Sonata para órgão e violino em lá maior apresenta as primeiras combinações de chaves contraditórias, que eventualmente levariam Nielsen para a politonalidade.

Seus Quartetos em fá menor, sol menor e mi bemol maior confirmam essas tendência. Sua arte atingirá o ponto culminante na gigantesca obra para órgão de seus últimos anos: Commotio. Embora tenha sido aluno de Gade, afastou-se totalmente da orientação romântica e, na fase final da vida, dedicou-se principalmente a compor sinfonias, das quais as mais importantes são as denominadas Sinfonia Expansiva e Sinfonia Simples.