Viyana'daki St. Stephan Kilisesi'nin koro yönetmeni Reuter, Haydn' ı korosuna almak istemiş, babasının izniyle Haydn' ı 1740'da Viyana'ya gelmesini sağlamıştı. Kilisenin çocuk korosunda çalışırken, bir yandan da keman ve şan dersleri alıyordu.. 1745 de kardeşi Michael de koroya alındı. Kardeşine dersler verdi. Bu meyanda ergenlik çağına girdiği için sesi bozulmaya başlamış, az zamanda koroda kalması imkansızlaşınca, ayrılmıştı. Geçim derdine düşerek Viyana sokaklarında ve lokantalarında bir süre çalgıcılık yaptı. 1752 yılında Der Neue Krumme Teufel (Yeni kambur şeytan ) adlı hafif operası sahnelendi.

Bir İspanyol ailesinin kızına müzik dersleri veren genç besteci, bu evde Porpora adlı İtalyan opera bestekarıyla tanıştı. Ondan yararlanabilmek için hizmetkârligini kabul etti. 1755 yılında Karl Edlen von Fürberg'in şatosuna konser vermeye çağrıldı. Bu soylu kişi Haydn'a hayran kalarak kemancı ve oda müziği bestecisi göreviyle himayesi altına aldı. Bu şatodaki oda müziği topluluğu için bir dizi divertimenti ve cassation besteleyen Haydn, ilk oda müziği yapıtlarıyla ilgi topladı. 1759'da Fürnberg'in önerisiyle Kont Ferdinand Maximilien Morzin'in orkestrasının şefliğine getirildi. Bu orkestraya bazı üflemeli çalgıları da katarak bu kez senfoniler bestelemeye başladı. ( Re majör senfonisi Haydn'ın ilk olgun eserlerindendir).

1761 yılında bu sefer Prens Anton Esterhazy, Haydn'ı orkestrasına 2. şef olarak aldı. Ertesi yıl Prens öldüyse de, yerine geçen kardeşi Nicolaus Esterhazy, sadece bir müziksever değil, aynı zamanda iyi bir viyolacıydi. 1766 yılında orkestra şefi Werner ölünce de onun yerine getirildi. Artık elinin altında 5 keman, 2 viyola, 1 viyolonsel, 1 kontrbas, 1 flüt, 2 obua, 2 tenor, 1 bas'tan oluşan bir koro vardı. Bu olanaklarla sürekli olarak eserler verdi. Bestelemeye sabah başlayıp öğleye bitiriyor, öğleden sonra provalarını yapıp, akşama Prensin misafirlerine sunuyordu. Birkaç yıl içinde 30 senfoni, 6 yaylı trio, orkestra için 12 menuet, klavsen konçertoları, korno konçertosu, çok sayıda divertimenti ve sonat besteledi. Orkestra eşlikli ''Salve Regina'' ve ''Te Deum'' gibi dinsel eserler verdi. Ayrıca 4 tane hafif İtalyan operası sahneledi.

Haydn artık Esterhazy sarayının dışında da tanınıyor, senfonileri ve yaylıları için oda müziği eserleri Leipzig, Paris, Amsterdam, Londra ve Prag'da yayınlanıyordu. 1773 yılında Esterhazy'yi ziyaret eden Kraliçe Maria Theresa için bestelediği senfoni ve iki opera ününü pekiştirdi. 1776'da Viyana Saray Tiyatrosu bir operasını sahneledi. 1781'de eserlerinin yayın hakkını İngiliz yayıncısı Forster'e sattı. Forster, Haydn'ın, o zamana kadar yazdığı 82 senfoniyi de kapsayan 129 eserini bastı.

Haydn bu yıllarda Mozart'la tanışmış ve onunla gerçek bir dostluk kurmuştu. Mozart'ın yeteneğine ve özellikle üstün orkestralama tekniğine hayran kalmıştı. Her firsatta, Viyana ya geldiğinde Mozart'la görüşüyordu. Dostlukları giderek ilerledi. Bu dönemde 1787 yılında Cadiz Katedrali için 'İsa'nın Son Yedi Sözü' nü besteledi.
1790'da Prens Nikolaus Esterhazy öldü. Yerine geçen oğlu saray orkestrasını dağıtmış, fakat Haydn'ı görevinde bırakmıştı. Bu tarihten itibaren Haydn zamanını daha özgür kullanabiliyordu. Bu sırada, Londra'da kemancı ve konser düzenleyici John Peter Salomon, besteciyi ısrarla İngiltere'ye davet ediyordu. Haydn çevresinin tüm aksi ısrarlarına rağmen 1791'de Londra'ya vardı. 18 ay süren bu ilk Londra seyahatinde Kral'ın ve soyluların büyük saygı ve sevgisini gördü. Ünlü Salomon Konserleri bu dönemde yazdığı eserlerden oluşmuştur. 


1793'de Viyan'ya dönen Haydn, Beethoven'e dersler vermiş. Beethoven'in bu dersleri yeterli bulmadığını ve pek memnun kalmadığını biliyoruz. 1794'de tekrar Londra'ya döner ve başarılı konserler verir. 6 'Londra Senfonileri' bu dönemde yazılmıştır. Viyana'ya geri geldiginde, 1798'de Yaratılış, 1801'de Mevsimler oratoryolarını verir. Bu yıllarda sağlığı bozulmaya başlar. Viyana'nın Fransızlar tarafindan bombalanması sırasında hastalığı ağırlaşır. 1809 'da Viyana'da ölür. Ve Hundsthurm kilisesinin mezarlığına gömülür. Bu mezarlıkta kemikleri çalınsa da, 1954 yılında resmi bir törenle tüm kemikleri Eisenstadt'da toplanır.