Il Kinkaku-ji ha un passato ricco e leggendario, originariamente costruito nel 1397 come villa di ritiro per lo Shogun Ashikaga Yoshimitsu. Yoshimitsu mirava a creare un sontuoso rifugio che riflettesse la cultura Kitayama dell'epoca, che mescolava elementi aristocratici e religiosi. Dopo la morte di Yoshimitsu nel 1408, la villa fu convertita in un tempio buddista Zen da suo figlio, seguendo i desideri di Yoshimitsu. Durante la guerra di Onin (1467-1477), gran parte del complesso fu distrutta da un incendio, ma il Padiglione d'Oro stesso sopravvisse. Un evento significativo si verificò nel 1950, quando un giovane monaco, Mizoguchi, diede fuoco al padiglione, provocandone la completa distruzione. Questo atto scioccò il Giappone e divenne il soggetto del romanzo di Yukio Mishima "Il padiglione d'oro". Il padiglione fu ricostruito nel 1955, replicando fedelmente il design originale, e da allora è diventato uno dei punti di riferimento più iconici del Giappone.