William Kellie Smith, seorang peniaga yang berasal dari Scotland membina istana ini untuk isterinya Agnes. Istana ini dibina di atas tanah pemilik estate iaitu Alma Baker yang merupakan rakan perniagaannya.
Istana ini dibina pada tahun 1915 oleh tenaga kerja dari Madras, India. Kellie mengagumi budaya Hindu dan kerana itulah beliau menggunakan tenaga kerja dari India. Istana ini tidak dapat disiapkan kerana semasa proses pembinaannya beberapa tragedi buruk berlaku terhadap pekerja-pekerjanya seperti wabak Spanish yang mengorbankan beberapa orang pekerja dan antara sebab yang lain ialah berlaku peperangan dunia kedua yang terus membantutkan usaha pembinaannya.
Pada tahun 1926 ketika Kellie berkunjung ke Portugal untuk menempah lift yang akan digunakan di Istananya , beliau mengalami masalah radang paru-paru dan meninggal dunia di Portugal. Lift yang ditempah merupakan lift pertama yang akan diguna pakai di Malaya pada masa itu dan merupakan lift pertama di Malaysia tetapi beliau tidak sempat membawa lift itu ke Malaya. Isterinya yang masih berada di Malaya pada masa itu terus berpindah ke Scotland dan Kellie's Castle dijual kepada syarikat Harrisons & Crossfied.
Kini, Kelly Castle masih berdiri kukuh di tempatnya dan diambil alih penjagaannya di bawah syarikat persendirian dengan pemantauan dari kerajaan negeri. Kisah-kisah misteri di Kellie Castle turut juga menjadi tumpuan, kerana ada dikalangan penduduk di sekitar istana itu pernah melihat lembaga misteri di dalam dan sekitarnya.
Itu merupakan sejarah istana tersebut. Hari ini, aku sempat melawat istana yang beabad usianya itu. Dibawah merupakan anatar kenangan yang sempat aku rakamkan bersama rakan-rakan aku. harap you all enjoy..
