Penjara Lama Chiayi dibangun pada tahun 1919 dan selesai pada tahun 1922, pada awalnya diberi nama Penjara Tainan yang ada di Chiayi, dan sempat mengalami perubahan nama beberapa kali hingga sekarang disebut sebagai Penjara Chiayi.

Setelah penjara Chiayi pindah pada Maret 1994, secara perlahan mengurangi jumlah narapidana hingga tidak menampung tahanan sama sekali.

Karena tempat ini menyaksikan sejarah panjang perkembangan dan reformasi sistem pemasyarakatan Taiwan modern, menjadikannya satu-satunya bukti sejarah yang paling berharga yang masih tersisa. Bangunan penjara ini dibangun pada zaman pendudukan Jepang, telah mengalami beberapa kali bencana gempa, setelah melalui perbaikan dan perluasan, terbentuklah skala bangunan seperti sekarang. Dari arsitekturnya yang kuat sangat penting dilihat dari sejarahnya.

Setelah melalui alui berbagai perdebatan antara pembongkaran dan pelestarian serta perjuangan berbagai pihak, bangunan ini akhirnya ditetapkan sebagai situs budaya kota, lalu dinaikkan statusnya menjadi situs budaya nasional.