1959年，臺北榮民總醫院籌建完成，亦是國防醫學院的教學醫院，設有放射線（診斷）科。1961年，本院籌建放射治療科，建購鈷 60 治療機 2 部、銫 137 治療機 1 部及淺部 X 射線治療機 1 部。1962年，由芝加哥大學 N.M. Strandjard 醫師協助江澤春醫師主持業務，之後由 Paul C. Hodges 醫師繼續協助本院發展放射診斷及放射治療業務。1963年放射線科擴大編制，隸屬於放射線部，為癌病中心前身。
1975年，放射治療科擴編為一級醫療單位，改名癌病治療中心。1994年，修編更名為癌病中心，設置放射腫瘤科及藥物放射治療科。2013年，因應組織改造，癌病中心更名為腫瘤醫學部。
2019年1月，重粒子癌症治療中心動土，同年3月動工，於2020年建築及基座完工移交，2022年始進行臨床試驗。
節錄自本院官網