政府遷臺後整軍經武，1952年建立退伍除役制度，1954年11月成立「行政院國軍退除役官兵就業輔導委員會」，1966年更名為「行政院國軍退除役官兵輔導委員會」，負責輔導退除役官兵「就業」、「就學」、「就醫」、「就養」四大任務。為實施國軍新陳代謝，安置軍方1萬7千餘名結核、慢性病、精神病患者，以及逐年檢退官兵，並落實政府照顧榮民(眷)政策，提升榮民醫療品質，時任行政院國軍退除役官兵就業輔導委員會蔣主任委員經國先生，指示興建「國軍行政院退除役官兵輔導委員會臺灣榮民總醫院」，照顧國軍「就醫」權益的重要措施，服務退除役官兵。本院於1956年6月6日在臺北石牌基地奠基動土開工，1959年11月1日「行政院國軍退除役官兵輔導委員會臺灣榮民總醫院」正式開幕，開啟本院在臺灣醫療史上重要的一頁。
初創之時，僅設置9個一級醫療單位，7個行政支援單位，病床600張，病房皆為統艙式，醫師均由國防醫學院教授、副教授兼任，醫療人才堪稱一時之選。服務對象以退除役官兵為主，其後為因應社會需求，漸次開放民眾診療。首任院長由國防醫學院盧院長致德博士兼任，副院長則是經國先生徵調有醫院管理高手之稱的陸軍第一總醫院(三軍總醫院前身)鄒院長濟勳將軍出任，在兩位精心擘劃，網羅人才、培植人才、擴充設備、建立制度、大力發展之下快速成長茁壯。短短數十年即躍居國內醫學重鎮，蜚聲國際。