我國古代選拔人才，源遠流長，自隋唐以降，首重科舉取士，獨立之考試制度已然建制，經歷代沿用不墜，並發揚光大。中山先生創立民國時，更有鑑於歐美三權分立之缺失，而創建五權分立，使考試權超然獨立運作於行政權之外。民國十四年七月國民政府成立，其組織法載明考試院為國民政府最高考試機關，掌理考選、銓敘事宜。

民國十七年，戴傳賢先生奉命展開考試院籌備工作，十八年五月借南京雞鳴寺東之關岳廟，改建為考試院落成啟用，十九年一月，考試院暨所屬考選委員會（行憲後改為考選部）、銓敘部同時成立；院長兼考選委員會委員長戴傳賢、副院長孫科、考選委員會副委員長邵元沖、銓敘部部長張難先等同時宣誓就職。同年十二月，戴院長准免兼職，國民政府特任邵元沖為考選委員會委員長。二十年首屆高等考試在南京舉行，二十三年首屆普通考試在南京舉行。二十六年七月，抗日戰爭爆發，考試院訂定臨時分區辦事處組織大綱，聯合辦理各該地方考試、銓敘事宜。同年十一月，考試院隨同國民政府離京赴渝，至抗戰勝利，院會部各單位，隨政府遷回南京。三十八年，政府遷台，考試院初暫借台北市大龍峒孔廟，至四十年遷木柵溝子口現址辦公。

考試院掌理考試、公務人員之銓敘、保障、撫卹、退休及公務人員任免、考績、級俸、陞遷、褒獎之法制事項。考試院組織法歷經多次修正，尤其八十三年七月變革幅度最大，院分設處、組、室、會辦事，並對各機關執行有關考銓業務有監督之權。目前考試院設二部二會分別掌理考選、銓敘、公務人員保障暨培訓、公務人員退休撫卹基金監理暨管理等事宜。

考試院成立迄今凡歷十屆七十餘載，首任院長為戴傳賢先生，行憲後歷任院長分別為張院長伯苓、賈院長景德、莫院長德惠、孫院長科、楊院長亮功、劉院長季洪、孔院長德成、邱院長創煥、許院長水德、姚院長嘉文，及第十一屆院長職務於九十七年九月一日起由伍副院長錦霖代理，現任院長關中先生於同年十二月履任迄今，在歷任首長領導之下，建制雖多更張，其貫徹憲法之精神則始終如一，故考銓制度得以不斷革新，日臻健全，對增進政府職能、穩定政局及國家各項建設之發展，著有貢獻。