中成药的应用在我国已有悠久历史。1973年在长沙马王堆三号汉墓中发现的公元前3世纪的《五十二病方》，是我国现存最古老的一部方书，书中现存医方为283首，其中收载了丸、散等古老的成药剂型。成书于战国时期的《黄帝内经》是现存最早的中医经典著作，书中不仅提出了“君、臣、佐、使”的概念，而且还记载了13首方剂，其中有9种是成药，包括了丸、散、膏、丹、药酒等剂型，说明中成药的应用已经比较普遍。
东汉末年，著名医家张仲景编撰《伤寒杂病论》，收载成药60余种，所用剂型有丸剂、散剂、酒剂、洗剂、浴剂、熏剂、滴耳剂、灌鼻剂、软膏剂、肛门栓剂、阴道栓剂等10余种，说明中成药的发展已初具规模。
唐代孙思邈集唐以前医方5300首，撰写成《备急千金要方》。王焘著《外台秘要》载方6000余首。两部书中都收载了治疗内、外、妇、儿、五官等科疾病的大量成药，其中紫雪丹、磁朱丸、乞力伽丸(即苏合香丸)等，至今仍是常用的中成药。
宋代著名的方书《太平惠民和剂局方》，是我国历史上第一部由国家刊行的成药典，也是世界最早的国家药典。
继宋之后，金、元四大医家的兴起，明、清温病学派的创立，都对方剂学和中成药的发展做出了较大的贡献。明代朱棣著《普济方》载方61139首，为群方书之冠，是研究中成药的宝贵资料。明、清时期我国已经出现了资本主义萌芽，私人开办的药店也很兴盛，使中成药得以广泛使用和发展。
1949年以后，中成药也得到了应有的重视。全国各地都建立了中药成药的科研、生产、经营的专业机构，对其发掘、整理和提高，取得了可喜的成果。目前中成药的国家标准约7000种。中成药开发了千余种新品种、剂型。改革中不断应用新工艺、新辅料、新技术，中成药的质量控制和检测方法、中成药的药理和成分分析研究等都取得了显著的成果，在生产方面中药制药工业体系已基本形成。中成药在国际上也享有很高的声誉，备受各国朋友的欢迎，是中医药走向世界的主要物质基础。