衡山藥業前身為上海衡山制藥廠(原上海第二十一制藥廠)，創建于1942年，原名“拜克膠囊藥廠”，1956年公私合營更名為“上海衡山制藥廠”，七十年代改名為“上海第二十一制藥廠”，是我國較早專業化生產膠囊制劑的藥品生產企業。
五、六十年代，衡山藥業作為上海醫藥行業的骨干制劑單位，為我國普藥發展做出了很大的貢獻。七、八十年代，衡山藥業成為上海醫藥外貿膠囊制劑出口生產基地，生產四環素、氯霉素、強力霉素、消炎痛等，產品遠銷歐美、亞洲、非洲、拉丁美洲等五十多個國家和地區，并以優異的質量，獲得聯合國嘉獎，其中生產的四環素膠囊，還獲得國家銀質獎，被譽為“中國黃”。
八十年代中期，衡山藥業積極開發新產品、新劑型，在上海成功地開發了國產頭孢氨芐膠囊。此后，產品開發更是突飛猛進，逐步形成了抗感染、心血管、呼吸類、消化類，消炎鎮痛、小兒用藥(干糖漿)六大系列六十個品種，劑型也從原先的膠囊制劑發展到片劑、散劑、顆粒劑、栓劑等。
衡山藥業持有藥品批準文號60個，以國家基本藥物為主。枸櫞酸氯米芬膠囊、青霉素V鉀膠囊、雙氯芬酸鈉緩釋膠囊(I)、頭孢克肟膠囊、鹽酸舍曲林片、鹽酸依普拉酮片、口服補液鹽散(Ⅱ)為本市持有該產品批文的唯一藥企;枸櫞酸氯米芬膠囊占到全國60%份額，法羅培南鈉膠囊、法莫替丁散為國內唯一產品劑型。