初，元帝时，中书令石显用事

初，元帝时，中书令石显用事，自前相韦玄成及衡皆畏显，不敢失其意。至成帝初即位，衡乃与御史大夫甄谭共奏显，追条其旧恶，并及党与。于是司隶校尉王尊劾奏：「衡、谭居大臣位，知显等专权势，作威福，为海内患害，不以时白奏行罚，而阿谀曲从，附下罔上，无大臣辅政之义。既奏显等，不自陈不忠之罪，而反扬著先帝任用倾覆之徒，罪至不道。」有诏勿劾。衡惭惧，上疏谢罪。因称病乞骸骨，上丞相乐安侯印绶。上报曰：「君以道德修明，位在三公，先帝委政，遂及朕躬。君遵修法度，勤劳公家，朕嘉与君同心合意，庶几有成。今司隶校尉尊妄诋欺，加非于君，朕甚闵焉。方下有司问状，君何疑而上书归侯乞骸骨，是章朕之未烛也。传不云乎？『礼义不愆，何恤人之言！』君其察焉。专精神，近医药，强食自爱。」因赐上尊酒、养牛。衡起视事。上以新即位，褒优大臣，然群下多是王尊者。衡嘿嘿不自安，每有水旱，风雨不时，连乞骸骨让位。上辄以诏书慰抚，不许。