数年，出为安定太守。时，上诸舅皆修经书，任政事

数年，出为安定太守。时，上诸舅皆修经书，任政事。平阿侯谭年次当继大将军凤辅政，尤与永善。阳朔中，凤薨。凤病困，荐从弟御史大夫音以自代。上从之，以音为大司马车骑将军，领尚书事，而平阿侯谭位特进，领城门兵。永闻之，与谭书曰：「君侯躬周、召之德，执管、晏之操，敬贤下士，乐善不倦，宜在上将久矣，以大将军在，故抑郁于家，不得舒愤。今大将军不幸蚤薨，累亲疏，序材能，宜在君侯。拜吏之日，京师士大夫怅然失望。此皆永等愚劣，不能褒扬万分。属闻以特进领城门兵，是则车骑将军秉政雍容于内，而至戚贤舅执管□于外也。愚窃不为君侯喜。宜深辞职，自陈浅薄不足以固城门之守，收太伯之让，保谦谦之路，阖门高枕，为知者首。愿君侯与博览者参之，小子为君侯安此。」谭得其书大感，遂辞让不受领城门职。由是谭、音相与不平。