初，安世兄贺幸于卫太子，太子败，宾客皆诛

初，安世兄贺幸于卫太子，太子败，宾客皆诛，安世为贺上书，得下蚕室。后为掖庭令，而宣帝以皇曾孙收养掖庭。贺内伤太子无辜，而曾孙孤幼，所以视养拊循，恩甚密焉。及曾孙壮大，贺教书，令受《诗》，为取许妃，以家财聘之。曾孙数有征怪，语在《宣纪》。贺闻知，为安世道之，称其材美。安世辄绝止，以为少主在上，不宜称述曾孙。及宣帝即位，而贺已死。上谓安世曰：「掖廷令平生称我，将军止之，是也。」上追思贺恩，欲封其冢为恩德侯，置家冢二百家。贺有一子蚤死，无子，子安世小男彭祖。彭祖又小与上同席研书，指欲封之，先赐爵关内侯。故安世深辞贺封，又求损守冢户数，稍减至三十户。上曰：「吾自为掖廷令，非为将军也。」安世乃止，不敢复言。遂下诏曰：「其为故掖廷令张贺置守冢三十家。」上自处置其里，居冢西斗鸡翁舍南，上少时所尝游处也。明年，复下诏曰：「朕微眇时，故掖廷令张贺辅道朕躬，修文学经术，恩惠卓异，厥功茂焉。《诗》云：『无言不仇，无德不报。』其封贺弟子侍中关内侯彭祖为阳都侯，赐贺谥曰阳都哀侯。」时，贺有孤孙霸，年七岁，拜为散骑、中郎将，赐爵关内侯，食邑三百户。安世以父子封侯，在位大盛，乃辞禄。诏都内别臧张氏无名钱以百万数。