后以彪之为镇军将军、会稽内史，加散骑常侍。居郡八年，豪右敛迹，亡户归者三万余口。桓温下镇姑孰，威势震主，四方修敬，皆遣上佐纲纪。彪之独曰：“大司马诚为富贵，朝廷既有宰相，动静之宜自当谘禀。修敬若遣纲纪，致贡天子复何以过之！”竟不遣。温以山阴县折布米不时毕，郡不弹纠，上免彪之。彪之去郡，郡见罪谪未上州台者，皆原散之。温复以为罪，乃槛收下吏。会赦，免，左降谪为尚书。
顷之，复仆为射。是时温将废海西公，百僚震栗，温亦色动，莫知所为。彪之既知温不臣迹已著，理不可夺。乃谓温曰：“公阿衡皇家，便当倚傍先代耳。”
命取《霍光传》。礼度仪制，定于须臾，曾无惧容。温叹曰：“作元凯不当如是邪！”时废立之仪既绝于旷代，朝臣莫有识其故典者。彪之神彩毅然，朝服当阶，文武仪准莫不取定，朝廷以此服之。温又废武陵王遵，以事示彪之。彪之曰：“武陵亲尊，未有显罪，不可以猜嫌之间，便相废徙。公建立圣明，遐迩归心，当崇奖王室，伊周同美。此大事，宜更深详。”温曰：“此已成事，卿勿复言。”