下阕述怀，设想早日“退而相从之乐”。换头“岁云暮”三字承上转下，“岁暮”当指年华老大，“早计”是对“遗恨”而言，其内容便是“要褐裘”，亦即辞官归隐，过平民生活。以下七句是由此产生的设想：在归乡的千里长途中，每逢山水名胜或有贤主、良朋接待之类好的去处，可以随意逗留，尽情游乐，不必如官场中人因王命在身而行道局促，一层：我带着醉意唱歌时你跟着唱和，我因醉酒倒下时你要搀扶我，——只有酒是可以使人忘怀得失的，二层：这样，有雄心大志的人会瞧不起我们，那就悉听尊便好了，我们只管走自己的路，三层：这种种设想，情辞恳切，言由中发，有如骏马驻坡，不可遏止，充分表现出词人对辞官归隐而享弟兄“相从之乐”的夙愿。“我醉歌时君和，醉倒须君扶我”，极写想象中“退而相从之乐”的情态，简直是对二人的“合影”。篇末“一任刘玄德，相对卧高楼”两句，反用典故，并非真要趋同胸无大志的庸人，而只是强调素愿的坚定不移，这体现了用典的灵活性。
同《南乡子》（东武望余杭）、《醉落魄》（分携如昨）、《减字木兰花》（贤哉令尹）等词作一样，这首词着重表现了苏轼前期思想的另一面，虽然“功成名遂”尚未实现，出仕思想仍占上风，但在某种程度上徘徊于出处之间，却是可以肯定的。早在嘉祐五年（1060）苏氏弟兄寓居怀远驿时，即有“夜雨对床”，“为闲居之乐”（苏辙《逍遥堂会宿二首》引、《再祭亡兄端明文》等）的口头约定，这一回正是对前约的重申，当然在很大程度上也是出于对其弟的安慰，词中流露出深厚的兄弟之情。不过，他在诗词中不断表达的这种归卧故山的雅志，最终还是没有实现。苏辙词中的“但恐同王粲，相对永登楼”，倒成了他们此后生活的写照。