首句“桃溪”用东汉刘、阮遇仙之事典。传东汉时刘晨、阮肇入天台山采药，于桃溪边遇二女子，姿容甚美，遂相慕悦，留居半年，怀乡思归，女遂相送，指示还路。及归家，子孙已历七世。后重访天台，不复见二女。唐人诗文中常用遇仙、会真暗寓艳遇。“桃溪不作从容住”，暗示词人曾有过一段刘阮入天台式的爱情遇合，但却没有从容地长久居留，很快就分别了。这是对当时轻别意中人的情事的追忆，口吻中含有追悔意味，不过用笔较轻。用“桃溪”典，还隐含“前度刘郎今又来”之意，切合旧地重寻的情事。
第二句用了一个譬喻，暗示“桃溪”一别，彼此的关系就此断绝，正象秋藕（谐“偶”）断后，再也不能重新连接一起了，语调中充满沉重的惋惜悔恨情绪和欲重续旧情而不得的遗憾。人们常用藕断丝连譬喻旧情之难忘，这里反其语而用其意，便显得意新语奇，不落俗套。以下两句，侧重概括叙事，揭出离合之迹，遥启下文。
“当时相候赤阑桥，今日独寻黄叶路。”三四两句，分承“桃溪”相遇与“绝来无续”，以“当时相候”与“今日独寻”情景作鲜明对比。赤阑桥与黄叶路，是同地而异称。俞平伯《唐宋词选释》引顾况、温庭筠、韩偓等人诗词，说明赤阑桥常与杨柳、春水相连，指出此词“黄叶路明点秋景，赤阑桥未言杨柳，是春景却不说破。”同样，前两句“桃溪”、“秋藕”也是一暗一明，分点春、秋。三四正与一二密合相应，以不同的时令物色，渲染欢会的喜悦与隔绝的悲伤。朱漆栏杆的小桥，以它明丽温暖的色调，烘托往日情人相候时的温馨旖旎和浓情蜜意；而铺满黄叶的小路，则以其萧瑟凄清的色调渲染了今日独寻时的寂寞悲凉。由于是“独寻黄叶路”的情况下回忆过去，“当时相候赤阑桥”的情景便分外值得珍重流连，而“今日独寻黄叶路”的情景也因美好过去的对照而愈觉孤孑难堪。今昔之间，不仅因相互对照而更见悲喜，而且因相互交融渗透而使感情内涵更加复杂。既然“人如风后入江云”，则所谓“独寻”，实不过旧地重游，记忆中追寻往日的缱绻温柔，孤寂中重温久已失落的欢爱而已，但毕竟寂寞怅惆中还有温馨明丽的记忆，还能有心灵的一时慰藉。今昔对比，多言物是人非，这一联却特用物非人杳之意，也显得新颖耐味。“赤阑桥”与“黄叶路”这一对诗歌意象，内涵已经远远越出时令、物色的范围，而成为一种象征。
换头“烟中列岫青无数，雁背夕阳红欲暮”两句，转笔宕开写景：这是一个晴朗的深秋的傍晚。烟霭缭绕中，远处排立着无数青翠的山峦。夕阳的余辉，照映空中飞雁的背上，反射出一抹就要黯淡下去的红色。两句分别化用谢朓诗句“窗中列远岫”与温庭筠诗句“鸦背夕阳多”，但比原句更富远神。它的妙处，主要不景物描写刻画的工丽，也不景物本身有什么象征涵义；而于情与景之间，存着一种若有若无、若即若离的联系，使人读来别具难以言传的感受。那无数并列不语的青嶂，与“独寻”者默默相对，更显出了环境的空旷与自身的孤孑；而雁背的一抹残红，固然显示了晚景的绚丽，可它很快就要黯淡下去，消逝一片暮霭之中了。
结拍“人如风后入江云，情似雨馀粘地絮。”两句，收转抒情。随风飘散没入江中的云彩，不但形象地显示了当日的情人倏然而逝、飘然而没、杳然无踪的情景，而且令人想见其轻灵缥缈的身姿风貌。雨过后粘着地面的柳絮，则形象地表现了主人公感情的牢固胶着，还将那欲摆脱而不能的苦恼与纷乱心情也和盘托出。这两个比喻，都不属那种即景取譬、自然天成的类型。而是刻意搜求、力求创新的结果。但由于它们生动贴切地表达了词人的感情，读来便只觉其沉厚有力，而不感到它的雕琢刻画之迹。“情似雨馀粘地絮”，是词眼，全词所抒写的，正是这种执着胶固、无法解脱的痴顽之情。
此词纯用对句，从而创造了一种与内容相适应的凝重风格。整首词于排偶中，仍具动荡的笔墨，凝重之外而兼流丽风姿。