上片以偶遇美人而不得见发端。开头两句的“凌波”“芳尘”化用曹植《洛神赋》句意，是说美人的脚步在横塘前匆匆走过，词人只有遥遥地目送她的倩影渐行渐远。着“目送”两字，细腻逼真地刻画出词人对佳人远去的一往情深的复杂心态。基于这种可望而不可即的遗憾，词人展开丰富的想象，推测那位美妙佳人的生活状况。“锦瑟”一句用李商隐“锦瑟无端五十弦，一弦一柱思华年”诗意。下面自问自答，用无限婉惜的笔调写出陪伴美人度过如锦韶华的，除了没有知觉的华丽住所，就是一年一度的春天了。这种跨越时空的想像，既属虚构，又合实情。这里的“谁与”和“只有”两字相应，不仅写出词人“目送”的外在情态，而且表现了“心随”的内在意绪。
下片则承上片词意，写春日迟暮美人不来的闲愁。“飞云”一句，是说词人伫立良久，直到暮色的四合，笼罩了周围的景物，才蓦然醒觉。“彩笔”一句，转写自身相思悲苦，提笔写下柔肠寸断的诗句。也有人认为题写“断肠句”的是美人，可备一说。接着，由“断肠句”引出下一句“试问闲愁都几许？”“试问”一句的好处在一个“闲”字。“闲愁”，即不是离愁，不是穷愁。也正因为“闲”，所以才漫无目的，漫无边际，飘飘渺渺，捉摸不定，却又无处不在，无时不有。这种若有若无，似真还幻的形象，只有那“一川烟草，满城风絮，梅子黄时雨”差堪比拟。后三句运用一系列的比喻将抽象的、难以捉摸的感情写得十分具体生动。这里的好处不仅是“梅子黄时雨”一句，因为词中的一问三叠答已组合成一个完整的、不可分割的意象，而且富于独创性。古人描写闲愁的名句很多，但这样巧妙地原因博喻的，还没有先例。词人妙笔一点，用博喻的修辞手法将无形变有形，将抽象变形象，变无可捉摸为有形有质，显示了超人的艺术才华和高超的艺术表现力。
贺铸一生沉抑下僚，怀才不遇，只做过些右班殿臣、监军器库门、临城酒税之类的小官，最后以承仪郎致仕。将政治上的不得志隐曲地表达在诗文里，是封建文人的惯用手法。因此，结合贺铸的生平来看，这首诗也可能有所寄托。贺铸为人耿直，不媚权贵，“美人”“香草”历来又是高洁之士的象征，因此，作者很可能以此自比。居住在香草泽畔的美人清冷孤寂，正是作者怀才不遇的形象写照。从这个意义上讲，这首词之所以受到历代文人的盛赞，“同病相怜”恐怕也是一个重要原因。当然，径直把它看作一首情词，抒写的是对美好情感的追求和可望而不可即的怅惘，亦无不可。无论从哪个角度来理解，这首词所表现的思想感情对于封建时代的人们来说，都是“与我心有戚戚焉”。这一点正是这首词具有强大生命力的关键所在。