遗策定鼎，天下一统咸宁二年（276），经过多年对峙，羊祜向晋武帝上《平吴疏》，这是他十年筹谋的结晶，也是西晋灭吴的总纲领。在《平吴疏》中，羊祜系统分析了晋吴双方的形势，指出“大晋兵众，多于前世；资储器械，盛于往时”，东吴则“孙皓之暴，侈于刘禅；吴人之困，甚于巴蜀”，“将疑于朝，士困于野”，灭吴的时机已然成熟。同时提出具体的作战方略：多路进兵，水陆协同，从长江上游顺江而下，荆楚之众进临江陵，豫州之兵直指夏口，徐扬之兵向秣陵，让东吴首尾不能相顾。《平吴疏》呈上后，却遭到贾充、荀勖等主和派的激烈反对，此时西北未平，晋武帝也犹豫不决。羊祜虽多次力陈伐吴之利，却始终未能说服武帝，心中郁郁，但他并未放弃，依旧坚守荆州，继续整饬军备、收服民心，等待着水到渠成的那一天。咸宁四年（278），羊祜病重，深知自己时日无多，遂上书请求回京面奏灭吴大计。武帝急召其还洛阳，亲至府邸探视，执其手问身后之计。羊祜强撑病体，再次力劝武帝抓住时机，果断伐吴，又举荐杜预接替自己镇守荆州，直言“杜预文武双全，可承吾志；王濬治水军于巴蜀，可担顺流而下之任，陛下用此二人，灭吴必矣”。不久，羊祜病逝于洛阳，终年五十八岁。羊祜死后，武帝罢朝三日，追赠其为太傅，谥曰成。襄阳百姓自发为其立碑建庙于岘山，每逢祭祀，望其碑者莫不流泪，此碑遂被称为“堕泪碑”。就连远在吴地的百姓，听闻羊祜死讯，也纷纷落泪，感念其信义之恩。