除在荆州加紧进行攻吴的各项军事部署外,深明大局的羊祜还向晋武帝密奏:若要伐吴,必须在益州(今四川地区)大办水军,利用长江上游的地理优势,对孙吴采取水、陆并攻的战略。
羊祜听说,孙吴境内流行一首童谣:“阿童复阿童,衔刀浮渡江,不畏岸上兽,但畏水中龙。”他认为,这就是上天预示,攻吴,必用水军,方能成功。恰好此时益州刺史的王濬小字“阿童”,应了前述童谣之言。王濬因得罪朝中权贵,即将被征到朝廷,任有名无实、明升实降的大司农。羊祜极欣赏王濬的军事才能,于是上奏晋武帝,极力建议王濬留任益州,操练水军。
经过七年积聚、训练,荆州前线晋军实力,已远超吴军。加之此时陆抗病逝,孙皓暴虐,吴国臣民,人人自危。羊祜审时度势,判断晋灭吴的时机已经成熟。因此,他上疏晋武帝,请求伐吴。这就是历史上有名的《请伐吴疏》。
在奏疏中,羊祜分析了当时天下大势,指出伐吴灭吴,已时机成熟,势在必行。他以司马昭执政时发动灭蜀战役为例,驳斥了部分官员以孙吴长江天险难以逾越,阻挠伐吴的见解。认为孙吴境内险固,不会超过蜀汉;孙皓暴虐,远超刘禅;吴人贫困,甚于巴蜀;大晋兵强马壮,远超往昔。趁此天时、地利、人和,孙吴可一鼓而平。
羊祜还制定了具体的伐吴策略:以梁、益二州军队,水、陆并进东下;荆、楚之军,进逼江陵;豫州之军,进攻夏口;徐、扬、青、兖等州之军,进军秣陵,作为疑军。多方并进,则吴军难辨虚实,必然兵力分散,顾此失彼,人心慌乱。
羊祜的奏疏,虽得到了晋武帝的充分肯定,但朝中以贾充、荀勖为首的绝大多数臣僚却极力反对。支持者,只有度支尚书杜预、中书令张华等少数人。因此,羊祜的奏疏被暂时搁置再议。羊祜得知消息后,喟然长叹道:“天下不如意事,常十有七八。有些人却当断不断,当予不取,令人遗憾啊!”
咸宁四年(278年)八月,羊祜患病,请求入朝。返回洛阳时,恰逢姐姐景献皇后羊徽瑜去世。羊祜万分悲痛,病势愈加沉重。他面见晋武帝,再次陈述伐吴之策。但因贾充等反对,羊祜失望而返回荆州。