晋武帝登位后，就着手准备灭吴。他首先与羊祜密谋，让羊祜在荆州筹措各种伐吴事宜。如前所述，羊祜镇荆州，“与吴人开布大信”，与陆抗也有一定情况下的宾礼相待，因之流传下一些敌国将帅间的往来佳话，而被人称为中国历史上有名的儒将。但羊祜的主要功绩还在于他采取了灭吴的有效措施。主要工作是：
　　（1）使军粮供应日趋丰足。如《晋书》卷34《羊祜传》载：
　　吴石城守去襄阳七百余里，每为边害，祜患之，竟以诡计令吴罢守。于是戍逻减半，分以垦田八百余顷，大获其利。祜之始至也，军无百日之粮，及至季年，有十年之积。
　　（2）为灭吴，推荐了适当人选。《羊祜传》载：
　　祜以伐吴必藉上流之势……会益州刺史王濬征为大司农，祜知其可任……因表留濬监益州诸军事，加龙骧将军，密令修舟檝，为顺流之计。……疾渐笃，乃举杜预自代。
　　杜预和王濬在以后之灭吴战争中均立有大功。可知羊祜有知人之明。
　　（3）积极备战，并首建平吴之策。《羊祜传》称：
　　祜缮甲训卒，广为戒备。至是上疏曰：“今江淮之险，不如剑阁，孙晧之暴，过于刘禅；吴人之困，甚于巴、蜀。而大晋兵力盛于往时，不于此际平一四海，而更阻兵相守，使天下困于征戍，经历盛衰，不可长久也。……以一隅之吴，当天下之众，势分形散，所备皆急。巴、汉奇兵出其空虚，一处倾坏，则上下震荡，虽有智者不能为吴谋矣。”
　　对于羊祜的建议，当时晋廷多有异议，唯度支尚书杜预、中书令张华与晋武帝赞成。羊祜死后，杜预继镇荆州，也积极谋划灭吴事宜。
　　为了灭吴，晋武帝又命益州刺史王濬在蜀造大船，练水军，准备顺流而下。王濬作“大船连舫，方百二十步，受二千人，以木为城，起楼橹，开四出门，其上皆得驰马往来。……舟棹之盛，自古未有。”王濬对于伐吴尤为积极，曾上疏重申羊祜前议：
　　孙晧荒淫凶逆，宜速征伐，若一旦晧死，更立贤主，则强敌也。臣作船七年，日有朽败。臣年七十，死亡无日。三者一乖，则难图也。诚愿陛下无失事机。
　　由于在荆州、益州等地作了长期充分准备，加上张华、杜预、王濬等人不断上表或面陈，催促尽快出兵，晋武帝终于在咸宁五年（279年）十一月下诏大举伐吴：
　　遣镇东大将军琅邪王司马伷出涂中；
　　安东将军王浑出横江；
　　建威将军王戎出武昌；
　　平南将军胡奋出夏口；
　　镇南大将军杜预出江陵；
　　龙骧将军王濬、巴东监军、广武将军唐彬率巴蜀之卒浮江东下。
　　以上六路军共二十余万人，以太尉贾充为大都督，将中军，南屯襄阳，为诸军节度。
　　晋武帝太康元年（280年）正月，杜预向江陵、王浑出横江的二路军队进展颇为顺利。二月，王濬、唐彬攻克丹阳（今湖北秭归县）。先是吴人于江中要害之处，以铁锁横截之；又作铁锥，长丈余，暗置江中，以阻挡晋船舰。王濬为破除此等障碍，作大筏数十，方百余步，缚草为人，被甲持杖，令善水者以筏先行，遇铁锥，锥辄著筏而去。又作大炬，长十余丈，大数十围，灌以麻油，在船前，遇锁，燃炬烧之，于是船舰无阻。晋军相继克西陵、荆门、夷道。
　　杜预遣牙门将周旨等率奇兵八百泛舟趁夜渡江袭乐乡，吴都督孙歆惧，与江陵督伍延书曰：“北来诸军，乃飞渡江也”。旨等伏兵乐乡城外。歆遣军出拒王濬，大败而归。旨等率伏兵随歆败军入城，歆不觉，直至帐下，虏歆而还。王濬水军继之而至，遂克乐乡城，杀吴水军都督陆景。杜预亦克江陵，杀伍延。于是沅、湘以南，至于交、广，州郡皆望风而降。杜预仗节称诏而抚安之。
　　在东面，吴军更遭到惨败。孙晧闻王浑之军南下，使丞相张悌督丹阳太守沈莹、护军孙震、副军师诸葛靓率众三万渡江迎战。至牛渚，沈莹言：“晋治水军于蜀久矣，上流诸军，素无戒备，名将皆死，幼少当任，恐不能御也。晋之水军必至于此，宜畜众力，以待其来，与之决战。若幸而胜之，江西自清。今渡江与晋大军战，不幸而败，则大事去矣”。张悌曰：“吴之将亡，贤愚所知，非今日也。吾恐蜀兵至此，众心骇惧，不可复整。及今渡江，犹可决战。若其败丧，同死社稷，无所复恨；若其克捷，北敌奔走，兵势万倍，便当乘胜南上，逆之中道，不忧不破也。若如子计，恐士众散尽，坐待敌到，君臣俱降，无一人死难者，不亦辱乎！”
　　三月，悌等渡江，围王浑部将张乔于杨荷桥（在今安徽和县东南二十里）。乔众才七千，闭栅请降，诸葛靓欲屠之，悌曰：“强敌在前，不宜先事其小，且杀降不祥”。靓曰：“此属以救兵未至，力少不敌，故且伪降以缓我，非真伏也，若舍之而前，必为后患”。悌不从，进前与晋扬州刺史周浚结阵相对。沈莹率丹阳锐卒刀楯五千，三冲晋兵，不动。莹引退，其众乱，晋军因其乱而乘之，吴兵奔溃，将帅不能止。张乔自后击之，大败吴兵于版桥（今安徽含山县北）。诸葛靓率数百人遁，悌为晋兵所杀，孙震、沈莹等亦阵亡，吴人大震。
　　是时，王濬已破武昌，乘胜顺流，直趋建业。孙晧遣游击将军张象帅舟师万人御之，象众望旗而降。濬兵甲满江，旌旗烛天，军势甚盛，吴人大惧。时王浑及司马伷亦临近境。王濬最先入于石头。孙晧面缚舆榇，诣军门降。濬解缚焚櫬，延请相见。收其图籍，领州四（荆、扬、交、广），郡四十三，县三百一十三，户五十二万三千，吏三万二千，兵二十三万。男女口二百三十万，米谷二百八十万斛，舟船五千余艘，后宫五千余人。
　　吴自孙策于汉献帝兴平二年（195年）始入江东，据有丹阳、吴郡，至此（280年）历85年而亡。于是中国复归统一。