武帝有灭吴的打算，使羊祜为都督荆州诸军事、持节，仍保留散骑常侍、卫将军的职衔。
羊祜率军镇守荆州，开办学校，安抚教化远近人民，深得江汉百姓爱戴。与吴人开诚布公，互相信任，投降的人愿意离去，都听凭志愿。
当时荆州有这样的风俗:地方长官丢官后，继任此官的人生忌讳，多把旧官府的房舍毁掉。羊祜认为死生有命，与房舍无关，就下令所辖地区禁止这种做法。
东吴石头城守军距襄阳地界七百里，常骚扰晋边境，羊祜以为是一大患，便设计谋，让吴撤去守军，于是晋戍边巡逻的士兵减少了一半，所减士兵用来垦荒，垦田八百余顷，大获其利。
羊祜初到荆州时，军中无百日粮，到了他镇荆州的后期，有供十年用的粮草积蓄。皇帝下令撤除江北都督，设置南中郎将，将原江北都督所属在汉东江夏一带的军队都增拨给羊祜。
羊祜在军中经常穿轻裘，束绶带，不披甲，府第卫士不过十几人。然而也常因出外打猎钓鱼而荒废政事。
一次欲夜间出游，军司徐胤手持长戟挡住营门说:"将军都督万里疆域，哪能这样轻心放纵，将军的安危也就是国家的安危。除非我死了，今夜此门才得开。"羊祜脸色一变，向徐胤道歉，此后很少出游了。
轻裘缓带，释义是轻暖的皮袍，宽松的衣带。形容态度从容镇定。