然而自从桓、灵以后，连绵数十年不休的瘟疫、饥荒、水灾和兵灾，对荆南四郡的摧残超乎想象。仅仅建安元年以来的四次大瘟疫，就直接抹除了整个荆州三分之二的人口；而随之而来的各种灾难，又使剩余的户口纷纷脱离政权掌控，主动或者被迫地转移到各地豪族大姓的庇荫之下。
如今玄左将军府名义上控制四郡，真正控制在手的户口，甚至不到汉时四郡户口数量的十分之一，实际调用的财赋，也甚是薄弱。这当然不是玄德公愿意见到的情形。雷远可以确定，随着荆州军府的管治渐渐稳定，各地的强宗豪族迟早为成为限制分化的对象。
庐江雷氏也是强宗豪族，甚至是在玄德公面前挂了号的大豪族。玄德公将雷氏挟裹的百姓与雷氏宗族拆分开来，分别于乐乡、零陵北部两处安置，便已经明确了他的态度。对此，雷远自然心知肚明，他在乐乡县内的动作，也必须把握好分寸。