这以后，秦威召集管委会班子成员开会时，故意让人不通知叶志参会。秦威征用开发区莲花村一千多亩土地，由杨贤培的三鑫开发集团建造县四大班子办公楼，就是前文提到的“白宫”建筑群。办公楼建成后，因为过于豪华气派，招呼舆论一片哗然，叶志就是最坚决的反对者之一。星江省宣传部门由金书记打了招呼，自然对此讳莫如深。秦威派朱海宝赴北京活动关系，争取中央媒体不要采访报道此事，但他们忽略了《中国农村》这个不起眼的杂志，记者来向阳采访并拍了照片，在刊物上一发，算是捅了个大娄子。杂志上还详细刊登了知情人关于“白宫”建筑群有关情况的介绍，不外乎讲地方领导铺张浪费、搞形象工程之词，并把这上升到是对人民犯罪的政治高度。杂志登出第二天，就有人向秦威告密：这个知情人是叶志。秦威气得恨不能生吞活剥了他。那时叶志还有半年才到切杠的年龄，因为这件事，不仅秦威恨他，毛致用也对他反感，两人一合计，常委会上一通过，叶志任主任科员，算正式退居二线了。