许廷瑞没抓到刘德润 ， 就越界去郓城将刘德润17岁的女儿抓回关押在巨野监狱中 。 在当时中国 ， 妇女吃官司被视作是奇耻大辱 ， 更何况是一个未曾出嫁的少女 。 郓城的刘氏族人对此事极为愤怒 ， 一方面联名向郓城知县申诉 ， 另一方面运动人脉 ， 请出在地方上颇有影响力的、曾在北京当过御前侍卫的孙道隆去巨野要人 。 许廷瑞没有任何理由扣留刘德润的女儿 ， 只好放人 。      

远在安徽的刘德润得悉自己女儿被捕的消息后 ， 愤懑至极 ， 决定回巨野刺杀许廷瑞 。 刘德润得到了奚效方、奚老五的支持 ， 奚效方以回家省亲的名义请了假 ， 三人一起返回巨野 。 刘德润秘密返回巨野之后 ， 联系自己的朋友 ， 如嘉祥县大刀会首领曹言学、巨野光棍头目奚金兰等人商量 。 但在商量时 ， 众人觉得刺杀县官可能性不大 ， 因为县衙守备森严 ， 且这些地方上的帮派头目 ， 也没这个胆量直接杀入官府 。 为了平息刘德润的怒气 ， 同时 间接报复许廷瑞 ， 遂决定杀掉住在磨盘张庄的薛田资 ， 以让许廷瑞丢官去职 。 因为此前凡涉及到教案的地方官员 ， 均被严厉惩戒 ， 革去官职 。