宋宁宗这时候对韩侂胄已经十分不满了 ， 想要收拾韩侂胄 ， 但是找不到合适的借口 。 几年后 ， 韩侂胄发起“开禧北伐”讨伐金国 ， 结果指挥无方 ， 损兵折将一败涂地 ， 韩侂胄的威望极大受损 ， 为了挽回面子 ， 韩侂胄决定找机会再次和金国开战 。 这时候很多人开始借机攻击韩侂胄 ， 说他打仗劳民伤财 ， 对大宋不利（再启兵端 ， 于国家不利） 。

杨皇后早就忌恨韩侂胄当年阻止自己做皇后 ， 如今见韩侂胄兵败而回 ， 陷于不利的舆论境地 ， 就联合自己的哥哥杨次山和礼侍郎史弥远 ， 在宋宁宗面前不断地说韩侂胄的坏话 ， 想要趁此机会让宋宁宗处死韩侂胄 ， 宋宁宗虽然口头没有答应 ， 但是实际上默许了 ， 因为他没有阻止杨皇后的计划 。

韩侂胄对此懵然不知 ， 他想往常一样享受酒色歌舞 。 一天韩侂胄新纳了一个小妾 ， 这个小妾貌美如花 ， 韩侂胄非常疼爱 ， 因为是第四个小妾 ， 又是郡王夫人 ， 因此人们称呼她为“四夫人” 。 韩侂胄纳妾之后 ， 为了给小妾长脸 ， 就让小妾入宫拜见杨皇后 。 杨皇后召见了四夫人 ， 出于客气说了一句“赐座” ， 结果这个四夫人不顾自己卑微的小妾身份 ， 居然一屁股坐在杨皇后的对面 。 韩侂胄嚣张跋扈也就罢了 ， 他的一个小妾居然敢和皇后对坐 ， 这让杨皇后气得牙根痒痒 ， 更加坚定了杀掉韩侂胄的念头 。

几天后杨皇后派礼部侍郎史弥远在上朝的路上安插伏兵 ， 趁着韩侂胄上朝的时候 ， 将毫无防备的韩侂胄拉到玉津园 ， 然后众人一拥而上 ， 用乱棍将韩侂胄打死了 。 韩侂胄死后 ， 宋宁宗下旨抄韩侂胄的家 ， 韩侂胄最爱的四夫人因为曾经在杨皇后面前对坐 ， 得罪了杨皇后 ， 被杨皇后专门下令打了一百大板 ， 然后当天就被赶出了京城 。