李暠自称是西汉名将李广的十六世孙 。 其父亲早亡 ， 李暠是他的遗腹子 。 李暠从小就宽厚谦和 ， 器度非凡 ， 史书称他“性沉敏宽厚 ， 美器度 ， 通涉经史 ， 尤善文学 。 及长 ， 颇习武艺 ， 诵孙吴兵法” 。 河西名士见其表现得异于常人 ， 且又志向远大 ， 认为他定能有一番作为 ， 因此有不少名士都前来投奔他 。 这为李暠的起家奠定了基础 。

公元397年 ， 因后凉吕光枉杀尚书沮渠罗仇和三河太守沮渠麴粥引发了他们的侄子沮渠蒙逊、沮渠男成起兵反叛 ， 并于公元399年拥戴段业为帝 ， 建立了北凉 。 听到这消息后 ， 李暠也与其同母异父弟宋繇等人在家乡起兵响应 ， 于是李暠就被北凉任命为效谷（今甘肃敦煌东北）县令 。 在任内 ， 李暠广施仁义且“温毅有惠政” ， 很快就得到了敦煌当地士绅和百姓的广泛拥戴 。 不到一年 ， 在敦煌太守去世后 ， 李暠就被推举为敦煌太守 。