袁天罡年少家贫，其父袁守懿，曾是隋末起义军中，王世充的部下。其中最为普遍的一种是:袁天罡本是隋文帝杨坚的儿子，母亲是药王孙思邈的师妹，来到皇宫后，因独孤皇后十分强势，杨坚又是有名的“妻管严”，所以，不久，袁天罡的母亲就被独孤害死了，幸亏孙思邈出手援救，袁天罡才逃过一劫。
被称为“一代妖人”的袁天罡死因扑朔迷离，在历史上这位著有《推背图》的风水大师到底是个怎么样的人?袁天罡在隋末唐初以相术风水被称为一代术数大师，生前各种神奇的预测无不准确，在正史新旧唐书中有一些记载，各种野史笔记小说中也记载了他的一些传奇故事，民间更是把他视作半人半仙，世代口耳相传。
