时隔不久，周取代了西魏，杨忠自然是周的开国元勋，地位日隆，官至柱国大将军、大司马，爵封隋国公。

按理说，杨坚出生在如此显赫的家中，他的前途一定是一片光明。

可事实上，杨坚出生后的日子却颇不好过，这一切都源于他那与众不同的容貌。

杨坚的夫人吕氏生下杨坚时，“紫气充庭”，有个从河东来的智仙尼姑对吕氏说：“这个孩子不是凡人，不能在凡间养。”

于是，尼姑把他抱到庙里一个别院躬自抚养。

吕氏有一次来到寺院，抱起小孩，发现小孩头上长角，身上长鳞，又惊又怕，把小孩丢在地上。

杨坚出生后不久，父亲杨忠就又踏上了南杀北战的征途。

自从那次受了惊吓之后，吕氏每想起儿子头上长角、身上起鳞的样子，浑身就止不住起鸡皮疙瘩，虽然智仙尼姑说过儿子将来是龙凤之人，但吕氏总驱逐不去内心的惶恐惊惧，如果不是想念得实在受不了，她很少去寺院别宅中看望儿子。

从哇哇落地，到牙牙学语、蹒跚学步，杨坚都是在智仙尼姑的一手抚养下慢慢成长，很难见到父母一面。

没有双亲温暖、没有儿时玩伴的童年生活对杨坚来说是非常孤独、落寞而无趣的。

每天面对的是清冷的佛寺、泥塑的菩萨、脸色呆板无情的尼姑，每天听到的是毫无生趣的晨钟暮鼓声、枯燥晦涩的诵经讲道声、以及单调乏味的洒水扫地声，很少有人与他逗乐，很少有人与他玩耍，哪怕是做一个简单的游戏。

这种童年生活，养成了杨坚沉默寡言、深沉孤僻的性格。他身边唯一亲近的人也就是智仙尼姑，除了她，很少有人能与杨坚亲昵狎玩。

杨坚五岁那年，父亲杨忠为他请了一个文武双全的博学杂家来给他当师傅，教习杨坚念书识字、琴棋书画、骑马射箭，一心想把杨坚也培养成文武全才之人。