据《史记》记载，秦始皇是一个私生子，他并不是他父亲秦庄襄王的儿子，吕不韦才是他真正的父亲，透过这些，我们似乎看见了这位伟人的苦难童年。
秦始皇的父亲异人（庄襄王）在年轻时便被当做人质，抵押在赵国的首都邯郸。作为一个落难公子，在异国他乡是很悲惨的。这时，身怀异心的大商人吕不韦接近了他。吕不韦用重金替他在秦国活动，使他逐渐取得父亲（秦孝文王，秦始皇的祖父）的喜爱。吕不韦还把已怀身孕的爱妾赵姬介绍给他，“欲以钓奇”。异人很喜欢赵姬，马上娶她为妻。
前259年，背着“私生子”的骂名，秦始皇出生了。由于他出生在赵国，所以也有史书叫他“赵政”。当时秦赵两国正在交兵，可想而知，异人和妻儿的处境是多么危险。秦始皇在战火中的邯郸一直待了三年，幼小的心灵随时被喊杀声震撼着。前257年，赵王想杀掉异人，在吕不韦的帮助下，他逃离邯郸，回到了秦国。赵王一怒之下，又要杀赵姬母子，赵姬怀抱着秦始皇，藏匿起来，等风声过后，也悄悄地到了秦国。
到了前249年，异人继承了王位，但三年后，即前247年，他得病死了。年仅十三岁的秦始皇登基后，以他稚嫩的肩膀过早地扛起了秦国统一天下的使命。责任使他变得更早熟，更坚强，也变得更沉默了。
秦始皇童年时便和母亲赵姬在战火中历经患难，没有母亲的保护，也就没有他的将来。所以，他对母亲有很深的感情。但他即位后，赵姬“淫乱不止”，偷偷和人私通，并生了两个孩子，还想和奸夫谋害秦始皇，立他们的私生子为王，被秦始皇察觉，他镇压了奸党的叛乱，把太后所生“两弟扑杀之”，并将太后赶到外地的王宫中。
母亲的淫乱和背叛极大地刺痛了秦始皇的心，损坏了母亲在他童年记忆中的形象。正因为爱之深，所以恨之切，他决定不再原谅母亲，下令：
“以太后重谏者，戮而杀之，蒺藜其背。”当时因此被处死的就有二十七人。但后来经过谏士茅焦的劝阻，他也很后悔，便亲自把母亲接回了咸阳，母子和好如初。赵姬死后，秦始皇还把她和秦庄襄王葬在了一起。
