唐德宗贞元十九年，杜牧生于一个尊崇传统文化的官宦世家。他的远祖杜预是西晋著名的政治家和学者；曾祖杜希望为玄宗时边塞名将，爱好文学；祖父杜佑，是中唐著名的政治家、史学家，先后任德宗、顺宗、宪宗三朝宰相，一生好学，博古通今，著有《通典》二百卷：父亲杜从郁官至驾部员外郎，早逝。杜牧为自己的家世而自豪，曾写诗云：”旧第开朱门，长安城中央。第中无一物，万卷书满堂。家集二百编，上下驰皇王。”（《冬至日寄小侄阿宜诗》）
杜牧的童年生活富裕而快乐。祖父杜佑的樊川别墅在长安城南，其地有林亭之美，卉木幽邃，杜牧常在园中嬉戏。祖、父相继去世后，他家日益贫困，“食野蒿藿，寒无夜烛”。但家境的贫寒并没有影响杜牧积累学识，穆宗长庆二年（822年），杜牧20岁时，已经博通经史，尤专注于治乱与军事：23岁时，他便写了《阿房宫赋》。文宗大和二年(828年)，26岁的杜牧进士及第，正是凭借这篇《阿房宫赋》。
据《唐摭言•公荐》记载，当时，崔郾侍郎奉命到东都洛阳主持进士科考试，百官公卿都到城门外摆好酒席饯行，车辆之胜，官员之多，举世罕见。此时吴武陵——他是柳宗元的老朋友——正任太学博士，也骑着一头老毛驴过来凑热闹。崔郾正在酒席上喝得高兴，听说吴老这位名土也过来了，连忙离席前来迎接。
吴武陵看见崔郾，把他拉到一边，拍着崔郾的肩膀说：“你担负此任，乃是众望所归。我老了，不能为朝廷排忧解难了，不如为你推荐一个贤士。前些日子，我偶然发现一些太学生情绪激昂地讨论一篇文章，走近一看，原来是这次要参加考试的杜牧所写的《阿房宫赋》。
这篇文章写得真好，这个人也太有才了。崔侍郎你工作繁重，日理万机，恐怕没有闲暇去浏览这篇文章不如让我为你诵读一下。”说到这里，吴老就字正腔圆地读起了《阿房宫赋》。
崔郾听后称赞不已，吴武陵趁热打铁，要求崔郾在接下来的考试中将杜牧评为状元。崔郾面露难色，推辞道：”状元已经被他人预定了。”吴老穷追不舍，大声说道：“如果真的当不了状元，就退一步，让他以第五名进士及第。”崔郾还在犹豫，吴老步步紧逼：”如果还不行的话，就把这篇赋还给我，看有没有比这写得更好的赋。”崔郾只好答应，目送吴老离开。
回到酒席上，喝酒的同僚问吴老来做什么。崔郾回答：“吴老推荐了一个人为第五名进士。”酒客追问是谁，崔侍郎回答：“杜牧。”
旁边立刻有人接茬说：“听说过杜牧这人，是有才气，但品行不太好，不拘小节，喜欢烟花风月。”崔侍郎为难地说：“我已经答应了吴老，即使杜牧是个屠夫或卖酒的小贩，我也不会改变了。”
随后，杜牧果然进士及第。
