据史料记载，中山陵是1925年4月开始筹备的，1926年1月正式动工，历时3年，于1929年5月中山陵的第一期工程——灵寝竣工，6月1日举行了奉安大典。
孙中山先生逝世后，决定“国葬”在南京紫金山，4月23日便正式登报公开向海内外征求中山陵墓设计图案。结果在应征图案40多种里名列榜首的竟是32岁的建筑师吕彦直。
吕彦直，山东东平县人，生于1894年。1913年毕业于清华大学，后又到美国康南耳大学深造。他的中山陵设计图中西合璧，结构雄美，一望而使人产生景仰之情：墓在祭堂后，合乎中国传统观念：堂中多色玻璃及几线阳光透入，又有西洋风格，形式及气魄极似中山先生之气概及精神，故被当时孙先生葬事筹备处授予一等奖，并聘请他为建筑师，主持计划建筑详图及监工事务。
吕彦直为设计和主持中山陵墓工作，呕心沥血，积劳成疾。在工程极近尾声时，他却因病于1929年5月与世长辞，年仅36岁。人们对这位多才多艺的青年建筑师十分敬佩，在灵堂的西南休息室存立他的浮雕像，上有于右任的题词：“吕彦直建筑师建筑陵宫积劳病故，特志纪念。”可抗战后，浮雕不翼而飞。
陵墓是采用苏州、福建的花岗石和云南的大理石，配合现代钢筋混凝土精工建造的。来自全国各地的能工巧匠不避艰险，不辞劳苦，积极为建陵献计献策，创造了许多奇迹。就说碑亭内那刻有“中国国民党总理孙中山葬于此”的巨碑吧，是最好的福建花岗石，第一次运送时，由于巨石太沉，上船后就沉入海底，这块碑是第二次从福建赶运来的。
