古代的“小学”与现代我们所说的“小学”是不一样的。我国古代的“小学”有三种说法：
说法一，小学是对儿童、少年实施初等教育的学校。我国西周即有小学，名曰“下庠”、“西序”、“左学”等，其后名称也不统一。小学主要分官学和私学两种：官学如四门小学、内小学；私学如书馆、乡塾。《大戴礼记•保傅》中说：“古者年八岁而出就外舍，学小艺焉，履小节焉。”这句话的意思是古人8岁开始上小学，学些小的技艺，知道一些小礼节。
南宋理学家朱熹在《〈大学章句〉序》中说：“人生八岁，则自王公之下，至庶人之子弟，皆入小学，而教之以洒扫、应对、进退之节，礼、乐、射、御、书、数之文。”这里可以比较详细地看出，当时的小学教授的一些内容。
说法二，小学是指古汉语文字学。因儿童入小学先学文字，所以得名。西汉时称“文字学”为“小学”，唐宋以后又称“小学”为字学。读书必先识字，掌握字形、字音、字义，学会使用。周朝儿童入学，首先学六甲六书（六甲指儿童练字用的笔画较简单的六组以甲起头的干支。六书即指事、象形、形声、会意、转注、假借），所以从前把“文字学”称“小学”，“小学”之名即由此而得。隋唐以后，小学为文字学、训诂学、音韵学的总称。
说法三，小学是指“琐屑之学”。《陈书•傅传》：“顷代浇薄，时无旷士，苟习小学，以化蒙心，渐染成俗，遂迷正路。”
现在意义的小学是中国于1915年建立的初等小学堂，“以授以国民道德之基础及国民生活所必需之普通知识技能为本旨”。六岁入学，修业四年，毕业后视具体情况可升入高等小学校〔修业三年〕。
1922年，国民学校仍改为初等小学校，1940年，国民政府实行所谓“管、教、养、卫一体”，规定各乡设中心国民学校（相当于中心小学），由乡长兼任乡壮丁队长和校长，各保设国民学校（相当于村小），校长由保长兼任。
