砚作为“文房四宝”之一，不如笔、墨、纸在古书里记载得多。砚因为在古代文献中记载较少，其创制年代不可确考。
从中国文字的兴起演变看，甲骨文是用刀刻，故称书契。进而漆书，即点漆而书写，根本用不着墨，当然也就用不着砚。从周代开始多用石墨磨汁书写，当时磨石墨成汁一般砖瓦均可，不一定是砚，但从磨墨的用具即可称砚这个概念出发，秦汉时确已广泛用砚了。宋代程大昌的《演繁露》中说：
唐已前，无石砚，多用瓦砚。指的就是秦汉时的瓦砚。秦汉时的宫殿等豪华建筑所用的砖瓦都是澄泥烧成，因而质地极密，故有秦砖汉瓦的美誉。后经朝代更迭变乱，宫殿损毁，御用砖瓦流散民间，因质地坚密遂取而为砚，尤其是檐头之瓦，质地最坚，称为“瓦头砚”。秦代有阿房宫瓦，汉代有未央宫瓦、甘泉宫瓦等，而以未央宫瓦砚为最多。《容斋续笔》有段记载：
相州邺县，铜雀台遗址，仿佛犹存，其瓦极大。王文叔得其一。尝以为砚，以饷黄鲁直，东坡为之作铭者也。铜雀台是曹操的遗物，因人及物是一般人的心理反应，苏轼便引以为贵了。
唐宋以后除瓦砚外也开始使用石砚了，有人说在曲阜孔庙里有一块石砚，乃孔子所用之物。秦汉时也有石砚的记载，但都是临时捡用的石片，并未成砚形，到唐代才出现正式的石砚。唐代人们发现在端、歙二地的石块适于制砚，于是以石制砚才兴盛起来。
端砚产于广东肇庆端溪。此处多奇山怪石，幽谷深邃，风景优美。这里的山叫斧柯山，山上的砚岩，有下岩、中岩、上岩之分，山背后还有龙岩。唐代便在这些地方取石做砚。端砚湿润细腻，石纹隐约浮沉，并宜于研墨贮墨，美观实用。其主要特点为出墨快、蘸笔圆、细而不滑、坚而不燥。
宋代时端溪被水浸，砚工在水中取佳石，极为难得。当时政府设砚务官在此驻守，每年责令贡砚，不准老百姓随便采伐，可见端石之贵重。明代时大力采伐，永乐年采伐的称永乐坑，另外有成化坑、宣德岩、万历坑等称谓。
歙砚出自安徽婺源之歙溪。据说唐代有个打猎的人追赶野兽发现这个地方，叠石如城，晶莹可爱，携回家去制成墨砚，温润如端砚。后来县令知道后，令匠人进行开采，于是此处也成为名砚区。然歙溪面积小，宋代以前又多以此为产砚中心，故到宋代这里已没有可采之石了。歙溪以卵石为贵，最大的也不过四五寸，古人就其形制成“月砚”，极为精美名贵。歙石极细，但微感涩滞；端石则极润滑，可以此来辨识。
古时除端、歙二地产砚外，其他地方也产砚，如灵岩石砚、红丝砚、角石砚、易州石砚等，因均不如端、歙二砚，故没有引起后世的重视。
