歷史上壽山石開采始于什么時候，至今未有定論。此事說來話長，得由福州出土南朝“石豬”說起。

1954年，在福州倉前福建師范學院桃花山工地，發掘了一座南朝墓葬，出土的殉葬品中，發現有石豬一件，高1.1厘米，長6.4厘米，作平地臥伏狀，系用壽山石中的老嶺石雕刻的，型制簡易粗獷。在此后的數年中，又從福州各處的15座六朝墓葬中，陸續出土一批此類的“石豬”。到了1965年，更在發掘北郊二鳳山工地一座古墓中出土了同類的“石豬”一對，同時出土的還有刻上“元嘉二十二年乙酉”字樣的紀年墓磚若干。“元嘉”為南北朝時宋文帝的年號，“二十二年乙酉”為公元455年。由此可見福州壽山石的開采至少有1500年以上的歷史了。
但是，也有的研究壽山石的學者認為壽山石的雕刻史在1500年以上的論斷可以成立，但開采史上限定于南朝，證據尚不足。理由是老嶺石是壽山石中一種劣質石，分布面廣，且有多處裸露于地層表面，揀拾一些剝離石塊進行雕刻是輕而易舉的事，不能算作有目的開采。而堅持壽山石開采始于南朝的學者則認為：福州發掘的十余座南墓葬，均有小石豬出土，這說明以壽山石小豬為殉葬品已是南朝的一種普遍習俗；開采老嶺石（即使表現為“揀拾”）以應雕刻殉葬品的需要，已成為一種有目的的行為。“揀拾”是開采的最初形式，必然要發展采掘，如深洞開掘等。在以上兩種意見之爭尚未有結論之時，又有一件壽山石翁仲俑，從福州古墓中出土，石材也是老嶺石，形制與漢代的玉雕翁仲一樣，一些考古學者推測為漢代的遺物。如果這個推測能得到證實，那么福州壽山石的開采史和雕刻史的年代上限，又將大大地向前推移。

歷史上壽山石開采有文字可考的最早始于南宋。成書于宋淳熙九年（1182）的梁克家《三山志》記載：“壽山（在）稷下時里……壽山石潔凈如玉，大者可一二尺，柔而易攻，蓋珉類也。五花石坑，相距十余里，紅者、紺者、紫者，惟艾綠者難得。”編纂于宋理宗年間（1225—1264的《方輿勝覽》，將壽山石列為福州的著名土產，與荔枝、素馨、茉莉、海鹽一并介紹。再就是朱熹的女婿、南宋著名文人黃干，有七絕《壽山》一首，詩云；“石為文多招斧鑿，寺因野燒轉熒煌。世間榮辱不足較，日暮天寒山路長。”這些宋時的文字，記載了同時代的壽山石開采的情況，極為可信。到了后代，一些文獻更記錄了宋時的開坑、造器等盛況。如清代高兆《觀石錄》有“長老云：‘宋時故有坑，官取造器，居民苦之，輦致巨石塞其坑，乃罷貢。’”毛奇齡的《后觀石錄》亦云：“宋時故有坑，以采取病民，縣官輦巨石塞之。”前后兩冊觀石錄講的是同一件事，但細察起來，含意略有不同：前者說了開采壽山石中的官民矛盾，是民輦巨石塞了坑；后者說的是上下層官僚的沖突，即上方開坑取石，縣官輦石填坑。但兩說都肯定了宋時壽山石開采的盛況。只是到了南宋后期，由于石工和地方官員的抵制，壽山石開采才顯得冷落。清康熙朱竹宅的《壽山石歌》說：“南度以后長封緘”，就是這個意思。福州宋墓出土的隨葬石俑頗頗多，石村除老嶺石外，還有紫覃石、高山石，甚至有牛角凍、月尾、艾葉綠等上品；形制高大，有的石俑高竟達40厘米。實際情況也證明了宋朝曾出現壽山石開采的高潮。

元明之時，已不是官家組織的大規模采石活動，但壽山農民的耕余采集壽山石仍無斷歇。珍貴的田黃石就是在明時被發現的。清代施鴻寶的《閩都記》曾云：“明末時有擔谷入城者，以黃石壓一邊，曹節愍公（曹學全）見而奇賞之，遂著于時。”

到了清初，由于國家的統一和商賈、權勢者的介入，壽山石的開采又出現歷史上的一個高潮。先是民間的采掘，《后觀石錄》記載：“康熙戊申，閩縣陳公子越山（名日浴，字磐，故黃門子），忽赍糧山中，得妙石最夥，載至京師售十金。每石兩輒估其等差，而數倍其值，甚有直至十倍者。”此時靖南耿精忠鎮福州，對于壽山石的索取，表現為掠奪性、破壞性的開采。“強藩力取如輸攻……日役萬指傭千工。掘田田盡廢，鑿山山為空，昆崗火連三月烽，玉石俱碎污其宮。”（見清查慎行《壽山石歌》）后來耿精忠叛清，清朝派了康親王杰書率兵入閩平叛，八閩一時成了杰書的天下。此人及其部屬，對壽山石的追求，比耿精忠毫無遜色。《后觀石錄》云：“自康親王恢閩以來，凡將軍督撫，下至游宦茲土者，爭相尋覓。……于是山為之空。”“鑿山博取，而石之精者（隨之）出焉。”石的品種空前豐富起來。“石有類玉者、珀者，玻璃、玳瑁、朱砂、瑪瑙、犀若像焉者。其為色不同，五色之中，深淺殊姿。”（見清卞二濟《壽山石記》）壽山石的品種在前后觀石錄中記述已有數十種。清代福州學者郭柏蒼在其《葭跗墓堂集》和《閩產錄異》中列舉了在清中葉嘉慶年間，其親見的壽山石品種亦達20余種。但到了晚清，壽山石的開采又消歇下去。

民國期間，壽山石的開采逐漸復蘇。據有關資料記載：1917年，壽山一年出產雕刻用石3000斤，品種有40余種，采掘坑洞達140余處。但是自抗戰爆發后，壽山石的開采一落千丈。這種情況一直延續到新中國成立之后。進入本世紀80年代，國家實行改革開放政策，壽山石名聞海外，石價躍升，高過了以前的幾十幾百倍，開采超過了歷史上任何一次的采石熱潮。最興旺時，全鄉除了老幼外，所有男女都上山采石，出產品種已達百來種。斷產許久的芙蓉石又恢復出石了，還出現了壽山石開史上從未有過的上等好石荔枝洞等。這時又一次掀起了挖田黃熱，而且給村民帶來了很好的經濟效益，鄉村出現了一片繁榮興旺的好景象。正如金石家潘主蘭先生所言：“往時尚見竹籬茅舍，今已高樓廣廈，美輪美奐遍一村。玉宇風清，石得時愈顯。”