磨料磨具的歷史可以上溯到人類的遠古時期。在我國黃河流域曾多次發掘出經過研磨加工得很好的石斧、石箭、刀器及裝飾用的動物骨和角等；在埃及，有存在五千多年由砍平並經過拋光的砂岩壘迭而成的著名金字塔。這些都充分說明研磨加工早在石器時代就被人類用來為生產服務了。我國是應用磨料磨具最早的國家，奴隸制社會就出現了用研磨法制成的青銅鏡。十三世紀時用天然樹膠將貝殼粉末貼於羊皮紙上製成了磨擦工具，比起用天然金剛砂作磨料製成砂紙的法國要早五個世紀之久。

在很長的時間內，研磨技術僅限於拋光和刃磨這兩個工序。1846年出現了簡易的外圓磨床，用天然的石頭作磨具、開始初具磨具的形式。在此之前，印度人還用蟲膠把金剛砂粘在一起做成油石。美國在1823年就已有一個天然油石廠，1857年比利時人用橡膠和天然礦石做成了橡膠砂輪。直到1859年才出現了將天然磨料用燒結方法制成的人造磨具，這種磨具可以在較高的速度下工作。由於西方的產業革命，使機器生產代替了手工生產，這時磨具才用於機器上。

1877年美國塔頓公司前身在陶器作坊中把天然金剛砂用粘土粘在一起，燒成世界第一片陶瓷砂輪。1880年，美國又用樹脂做出砂輪。1885年正式建立用天然磨料生產陶瓷磨具的企業。

在此之前的磨料磨具，都是用天然的磨料製成。直到1891年、1893年美國卡普倫登公司和諾頓公司才分別製造出碳化矽和剛玉，自此人造磨料問世了。

1900年，磨床開始進入機械加工工序，對磨料磨具的要求日益迫切。1901年，剛玉大批投產，並生產出白剛玉。從此隨著機床工業的發展，外圓磨床、平面磨床相繼出現了。到1920年磨床的液壓傳動已比較完善，給磨具的使用創造了更有利的條件。1921年，碳化矽生產在原來的基礎上發展為綠碳化矽和黑碳化矽兩種。同年，磨齒機產生，這樣螺紋磨削、齒輪磨削、平面磨削等各類磨削全面鋪開；白剛玉、棕剛玉、綠碳化矽、黑碳化矽等多種磨料磨具日臻完備。

1934年，又出現了硬度高於剛玉和碳化矽的碳化硼。1936年出現了介於白剛玉和棕剛玉之間的半脆剛玉。與此同時，產生了金屬結合劑天然金剛石砂輪。1946年，單晶剛玉問世。1954年，美國的GE公司、卡普倫登公司和諾頓公司合作製成了可重複生產金剛石的裝置。1957年製出氮化硼。1962年前後產生出鉻剛玉。1963年又產生出主要用於在磨削壓力大的情況下（重負荷）打磨鋼坯等材料的鋯剛玉。1970年出現了釩剛玉，但目前用途不廣。

遠古以來，磨料磨具經歷了一個漫長的成長過程。但自制成人造磨料磨具之後，從使用磨床到現在只有短短一百年的歷史，而磨加工卻已成為機械加工不可缺少的基本工藝。

在當今的世界上，磨具的使用雖仍以機械製造業為主，但磨料的用途已遠遠超出本身的磨削範圍而朝著鍊鋼、耐火材料、建築工程、電熱元件等工業擴充套件。