软玉的摩氏硬度并不高，因而在新石器时代已经有人类使用玉为材质的工具。中国将在辽东半岛对兴隆洼文化（距今约8000年）的遗址考古发现中发现岫岩玉作为世界上最早的玉器予以认定。[1]新西兰的土著人也曾在他们的文化遗迹中发现了众多遗迹，考古证实在新西兰玉石也曾流行了数个世纪。在日本，玉器也被作为祭祀用的器皿材质之一，尤其是勾玉。在日本历史上的三大神器中也有玉石的出现。

　　新石器时期出土的玉器大多不是当前国际公认的阳起石一类软玉，而是蛇纹石种，亦即文化观念上的玉石。因而这一时期出土的玉器材质往往种类繁多，岫岩玉、独山玉为这一时期的主要玉材。

　　伴随着社会的进步，玉石的雕刻工艺日趋进步。前16世纪中国商代开始将玉器作为奴隶主贵族的财富象征。并且玉器也开始分担政治器皿的职能，帝王在分封贵族、授予大臣财富时往往不乏玉器的存在。在河南殷墟，1976年妇好（商代帝王武丁的妻子）墓中出土了755件玉器，其中囊括了岫岩玉、和田玉（这说明在当时中国中原地区已经和新疆有了经贸联系）等材质制成的玉龙、玉桂、玉璧、玉琮、玉盘等装饰、配件、礼器；在商代的考古中也发现了“跪坐人”等反映社会风气的配饰。说明玉器在商代形成了种类繁多，用途广泛的一个系统，其样式也有新石器时代的片状物检发展为简单的配饰、雕件，说明了当时主要的工具青铜器加工已经有了很大的发展。西汉金缕玉衣。其制作的精良程度代表了当时最先进的玉器制作工艺。

　　随着儒家思想对中国以及东亚地区的影响不断加深，其学说中关于玉的政治理解也随之成为一种社会性的共识。玉器系统也在这一时期日臻完善，形成“六瑞”“六器”职能分工各有不同的体系。“六器”出自《周礼·春官·大宗伯》“以玉作六器，以礼天地四方：以苍璧礼天，以黄琮礼地，以青圭礼东方，以赤璋礼南方，以白琥礼西方，以玄璜礼北方”，作为天子进行对天地四极进行祭祀，祈祷国家安定，社稷平安的礼器。而“六瑞”也是出自周礼“以玉作六瑞，以等邦国：王持镇圭，公持桓圭，侯持信圭，伯持躬圭，子持谷璧，男持蒲璧”，以圭、璧两种玉器，通过官制的高低缓分出六器，说明当时的[[中央集权已经大体形成。不过也有学者指《周礼》成书于战国时期，其著作难免会有儒家的思想文化掺杂其中。天子在祭祀天地、时，要用玉册来刻下铭文；百官封爵以玉器为印信；转达君令使用玉符、君子以玉为德行操守的标准；民间诗歌中经常以玉作为美好事物的代表象征。如《诗经·国风·周南》提到的一段诗歌：

“投我以木桃，报之以琼瑶。匪报也，永以为好也。”

　　这其中的“琼琚”“琼瑶”“琼玖”均是当时对“玉”的美称，此外“白圭之玷，尚可磨也；斯言之玷，不可为也。”（《诗经·大雅·抑》）“淇水在右，泉源在左。巧笑之瑳，佩玉之傩。”（《诗经·国风·卫风》）此外很多成语也与玉有关，如“玉壶冰心”、“玉石俱焚”等，在这些成语中无分褒贬，“玉”的意义一般均为褒义字。

　　中国在战国时期随着儒家文化的不断发展，人们在逐步接受各种派系思想的同时，也接受了玉在文化中的作用。因而玉的文化意义也在不断上升，诗歌中、宫殿内、祭台上都有玉器的存在。其中关于“和氏璧”的典故在这一时期出现，通过《史记》、《战国策》等史书不断延伸，成为极富文化意义的象征。玉的文化意韵还是逐渐成形。

　　汉朝后玉器的制作工艺上不断创新，可以使用玉器的阶层，从帝王将相到市井白衣不一而足。对玉的理解加于了道德的象征，东汉许慎的《说文》上给予玉五种道德，即“仁、义、智、勇、洁”玉之五德。玉器也开始逐渐向随身装饰和摆放雕件两个方向发展。六朝后的玉器开始向写实的手法上发展，作品大多以人和典故为主题。宋以后，玉成为世俗化的装饰。

　　玉器曾作为丝绸之路上西域地区的特产之一，于阗（今中国新疆和田县）以出产色泽洁白的软玉而著称，在伊朗、阿富汗、印度都有出土记录。和田玉中色泽洁白，有脂肪光泽的玉被称为“羊脂白玉”而受到人们的喜爱。此外，新疆准噶尔盆地与青海也盛产玉石。

　　明清以后玉石的雕刻日渐以装饰为准，其中不乏乾隆时期著名的大型玉雕大禹治水图玉山，以及其他玉材加工后的名品。这一时期硬玉翡翠也开始受到社会的欢迎，慈禧太后的墓室中就曾被发现有大量制作极为精良的翡翠玉雕出土，但后来因被盗墓而不知下落。