吴铠祖籍江西南昌，明洪武、建文年间，其曾祖在扬州为将领。明成祖朱棣即位后，诛杀建朝文臣武将，吴氏宗族多被杀戮。吴铠的曾祖父只身逃亡，避地阳谷，娶妻生四子。次子英，时称隐翁，即吴铠祖父。铠父澄，字源洁，号坦轩，先入学为生员，后为辽阳（今属辽宁）地方官署属员，遇有边警，乃仗剑从征，因功授山海仓（今河北秦皇岛市）巡检。

　　吴铠（约1491~约1539），字文济，号石湖，吴南园人，明正德九年甲戌（1514）科进士，初官行人，后任南京道监察御史、扬州盐法御史、河南道监察御史，升福建按察司佥事、副使、陕西布政司参政、云南按察使，复以都察院右佥都御史巡抚宁夏，政声颇著。卒于任，归葬原籍。嘉靖皇帝专门派遣官吏致祭，墓前有谕祭碑。原墓规模宏大，有石碑多通和石门、石人、石马、石羊、望天猴等石雕，后皆埋于地下。