桃渚城始筑于明洪武二十年（1387年），置桃渚千户所，筑土城，为防御倭寇的入侵而建，后内迁至中旧城；1442年再次内迁；1443年新建桃渚所城，保存至今；1559年抗倭后增建东西敌台两座；1564年修桃渚城。

　　桃渚城平面基本呈方形，城池前有护城河，西南两面为一片旷野。根据《台州府志》和《临海县志》的记载，“城高二丈一尺，周围二里七十步”。城的平均高度一般在4．6米左右，平均宽度5米左右，城基宽10米。城上原建有敌台十四个，敌台的城墙外壁均做成“马面”。现尚存十二个，东面城墙三个、南面城墙二个、西面城墙二个、北面城墙一个，以及四角各一个。桃渚城有城门三道，东、南、西各一。东城门偏南而设；南城门偏东而设；西城门与东城门相似，亦偏南而设，城门均为拱券形。三道城门外都有一道重门，以半圆形的围合空间构成里门之外的又一道防线，即谓之“瓮城”。东瓮城的重门为竖长形，南向；南瓮城重门的结构同东瓮城重门，东向；西瓮城的重门结构和朝向均同东瓮城。桃渚城瓮城的筑造，一是战时为守城将士提供同倭寇迂回的绝好条件；二是借此以“避煞”；三是足以遮避郊外的风尘。

　　桃渚城内现仍保存着明代的摩崖题刻和明、清历朝所修建的寺庙庵堂以及古建民居等和古迹数十处。其中题刻有明代所刻的“眺远”、“镇海”大字摩崖和《桃城新建敌台碑记》石碑；寺庙庵堂有明代始建的敬奉海神妈祖娘娘的“天妃宫”、“关帝庙”和清代所建的“观音堂”；还有古建民居鼓楼、鹤峤书院，以及柳氏古宅、郎家里古宅、郎德丰古宅；古迹则有佛号柱等。

　　桃渚城是浙江省保存最完好的所城，是研究明代卫所制度与沿海防御体系的重要实物资料。2001年桃渚城作为明代的古建筑，被国务院列入第五批全国重点文物保护单位。桃渚城为全国重点文物保护单位。