談仙石城位于南北湖風景區(qū)西部談仙嶺上，海拔96．7米，是海鹽、海寧兩邑交界處，也是古代海鹽縣至省城杭州的孔道。

談仙石城形勢險要，左右有兩山夾峙，南為南木山，北為北木山，西側為海寧黃灣諸山，東側為一長達三華里的山谷，只有一條崎嶇小徑，可供出入，從南北湖邊遠遠望去，大有“一夫當關，萬夫莫開”之勢，故談仙嶺又有“江南八達嶺”之譽。

談仙嶺的嶺名與譚峭有關（古文談與譚通）。宋《澉水志》載：上有譚仙廟。相傳為南唐道家譚峭煉丹得道之處，至今留有仙人腳、石浴缸、煉丹井等遺跡。

談仙嶺是歷史上重要關隘，為歷代兵家必爭之地，

所以留下了許許多多有關抗御的膾灸人口的故事，明代嘉靖年間，海上倭寇不斷侵擾打劫老百姓。戚家軍埋伏鷹窠頂、談仙嶺一帶，與倭寇短兵相接，數(shù)千倭寇葬身于此。當?shù)孛耖g至今仍流傳著戚家軍英勇抗倭的故事。

清朝道光年間，倭寇再次燒殺擄掠。巡撫劉韻珂奉命在談仙嶺的要隘修筑石城，名曰談仙石城，清末漸廢。

1989年海鹽縣人民政府撥款重修歷時四載，形制依舊，計南北長72.4米，東西闊41.3米，高5.7米，城上建樓一座，城內之徐行健將軍雕像和點將臺，城墻中空可儲兵。2000年上半年這座“天下第一小城”經(jīng)各方面專家的測量、公證評定，確認談仙石城是目前我國最小的石城，入圍上海大世界基尼斯，同年被定為嘉興市國防教育基地。