因境内新沂河而得名。

秦设置司吾县,隶属东海郡。西汉分设司吾、建陵两县,分别隶属东海郡和徐州刺史部。东汉时,复名司吾县,隶属徐州刺史部。三国时属魏,仍名司吾县,属下邳郡,隶徐州。晋朝仍名司吾县,属临淮郡,隶徐州。南朝宋南北朝时并入宿豫县。唐代宗宝应元年(762年),为避代宗李豫之讳,改宿豫县为宿迁县。