第四次文物普查是一项全国性任务，各部门都有不同的职责。国家文物局要负责制定普查方案、统一组织、监督和检查普查工作；地方文物行政部门要负责分别统筹组织本地区的文物普查工作；各级文物保护单位要配合普查并提供实际支持；公安、海关、邮政等部门要配合文物普查工作并打击文物走私活动。

同时，普查员队伍也是各级政府和文物单位的重要组成部分，要认真负责的完成普查任务，确保普查结果的真实可靠。