湛江高铁站到徐闻港没有高铁直达，需要先乘坐高铁或动车从湛江高铁站到徐闻县，再从徐闻县乘坐汽车或轮渡前往徐闻港。从湛江高铁站到徐闻县大约需要2小时30分钟，然后从徐闻县到徐闻港大约需要1小时，所以从湛江高铁站到徐闻港大约需要3小时30分钟。