根据相关法律规定，在执行法官转账的情况下，对方应及时履行退款义务，否则可能会被强制执行。执行法官转账是一种强制执行手段，意在让催收方通过法律手段追回欠款。因此，对方在接到执行法官转账的通知后，应立即履行退款义务，否则将面临法律责任和惩罚，严重者可能会被强制执行财产。因此，有必要及时退还款项来规避不必要的麻烦。