空气能采暖缓冲水箱应该装在回水管上。因为回水管中的水温相对较低，当水温下降时，缓冲水箱中的水会受到热水的补充，从而保持一定的温度，这能够有效地减小系统的温度波动，提高系统的稳定性。

而如果装在出水管上，当系统需要供暖时，空气能采暖缓冲水箱里的水会被加热，但是一旦停止供暖，温度会立即下降，导致系统的温度波动较大。

因此，将缓冲水箱装在回水管上能够更好地平衡系统的水温和保持稳定的供暖效果。