Nein, angegriffen wird nichts. Wie du auch schon gemerkt hast, läuft Kühlmittel ja auch durch Gummischläuche.
Aber Kühlmittel hat eine Schmierwirkung, und die ist auf dem Riemen nicht so praktisch.
Also nimm am besten eine Flasche mit klarem Wasser die du bei laufendem Motor über den Riemen schüttest (Vorsicht, das spritzt etwas). Dann würde ich den Motor warm fahren, damit nicht irgendwo was fest frieren kann.