厚手カーテンの裏面にアクリル樹脂コーティングを施した遮熱･保温カーテンであれば、
室内の暖気を逃がさず保温効果があります。
ただし、それだけではカーテンと壁の間から冷気は入ってきます。
まずは、現在のカーテンの取付方法はどのようになっているのか。
たとえば、天井からカーテンが下がっているか、厚手カーテンの側面がリターン式の縫製になっているか、裾は床までのサイズになっているか（壁に暖房装置等があればその上まで）などのチェックをされると良いでしょう。
これらの仕様にするだけでも窓からの冷気は抑えられるかと思います。