Доброго времени суток.
Холодный воздух вполне может поступать через вентиляционное отверстие. Иногда, при неправильном монтаже данной системы может вообще возникнуть обратная тяга, которая значительно будет снижать температуру помещений. Необходимо не забывать, что у вентиляционных отверстий всегда предусматривают специальные заслонки, с помощью которых можно регулировать подачу и объем холодного воздуха. Ее работоспособность и условия зависят как от системы организации вентиляции, так и от специальных приборов, используемых в данной системе. К примеру вот несколько статей по данному поводу:
/stroitelstvo/doma/seti/ventilyacija/vytyazhnye-sistemy.html
/stroitelstvo/doma/seti/ventilyacija/shema-pritochno-vytjazhnogo-vozduhoobmena.html
/stroitelstvo/doma/seti/ventilyacija/estestvennyj-vozduxoobmen-v-chastnom-dome.html
Довольно сложно судить о причинах теплопотерь, так как в Вашем случае необходим выезд и осмотр на месте. Так как из Ваших данных сделать вывод очень сложно — проблема может заключаться как в отсутствии утеплителя, или недостаточном слое последнего, неправильный монтаж и т.п.