Mira para que te hagas una idea, el mío a 3.6 y 1.39 de vCore (Overclocking del 50% y algo así como 0.19v más que tu):
http://mundobip.com/viewtopic.php?f=69&t=2206
Eso es con el Noctua, con el ASUS Square Evo, en idle sumale unos 4º y con carga casi 15º, pero aún así y con un overclocking extremo eran mucho más bajas.
La pasta térmica no se seca, así que si la aplicaste bien no creo que fuera el problema. Mira en ese post como la aplico yo y me da excelente resultado. Te pones en el dedo un plastico sin que tenga arrugas y lo esparces por todo el micro. Una pasta mal aplicada también puede dar problemas.
Respecto a las temperaturas usa el hwmonitor o el coretemp, son la referencia.