Raro, muy raro, normalmente cuando una gráfica es inestable aumentar las frecuencias suele empeorar las cosas y no al revés... haz una cosa, baja el msi afterburner (que tiene opciones más avanzadas que el catalyst para frecuencias y OC)
http://event.msi.com/vga/afterburner/download.htmEntra en la sección "settings", marca "unlock voltage control" y "force constant voltage", y reinicialo.
Cuando lo hayas hecho, sube el voltaje una décima (y no más). Es la barra de arriba, marcará 1000, déjalo en 1100, dale a apply y mira a ver si te da el pantallazo de nuevo (yo probaría primero con las frecuencias de serie, es decir, 850/1200). Si lo vuelve a hacer, dejalo todo igual pero pon el ventilador al 100%... si deja de hacerlo, es un defecto de la gráfica, y un fallo claro para que la manden a Taiwan o a donde quieran.
Saludos