Я бы для начала вернул все на

Я бы для начала вернул все на заводские настройки (все-таки, проц вы погнали по шине солидно, память тоже соответственно подросла). А дальше уже искать виновных... Если стабильность системы вернется - искать, на какой частоте она снова станет нестабильной, менять тайминги памяти, думать...