ISL6566 имеет встроенные драйверы (причем bootstrap ные

ISL6566 имеет встроенные драйверы (причем bootstrap'ные диоды тоже встроены) - основной нагрев из-за них.
Чем больше емкость затвора у силовых транзисторов и больше частота работы ШИМ, тем больше нагрев.
Т.е. сначала желательно проверить/заменить внешние элементы в bootstrap'ных цепях (конденсатор и резистор в каждой фазе). Если не поможет, то можно попробовать проверить/понизить частоту работы ШИМа, хотя это может привести к ухудшению качества выходного напряжения.