Уровень оборотки, даже для плохо закреплённого двигателя, на х.х. великоват. Возможно есть проблема с дисбалансом. Например несбалансированная полумуфта или наоборот, отсутствие полумуфты и "полушпонки" на валу двигателя. Ротора эл. двигателей балансируют на заводах с "полушпонкой" в шпоночном пазу и при монтаже полумуфты со штатной шпонкой сбалансированность ротора сохраняется, но без полумуфты и "полушпонки" имеем дисбаланс ротора. Да и жёсткость системы рама/фундамент тоже под вопросом.
Плюс имеется модуляция оборотки, возможно сепараторной частотой. В спектрах, на предположительных частотах дефектов подшипника также наблюдается "активность". Возможно подшипники "хоженые", имеют износ, увеличенный радиальный зазор и дефекты тел и дорожек качения. На х.х., без механизма, ротор двигателя, из-за отсутствия "прижимающих" сил эл магнитного характера и крутящего момента, может "подпрыгивать" даже на незначительных дефектах подшипников, особенно при увеличенных радиальных зазорах в них.
Короче. Для начала устраните возможные "мягкие лапы" и закрепите двигатель на раме как положено. А потом разбирайтесь с остальными проблемами. Иначе одно наслаивается на другое и сложно разобраться что первично, а что вторично.