Если поставить шпонку, то картина будет таже, только фазы поменяются на 180 градусов. Балансировка была с полушпонкой, т.е. с половинкой шпонки, имитируется как бы целый вал без шпоночного паза.
Там, при балансировке ротора на заводе, предусмотрено так, что при нормальной полумуфте, напрессованной на всю длину конца вала, шпоночным пазом компенсируется дисбаланс от полной шпонки.
У вас полумуфта "короткая" и она своим пазом не "накрывает" всю шпонку и тот кусок шпонки который не накрыт полумуфтой и выступает из вала, создаёт дисбаланс. А без полумуфты что со шпонкой, что без, меняется только направление (фаза) дисбаланса.
И всё-таки с рамой нелады. В поперечном направлении она "держит" усилия от дисбаланса, а корпус двигателя в вертикальном более жёсткий чем в поперечном направлении (в вертикальном центробежная сила от дисбаланса работает на растяжение, а в поперечном на изгиб корпуса двигателя).