如此直来直去的性子，就难免以言贾祸。到了1957年，张伯驹被打成“右派”，从北京下放到东北吉林。张伯驹在1957年那场运动中的具体活动，从周有光夫人张允和的《昆曲日记》中，可看到详细记载。
再拿张伯驹的婚姻来说，有不少传记津津乐道的是张夫人潘素，也是极尽传奇的一个人物，从技艺超群的上海花界“江南第一美人”，到两岸著名的青绿山水画家。查年表，潘素在苏州与张伯驹结缡的时间为1932年，此时男方三十五岁，女方十七岁，正所谓郎才女貌，神仙眷侣。可是再看“文革”期间所写的“张伯驹自述”，张的原配李氏于1938年故去，继妻邓045氏1948年离婚，此后，还有继妻王氏1952年离婚。也就是说，在潘素归于张伯驹之后，到1952年的三十年间，潘的身份与称呼，只能算是“妾身未分明”。到了张的第三个妻子离婚之后，潘素才算是名正言顺的张夫人了。