Hum je pense pas trop, personnellement. additionner des -2, on a vu plus compliqué.
EDIT: au pire, tu prends un d6 de couleur bien spécifique qui permet de savoir à combien de malus le personnage est. C'est ce que j'oblige souvent des PJs à faire. Pas compliqué, visuel et sympa: tout le monde sait qui a un gros malus à force de faire plein d'actions.