стоит ли уходить с работы

Здравствуйте. Я решил уйти с работы, так как мне не нравится мой руководитель как человек. Я бригадир.Но бригада меня ценит и уважает, мужики добрые и отзывчивые, уговаривает остаться. Подскажите как мне лучше быть, остаться или уйти, ухудшится ли положение на работе с моим уходом. Спасибо.