定時後でも帰るときに『お先に失礼します』と言う
定時後ならむしろ『まだ残るんですか?』ぐらいの態度で帰るべきでは?