奥さんのことを考えると辞めた方が無難
もし、ご友人の方が自分の子供と会わせたいということであれば外でご友人とお子さんと質問者さんで短時間にしたら良いと思います。
ご友人がお子さんと2人きりでも外出できるかにもよりますが。