Фраза «Не будем вам мешать» означает, что по возможности вам будут вредить.