I didn't realize that it bothered people.

それが人に嫌な思いをさせていることに、気づきませんでした。