I don't go every year, but I go most years.

毎年行くというわけではないけれど、ほとんどの年は行くわ。