Well, you're not too far off the mark, actually.

まあ、実は、それほど的外れではありませんよ。