To me, that's the height of rudeness, tantamount to saying "You are less important than this other person."

私にとっては、「あなたは、こちらの人ほど重要ではない」と言われているも同然で、無礼の極みですよ。