למה "לא עניינך" זה נחשב כמשפט חצוף?

כי זה בעצם אומר למישהו שהדעה שלו לא רלוונטית ולא מעניינת.
זה אכן פוגע

אין ספק שיש מקרים שזו גסות-רוח/חוצפה להגיד את זה
מנגד יש המון מקרים שזה לשים גבולות לאחרים
למשל :
אם אדם שואל שאלות לא במקום /קשור חוסר-טקט