מה זה בעצם ההפרדה באנגלית בין אנשים שנחשבים White ואנשים שנחשבים Black?

ראיתי סרטון על אנשים ששמים להם כיסוי עיניים ונותנים להם לדבר עם אנשים, ואז הם צריכים לתאר איך הם מדמיינים אותם ולנחש איך הם נראים.
עד עכשיו חשבתי שWhite זה פשוט כל מי שלבן ופחות או יותר בהיר, אבל כשהיא קראה למישהו ככה ואמרתי כזה "לפחות בזה ביא צודקת" הוא אמר בסוף "I'm not white"
אז מה בעצם הכוונה?