למה אסור לעלות להר הבית?

כאילו אני יודע שזה מבחינת ההלכה והכל וגם ששם *היה* בית המקדש.
עכשיו, לא סתם הדגשתי את ה- "היה" כי הרי בית המקדש *היה* שם אז מה הבעיה מבחינה הלכתית לעלות לשם?
נוסף על כך אומרים שאסור להיכנס לאיפה שהיה בית המקדש אבל בגלל שלא יודעים איפה הוא היה אז עדיף שלא יעלו בכלל. אבל עוד פעם, הוא *היה* שם.. אז כאילו אני לא מבין למה לא.. כי כאילו,בית המקדש לא נמצא שם כבר והכל..