לבקר בכותל זה נחשב מצווה?

כן ברור

כן

להתפלל נחשב מצווה

לא בהכרח רק עם את מאמינה בזה

כן.
אם מתפללים כמובן

לבקר לא בטוחה שממש נחשב מצווה, אבל להתפלל כן ועוד בכותל זה בכלל מצויין, התפילות עולות גבוה(:

כן.

"א"ר אסי' א"ר יוחנן: ששה דברים אדם אוכל פירותיהן בעולם הזה' והקרן קיימת לו לעולם הבא, ואלו הן: הכנסת אורחין, וביקור חולים, ועיון תפלה, והשכמת בית המדרש, והמגדל בניו לתלמוד תורה, והדן את חברו לכף זכות" (שבת קכז ע"א). שימו

"יצא ר' עקיבא, ודרש: כל מי שאין מבקר חולים - כאילו שופך דמים" (נדרים מ ע"א).

"אמר רב: כל המבקר את החולה ניצול מדינה של גיהנם, שנאמר (תהילים מא, ב) "אשרי משכיל אל דל, ביום רעה ימלטהו י"י". אין דל, אלא חולה שנאמר (ישעיהו לח, יב) "מדלה יבצעני"; אי נמי מן הדין קרא (שמואל ב יג, ד) "מדוע אתה ככה דל בן המלך בבקר בבקר וגו?". אין רעה, אלא גיהנם שנאמר (משלי טז, ד) "כל פעל י"י למענהו, וגם רשע ליום רעה ".ואם ביקר - מה שכרו מה שכרו? כדאמר "ניצול מדינה של גיהנם". אלא מה שכרו בעוה"ז ?(תהילים מא, ג) "יי ישמרהו ויחייהו, ואושר בארץ, ואל תתנהו בנפש אויביו "."יי ישמרהו" - מיצר הרע, "ויחייהו" - מן היסורין, "ואושר בארץ" - שיהו הכל מתכבדין בו, "ואל תתנהו בנפש אויביו" - שיזדמנו לו ריעים כנעמן, שריפו את צרעתו, ואל יזדמנו לו ריעים כרחבעם שחילקו את מלכותו" (נדרים מ ע"א).

זה משהו אפילו הקב"ה (שמקים את כל התורה) בעצמו עושה, כמבואר שם. הוא ביקר את אברהם אבינו ביום השלישי למילתו.

לבקר - לא , להתפלל - כן