האם יש הבדל בחוסר אמונה בקיום של אלוהים, לבין חוסר אמונה באלוהים עצמו?

אין הבדל

כן, בראשון זה שאתה לא מאמין שהוא קיים בכלל
השני אתה מאמין שהוא קיים אבל לא מאמין בו

נראה לי שכן כמו שהדרקון השבור אמר.
אפילו מדע לא יכול לפסול קיום של ישות עליונה כלשהי(כאילו לא אלו מהמיתולוגיות השונות, כאלו שבני האדם לא ראו למשל)

לא.

אתאיזם
ומיזותאיזם

תלוי מה ההגדרה של אמונה.
אם ההגדרה שלך זה "המצב שבו אתה משוכנע שמשהו נכון או מתרחש", אז לא, אין הבדל.