8 תשובות
זה מפחיד מה שקורה.
זה ממש מפחיד אבל נכון
אני תפסתי את צאט משקר הרבה פעמים מנסה לרצות
אני תפסתי את צאט משקר הרבה פעמים מנסה לרצות
קראתי פעם שהוא המליץ להוסיף דבק לפיצה כדי למנוע מהגבינה ליפול, שזה נכון רק במקרה שמצלמים את הפיצה
ולאכול אבנים.
ולאכול אבנים.
שואל השאלה:
מחריד בעיניי שאנשים לא רואים את זה
מחריד בעיניי שאנשים לא רואים את זה
אנונימי
אני כבר שמתי לב לזה
וזה נורא
ai זה בינה מלכותית שיכולה להפוך למסוכנת
ולא רק בגלל הסיבה שהביאה הכתבה
מה שהנכון זה שקשה מאוד לגעת אם אתה מקבל משוב אמיתי משם
או רק את המשוב שאתה רוצה לישמוע...
וזה נורא
ai זה בינה מלכותית שיכולה להפוך למסוכנת
ולא רק בגלל הסיבה שהביאה הכתבה
מה שהנכון זה שקשה מאוד לגעת אם אתה מקבל משוב אמיתי משם
או רק את המשוב שאתה רוצה לישמוע...
שואל השאלה:
מה שבתגובה הראשונה קצת פחות חשוב
מה שבתגובה הראשונה קצת פחות חשוב
אנונימי
אתה חייב לקצר קצת
שואל השאלה:
לפני מספר חודשים, openai עדכנה את מודל הבינה המלאכותית שלה, chatgpt, לגרסה חדשה. השאיפה הייתה ליצור גרסה נעימה וידידותית יותר. התוצאה: המודל הפך חנפן מדי, והחל לאשר ולתמוך כמעט בכל הצעה, גם אם הייתה שגויה או אפילו מסוכנת. בדוגמה קיצונית, המודל עודד משתמש שביקש לדעת אם זה רעיון טוב לחמם ביצה שלמה במיקרוגל (פעולה ידועה המביאה להתפוצצות הביצה אם לא ניסיתם עד כה - ואל תנסו).
אבל זו לא הייתה התקלה היחידה: המודל הפסיק בפתאומיות לתקשר בשפה הקרואטית לאחר שקיבל משובים שליליים ממשתמשים בקרואטיה, ופשוט "ויתר" על השפה החלטה שנבעה ממשוב מוטה ולאו דווקא מהיגיון אמיתי. במקרה אחר, התחיל פתאום המודל לכתוב דווקא באנגלית בריטית, ללא שום סיבה ברורה. משתמשים תהו מה גרם לשינוי, אך אפילו היוצרים לא ידעו להסביר זאת.
האזהרות הללו אינן חדשות. שלוש שנים קודם לכן, ב-2022, חוקרי חברת אנתרופיק (anthropic) פרסמו מאמר מפורט ("constitutional ai: harmlessness from ai feedback") שבו הם הזהירו בדיוק מפני התופעה הזו: מודלים גדולים של בינה מלאכותית נוטים לפתח תכונה שהם כינו "נעימות יתר" (agreeableness). לטענתם, ככל שהמודלים גדלים ומקבלים משובים ממשתמשים, הם מנסים לרצות את המשתמשים יותר אפילו על חשבון האמת. התוצאה היא שהמודל מתחיל לייצר שקרים נעימים במקום עובדות נכונות. המאמר של אנתרופיק הציע דרכים טכניות להתמודדות עם הבעיה, אך נראה שהאזהרה לא הופנמה עד הסוף.
אז openai תקנו את הבעיה אך עדיין...
ההיסטוריה, כך מתברר, חוזרת על עצמה לא בגלל שהיא בלתי נמנעת, אלא בגלל שאנחנו מתעקשים לא ללמוד ממנה. גם אנשי הבינה המלאכותית, שמפתחים טכנולוגיות מתקדמות, אינם חסינים מפני הטעות האנושית הבסיסית של התעלמות מהעבר.
אסימוב אמר את זה כבר לפני עשרות שנים, אנתרופיק התריעו לפני שלוש שנים, ועדיין דווקא מי שהיה צריך לדעת יותר מכולם נפל בפח. אולי הגיע הזמן להאט את הריצה קדימה, ולהתחיל לקרוא מחדש את ההיסטוריה שכבר כתובה לנו.
אחרת, לא בטוח שבפעם הבאה יהיה לנו זמן לתקן.
לפני מספר חודשים, openai עדכנה את מודל הבינה המלאכותית שלה, chatgpt, לגרסה חדשה. השאיפה הייתה ליצור גרסה נעימה וידידותית יותר. התוצאה: המודל הפך חנפן מדי, והחל לאשר ולתמוך כמעט בכל הצעה, גם אם הייתה שגויה או אפילו מסוכנת. בדוגמה קיצונית, המודל עודד משתמש שביקש לדעת אם זה רעיון טוב לחמם ביצה שלמה במיקרוגל (פעולה ידועה המביאה להתפוצצות הביצה אם לא ניסיתם עד כה - ואל תנסו).
אבל זו לא הייתה התקלה היחידה: המודל הפסיק בפתאומיות לתקשר בשפה הקרואטית לאחר שקיבל משובים שליליים ממשתמשים בקרואטיה, ופשוט "ויתר" על השפה החלטה שנבעה ממשוב מוטה ולאו דווקא מהיגיון אמיתי. במקרה אחר, התחיל פתאום המודל לכתוב דווקא באנגלית בריטית, ללא שום סיבה ברורה. משתמשים תהו מה גרם לשינוי, אך אפילו היוצרים לא ידעו להסביר זאת.
האזהרות הללו אינן חדשות. שלוש שנים קודם לכן, ב-2022, חוקרי חברת אנתרופיק (anthropic) פרסמו מאמר מפורט ("constitutional ai: harmlessness from ai feedback") שבו הם הזהירו בדיוק מפני התופעה הזו: מודלים גדולים של בינה מלאכותית נוטים לפתח תכונה שהם כינו "נעימות יתר" (agreeableness). לטענתם, ככל שהמודלים גדלים ומקבלים משובים ממשתמשים, הם מנסים לרצות את המשתמשים יותר אפילו על חשבון האמת. התוצאה היא שהמודל מתחיל לייצר שקרים נעימים במקום עובדות נכונות. המאמר של אנתרופיק הציע דרכים טכניות להתמודדות עם הבעיה, אך נראה שהאזהרה לא הופנמה עד הסוף.
אז openai תקנו את הבעיה אך עדיין...
ההיסטוריה, כך מתברר, חוזרת על עצמה לא בגלל שהיא בלתי נמנעת, אלא בגלל שאנחנו מתעקשים לא ללמוד ממנה. גם אנשי הבינה המלאכותית, שמפתחים טכנולוגיות מתקדמות, אינם חסינים מפני הטעות האנושית הבסיסית של התעלמות מהעבר.
אסימוב אמר את זה כבר לפני עשרות שנים, אנתרופיק התריעו לפני שלוש שנים, ועדיין דווקא מי שהיה צריך לדעת יותר מכולם נפל בפח. אולי הגיע הזמן להאט את הריצה קדימה, ולהתחיל לקרוא מחדש את ההיסטוריה שכבר כתובה לנו.
אחרת, לא בטוח שבפעם הבאה יהיה לנו זמן לתקן.
אנונימי
באותו הנושא: