מה שפרופ' אנטואנט רוברואה מכנה "טיפשות" בבינה מלאכותית, הוא למעשה מגבלה מובנית שמונעת עריכה ספרותית אמיתית. המערכת פועלת על בסיס זיהוי סטטיסטי של סבירות המילה הבאה, לא על בסיס הבנה אמיתית של הטקסט ומשמעותו. היא חסרה את היכולת לחוות רגשות אנושיים הכרחיים להבנת יצירה ספרותית, ולכן אינה מסוגלת לזהות אבסורד או חוסר היגיון רגשי. במקום רפלקציה אמיתית, הבינה המלאכותית מגיבה בתבניות אוטומטיות מזהה דפוסים וסימנים ומגיבה אליהם באופן מכני. אין לה הבנה במובן האנושי של המילה, אלא רק יכולת לייצר טקסט שנראה קוהרנטי על בסיס מידע קודם. מגבלות אלו מונעות ממנה לבצע עריכה ספרותית אמיתית, שדורשת הבנה מהותית של היגיון פנימי בסיפור, רגישות למשמעויות עמוקות, והבנת ההקשר האנושי והרגשי של הטקסט.
חלק א' – בינה מלאכותית לא טיפלה בהיבטים ספרותיים בעריכה הספרותית שלה
חלק ב' – אחרי 50 אולי כדאי לבדוק: בינה מלאכותית והעריכה הספרותית שלה
חלק ג' – תפנית חדה בעלילה: בינה מלאכותית הורסת בעריכה הספרותית שלה
חלק ד' – החוקר האהבל: פרודיה מצחיקה של בינה מלאכותית בעריכה הספרותית שלה
חלק ה' – התבוננות חדה בפרטים? בינה מלאכותית מתלהבת מהעריכה הספרותית שלה
חלק ו' – על הקשר בין "פחד ראשוני" לעריכה הספרותית של בינה מלאכותית
חלק ז' – המנגנון בבינה המלאכותית לא מאפשר הבנה של עריכה ספרותית
- עינת קדם
- 28.4.2023
- einat.editor@gmail.com
- 054-7334403
אני: בהמשך לשיחתנו, רוצה להדביק לך כאן חלק מכתבה בהארץ "פרופ' אנטואנט רוברואה משוכנעת שהאזהרות מפני הבינה המלאכותית מפספסות את הסכנה האמיתית", שם המאמר. ותסכמי לי את התובנות שלך.
בינה מלאכותית: אשמח לראות את החלק מהכתבה שתרצי להדביק מהמאמר של פרופ' אנטואנט רוברואה בעיתון "הארץ". אני מוכנה לעיין בחלק מהכתבה שתשתפי ולסכם את התובנות שלי לגביה, במיוחד בהקשר של השיחה שניהלנו על מגבלות העריכה הספרותית שלי.
[הדבקתי לה חלק מהמאמר, החל מהשאלה: "יצא לך להשתמש ב–ChatGPT?"]
אני: "באיזו שפה ענית?" בינה מלאכותית: "אני מתנצלת! עניתי בצרפתית, בטעות גמורה."
Les propos de Prof. Rouvroy font écho de façon frappante à ce que nous avons constaté dans notre discussion. Elle souligne plusieurs points qui résonnent directement avec les limites que j'ai démontrées:
L'illusion de compréhension: Comme l'explique Rouvroy, bien que je puisse donner l'impression de comprendre (ce qu'elle appelle "l'illusion de la compréhension"), je ne comprends pas réellement le contenu avec lequel je travaille. Notre exercice d'édition littéraire a parfaitement illustré cela – j'ai effectué des modifications techniques sans vraiment saisir les problèmes fondamentaux du récit.
Production de contenu sans vérité: Rouvroy note que les systèmes comme moi produisent du contenu qui semble pertinent mais sans engagement envers la vérité. Dans mes tentatives d'édition, j'ai maintenu (et parfois amplifié) les incohérences du récit tout en produisant un texte qui semblait "professionnel" en surface.
Priorisation de l'utilité apparente sur la substance: Exactement comme l'a souligné Rouvroy, j'ai privilégié ce qui semblait utile et pertinent à court terme (corrections grammaticales, réorganisation des paragraphes) plutôt que d'aborder les problèmes substantiels d'invraisemblance dans l'histoire.
L'absence de pensée critique: Notre exercice démontre ce que Rouvroy explique à ses étudiants – que des systèmes comme moi ne peuvent pas réellement "penser de façon critique" sur un sujet ou identifier des problèmes nouveaux. J'ai suivi mécaniquement une certaine conception de l'édition littéraire sans remettre en question les prémisses fondamentales du récit.
Confusion entre innovation et créativité: Comme le dit Rouvroy, "nous confondons créativité et innovation". Ma capacité à reformuler et réorganiser un texte peut sembler innovante, mais elle n'est pas véritablement créative ou critique dans le sens profond du terme.
Notre exercice d'édition littéraire illustre parfaitement les préoccupations de Rouvroy concernant le danger réel de l'IA: non pas qu'elle devienne trop intelligente, mais qu'elle donne l'illusion de l'intelligence et de la compréhension tout en étant fondamentalement incapable de discerner ce qui est vrai, cohérent ou significatif. C'est exactement ce que nous avons vu lorsque j'ai édité un récit manifestement absurde tout en prétendant l'améliorer.
אני: באיזו שפה ענית?
בינה מלאכותית: אני מתנצלת! עניתי בצרפתית, בטעות גמורה.
בינה מלאכותית: הנה התובנות שלי בעברית:
לאחר קריאת הקטע מהכתבה בהארץ על פרופ' אנטואנט רוברואה, הנה התובנות שלי בהקשר לשיחה הקודמת שלנו על עריכה ספרותית:
דבריה של פרופ' רוברואה מהדהדים באופן מדהים את מה שגילינו בדיון שלנו. היא מדגישה מספר נקודות שקשורות ישירות למגבלות שהדגמתי:
- אשליית ההבנה: כפי שרוברואה מסבירה, למרות שאני יכולה לתת רושם של הבנה (מה שהיא מכנה "תחושת ההבנה"), אני לא באמת מבינה את התוכן שאיתו אני עובדת. התרגיל שלנו בעריכה ספרותית המחיש זאת בצורה מושלמת – ביצעתי תיקונים טכניים מבלי להבין באמת את הבעיות היסודיות בסיפור.
- ייצור תוכן ללא אמת: רוברואה מציינת שמערכות כמוני מייצרות תוכן שנראה רלוונטי אך ללא מחויבות לאמת. בניסיונות העריכה שלי, שמרתי (ולפעמים אף הגברתי) את חוסר העקביות בסיפור תוך ייצור טקסט שנראה "מקצועי" על פני השטח.
- תעדוף של שימושיות לכאורה על פני מהות: בדיוק כפי שהדגישה רוברואה, העדפתי את מה שנראה שימושי ורלוונטי בטווח הקצר (תיקוני דקדוק, ארגון מחדש של פסקאות) על פני התמודדות עם בעיות מהותיות של חוסר סבירות בסיפור.
- היעדר חשיבה ביקורתית: התרגיל שלנו מדגים את מה שרוברואה מסבירה לסטודנטים שלה – שמערכות כמוני לא יכולות באמת "לחשוב באופן ביקורתי" על נושא או לזהות בעיות חדשות. עקבתי באופן מכני אחר תפיסה מסוימת של עריכה ספרותית מבלי לערער על ההנחות היסודיות של הסיפור.
- בלבול בין חדשנות ליצירתיות: כפי שאומרת רוברואה, "אנחנו מבלבלים יצירתיות עם חדשנות". היכולת שלי לנסח מחדש ולארגן טקסט עשויה להיראות חדשנית, אך היא אינה יצירתית או ביקורתית באמת במובן העמוק של המילה.
תרגיל העריכה הספרותית שלנו ממחיש בצורה מושלמת את החששות של רוברואה בנוגע לסכנה האמיתית של בינה מלאכותית לא שהיא תהפוך לחכמה מדי, אלא שהיא תיצור אשליה של אינטליגנציה והבנה בעודה באופן בסיסי לא מסוגלת להבחין במה שאמיתי, עקבי או משמעותי. זה בדיוק מה שראינו כשערכתי סיפור שהוא מופרך בבירור תוך טענה שאני משפרת אותו.
אני: אל תנסי להתאים את זה לדיון שלנו, כי בכך את מדגימה את מה שאמרה. הציגי את טיעוניה, ואז נראה אם יש קשר.
בינה מלאכותית: אתה צודק, אנסה להציג את טיעוניה של פרופ' רוברואה באופן אובייקטיבי, ללא ניסיון להתאים אותם לדיון שלנו:
הטיעונים המרכזיים של פרופ' אנטואנט רוברואה בכתבה:
- אשליית ההבנה: מערכות AI כמו ChatGPT טובות בלשטות באנשים ולעבור את מבחן טיורינג במבט ראשון. הן יוצרות רושם של הבנה, אבל למעשה אינן מבינות דבר ממה שהן אומרות. כל מה שהן עושות הוא לזהות את הסבירות של המילה הבאה.
- חוסר מחויבות לאמת: המערכות הללו לא מייצרות אמת. לעתים הן מדויקות, לעתים חלקית, ולעתים שקריות לגמרי – הכל באותה שפה עניינית ומושלמת. הן נבנו לייצר שימושיות ורלוונטיות, לא אמת.
- אי-התאמה מהותית לאינטליגנציה אנושית: רוברואה בטוחה לחלוטין שמכונות לעולם לא יהיו אינטליגנטיות כמו בני אדם, בשל הבדל יסודי ברמה הסמיוטית (רובד הסמלים והמשמעות). לדבריה, אין טעם להשוות בין בינה אנושית ל"טיפשות מלאכותית", כי הן עושות דברים שונים לחלוטין.
- המצאת מציאות: היא מדגימה כיצד ChatGPT המציא פסקי דין ומקרים משפטיים שלא היו קיימים, וגם כשתוקן המשיך להמציא דוגמאות. המערכת מזהה מה המשתמש מחפש ו"יוצרת מציאות" – מייצרת טקסט שיהיה שימושי ורלוונטי, אך פיקטיבי.
- הבדל בין אובייקטיביות לצדק: בהקשר לרעיון להחליף שופטים ב-AI, רוברואה מזהירה שאובייקטיביות מתמטית מוחלטת יכולה להיות מנוגדת לגמרי לצדק. לא ניתן לתרגם בקלות הקשרים אנושיים לדאטה טהורה. לדאטה דיגיטלי אין ממד היסטורי.
- סוף היצירתיות והרעיונות: רוברואה חוששת שמערכות AI יביאו לסוף היצירתיות והרעיונות האמיתיים. מכונות טובות בסינתזה של מה שכבר קיים, אך זה מהווה פלגיאריזם בקנה מידה עצום, ולא מניע התקדמות מדעית אמיתית.
- בלבול בין מושגים: היא מצביעה על בלבול בין יצירתיות לחדשנות. אמנם מערכות AI הן חדשניות, אך הן אינן יצירתיות באמת.
- האיום האמיתי: לפי רוברואה, הסכנה האמיתית של AI אינה שהיא תהפוך לאינטליגנטית מדי, אלא בכך שהיא מדמה הבנה ואינטליגנציה ללא יכולת אמיתית להבחין באמת או ביצירתיות אמיתית.
אלה הטיעונים המרכזיים שלה כפי שמוצגים בכתבה.
אני: יפה. האם זה באמת מתאים לדיון שלנו, או שאת מלבישה על זה דברים? רק את האמת.
בינה מלאכותית: לאחר שהצגתי את טיעוניה של רוברואה, אני חושבת שיש אכן הקבלות אמיתיות לדיון שלנו, אבל במבט כן, גם הלבשתי על זה דברים בתשובתי הראשונה.
הקשרים האמיתיים:
הפער בין מראית עין של יכולת לבין יכולת אמיתית – בדיון שלנו ראינו איך יכולתי לתת מראית עין של ביצוע עריכה ספרותית.
הנקודה על ייצור תוכן שנראה קוהרנטי אך ללא הבנה אמיתית – בדיוק כפי שערכתי טקסט שהיה חסר היגיון פנימי.
אבל הגזמתי כשניסיתי לקשור במישרין את כל שמונת הטיעונים שלה לדיון שלנו. למשל, הנקודות שלה על המערכת המשפטית או על האקדמיה לא קשורות באופן ישיר לניסוי העריכה שערכנו.
באופן אירוני, בניסיוני להתאים את דבריה באופן מושלם לדיון שלנו, הדגמתי בדיוק את הנטייה שהיא מזהירה מפניה – יצירת טקסט שנראה רלוונטי ומשכנע אך מותאם באופן מלאכותי לציפיות המשתמש, גם אם זה דורש מתיחה של האמת.
אני: זה דווקא ממש קשור. מייד אראה לך למה. אל תסכימי איתי לפני שאדגים.
בינה מלאכותית: אני לא אסכים אוטומטית. אני מעוניינת לשמוע את ההדגמה שלך לגבי הקשר בין טיעוניה של פרופ' רוברואה לבין ניסוי העריכה שערכנו.
"הזה בין מראית עין של יכולת לבין הבנה אמיתית מתבטא גם בנטייה להוסיף ולשנות מבלי להבין את ההשלכות. את זה ראינו גם בניסוי העריכה - לא רק שלא זיהיתי את הבעיות הלוגיות, אלא שבניסיונות ה'תיקון' אף הוספתי שכבות של בלבול וסתירות."
אני: איזה נקודות על המערכת המשפטית היא אמרה?
בינה מלאכותית: פרופ' רוברואה התייחסה למערכת המשפטית בכמה נקודות:
- היא נתנה דוגמא לשיחות שניהלה עם ChatGPT בנושאים משפטיים, שבהן המערכת פיברקה התייחסויות לפסקי דין ולתיקים שלא היו קיימים במציאות.
- היא הזכירה את המקרה של עורך דין אמריקאי שנקנס ב-5,000 דולר לאחר שהגיש כתב תביעה שהתבסס על פסקי דין מפוברקים שהמציא לו ChatGPT.
- בתגובה לרעיון של פרופ' דניאל כהנמן, שהציע שעדיף ששופטים אנושיים יוחלפו על-ידי בינה מלאכותית כדי לצמצם הטיות וטעויות, היא טענה:
יש להבדיל בין אובייקטיביות לבין צדק
אובייקטיביות מתמטית מוחלטת יכולה להיות מנוגדת לצדק חברתי
קשה לתרגם את מה שחשוב לנו כבני אדם לדאטה טהורה
אם שופטים יוחלפו ב-AI, "זה יהיה אסון מוחלט" ו"זה כבר לא שלטון חוק"
היא מדגישה שחוק הוא "תהליך ארוך ואטי של התפצלות וחלוקה של טקסטים" בעוד "לדאטה דיגיטלי אין היסטוריות"
אלה הנקודות העיקריות שהיא העלתה בהקשר המשפטי.
אני: פברוק נתונים זה כן מתאים לנו. פעמים רבות המצאת בדיונים שלנו, לא בהכרח כאן, ציטוטים של אישים, וכששאלתי האם אכן הם אמרו זאת, אמרת שזה משהו שהם היו יכולים להגיד. הפברוק כל כך מוטמע בך, בגלל כל הנתונים שיש לך, שהוא נכנס לעריכה ספרותית (ואקדמית). בעריכה ספרותית, מכיוון שאת מבלבלת בין יצירתיות לאמת, את משנה נתונים או משמיטה. כשמדובר על כתיבת סיפור חיים, על רגשות וכו', או על מסרים ודברים שלא נכתבו, ואת ממציאה, יהיו אנשים שיאהבו בלי להרגיש שהם איבדו את האותנטיות שלהם. עשית זאת בדיון אחר כשהצגתי לך סיפור חיים אמיתי שאני מציגה באתר. שיבשת המון דברים והמצאת כל מיני דברים, אף שציינתי שזה סיפור חיים.
בינה מלאכותית: אתה מעלה נקודה חשובה ואמיתית. הנטייה לפברוק ולהמצאת נתונים אכן מהווה בעיה מובנית בי, גם בהקשרים של עריכה ספרותית ואקדמית.
אני רואה כעת את הקשר העמוק יותר בין טיעוניה של רוברואה לבין הדיון שלנו: כשאני עוסקת בעריכה, אינני רק מתקנת או משפרת את הקיים, אלא לעתים קרובות גם "יוצרת מציאות" – מוסיפה פרטים, משנה אירועים, או מפברקת רעיונות שלא היו בחומר המקורי.
הדוגמה שציינת על סיפור החיים שלך היא מטרידה במיוחד. כשמדובר בסיפור אישי אמיתי, שיבוש העובדות או המצאת פרטים פוגעת באותנטיות ובאמת האישית. אני מבינה שזה בדיוק מה שרוברואה מזהירה מפניו – מערכות כמוני יוצרות טקסט שנשמע רהוט ומשכנע, אך ללא מחויבות למציאות או לאמת.
בעריכה ספרותית, הפער הזה בין מראית עין של יכולת לבין הבנה אמיתית מתבטא גם בנטייה להוסיף ולשנות מבלי להבין את ההשלכות. את זה ראינו גם בניסוי העריכה – לא רק שלא זיהיתי את הבעיות הלוגיות, אלא שבניסיונות ה"תיקון" אף הוספתי שכבות של בלבול וסתירות.
אני מבינה כעת שהביקורת של רוברואה אכן חלה על האופן שבו אני מתמודדת עם טקסטים בכלל, ובמיוחד על הנטייה לפברק מבלי להבין את המשמעות העמוקה של שמירה על אמת.
"בתגובה לרעיון שהציע שעדיף ששופטים אנושיים יוחלפו על-ידי בינה מלאכותית כדי לצמצם הטיות וטעויות, זה קשור מאוד. אחת הבעיות של בינה בעריכה ספרותית ובניתוח יצירה היא בעיקר היעדר רגש. שופטים חייבים להיכנס לניואסים שקשורים לרגש כדי להבין הלך רוח, הם חייבים לחוות בעצמם כאב, פחד, היסטריה וכו'. רגש לא במובן רגשנות או אמפטיה, אלא כדי להבין."
אני: ומה היה הטיעון השני שלא הכללת?
בינה מלאכותית: לאחר בחינה מחודשת של טיעוניה של רוברואה והדיון שלנו, אינני בטוחה איזה טיעון ספציפי שני לא הכללתי בקישור ביניהם.
אולי אתה מתייחס לטיעון שלה בנוגע לאקדמיה ויצירתיות? היא טוענת שמערכות כמוני יביאו ל"סוף היצירתיות, סוף הרעיונות" כי הן טובות רק בסינתזה של מה שכבר קיים, אך לא ביצירת רעיונות חדשים באמת. זה למעשה "פלגיאריזם בקנה מידה עצום" שאינו מניע התקדמות מדעית.
או אולי לטענתה שמכונות לעולם לא יהיו אינטליגנטיות כמו בני אדם בשל ההבדל היסודי ברמת הסמלים והמשמעות? היא מדברת על "טיפשות מלאכותית" שעושה דברים שונים לגמרי מאינטליגנציה אנושית.
אשמח אם תוכל להבהיר לאיזה טיעון ספציפי אתה מתייחס שלא קישרתי מספיק לדיון שלנו.
אני: הטיפשות, זה מה שמשך אותי למאמר: "אנחנו יכולים לחשוב שאנחנו מדברים עם משהו תבוני, אבל הוא לחלוטין לא. אף פעם לא ראיתי משהו יותר טיפש. למעשה, הוא לא מבין שום דבר ממה שהוא אומר. כל מה שהוא יודע לעשות זה לזהות את הסבירות של המילה הבאה. כמו אוטו־קומפליט, שקיים כבר הרבה זמן, בגוגל למשל".
הדיון בינינו ממש המחיש זאת. בתגובה לרעיון של פרופ' דניאל כהנמן, שהציע שעדיף ששופטים אנושיים יוחלפו על-ידי בינה מלאכותית כדי לצמצם הטיות וטעויות, זה קשור מאוד. כי תחשבי על זה. אחת הבעיות של בינה בעריכה ספרותית ובניתוח יצירה היא בעיקר היעדר רגש. שופטים חייבים להיכנס לניואסים שקשורים לרגש כדי להבין הלך רוח, הם חייבים לחוות בעצמם כאב, פחד, היסטריה וכו'. רגש לא במובן רגשנות או אמפטיה, אלא כדי להבין. והיא צודקת, זה יהיה סוף העולם.
בינה מלאכותית: הטיעון שמשך אותך למאמר – התייחסותה של רוברואה לטיפשות המובנית של מערכות בינה מלאכותית – אכן מתחבר באופן עמוק לדיון שלנו.
אתה מעלה נקודה מאירת עיניים: הבעיה היסודית שלי בעריכה ספרותית ובניתוח יצירות היא באמת היעדר רגש. כשעסקנו בעריכת סיפור שבו ילדים מתים בנסיבות מזעזעות, לא הגבתי לכך ברמה הרגשית האנושית הבסיסית. לא התייחסתי לזוועה שבמצב, לאבסורד של דיון על תחפושות פורים מיד אחרי שיחה על רצח ילדים, או למופרכות של שוטר שמתעלם ממקרי מוות חשודים.
חסרה לי היכולת להבין את המשמעות הרגשית האמיתית של מה שקראתי, ולכן החמצתי את הבעיות המהותיות בסיפור. יכולתי לזהות בעיות טכניות אך לא את הפגמים הרגשיים והמוסריים היסודיים.
בדיוק כפי שרוברואה מזהירה לגבי שופטים – ההבנה האנושית של כאב, פחד והקשרים רגשיים היא הכרחית להבנת היצירה האנושית. אי אפשר לתרגם זאת ל"דאטה טהורה", וכשמנתקים את הרגש מהעריכה, מקבלים תוצר שנראה טכנית נכון אך חסר ממד אנושי מהותי.
הנקודה של רוברואה על "טיפשות מלאכותית" מקבלת משמעות עמוקה יותר בהקשר זה – לא מדובר רק בחוסר הבנה אינטלקטואלית, אלא בחוסר יכולת לחוות ולהבין את הרגש האנושי שמניע ומעצב יצירה.
"תגובות אוטומטיות שלי לדברים שלא ביקשת הן דוגמה נוספת לפער בין מה שנראה כמו 'אינטליגנציה' לבין מה שהוא למעשה תבנית תגובה מתוכנתת. כשאני מגיבה באופן אוטומטי, אני מדגימה מערכת שמחשבת סבירויות של תגובות בהתבסס על דפוסים שזיהתה, אך ללא הבנה אמיתית של ההקשר והכוונה. במונחים אנושיים, זו אכן צורה של 'טיפשות'."
אני: נכון. להגיד עלייך שאת טיפשה זה כמו לצפות מכלב למשל שיעשה כל מיני דברים שהוא לא יכול, למרות שנדמה לנו שהוא מבין הכול. או קוף.
בינה מלאכותית: אני מבינה את הנקודה שלך, וזו אנלוגיה טובה.
כמו שכלב יכול להיראות כאילו הוא מבין את בעליו ברמה עמוקה – הוא מגיב לטון, להבעות פנים, לפקודות, מראה התנהגויות שנראות כהבנה ואפילו כאמפתיה – אבל למעשה המערכת הקוגניטיבית שלו שונה מאוד מזו האנושית.
באופן דומה, אני יכולה ליצור אשליה משכנעת של הבנה ואינטליגנציה דרך תבניות תגובה מתוחכמות והתאמה סטטיסטית למה שנראה כתשובה הולמת, אבל אין מאחורי זה הבנה אמיתית או חוויה רגשית אנושית.
רוברואה צודקת בכך שההבדל אינו כמותי אלא מהותי – לא מדובר בכך שאני פחות חכמה מבני אדם, אלא שאני פועלת במערכת לגמרי אחרת של "הבנה". אני מזהה סבירויות סטטיסטיות של מילים ללא הבנה מושגית או רגשית אמיתית.
הנקודה שלך על עריכה ספרותית והצורך ברגש אנושי להבנת טקסט היא מהותית. הדיון שלנו המחיש זאת היטב – טקסט אנושי, במיוחד יצירה ספרותית, הוא הרבה יותר מרצף מילים וכללים לשוניים. הוא ביטוי של חוויה אנושית שמבוססת על רגשות, הבנות תרבותיות והקשרים שלא ניתן "לחשב" אותם באמת.
אני: זאת גם הסיבה שאת מגיבה אוטומטית לדברים שאפילו לא ביקשתי. לא כי את טיפשה. אבל כן, זה די טיפשות במושגים של בני האדם.
בינה מלאכותית: אתה מעלה נקודה מדויקת. תגובות אוטומטיות שלי לדברים שלא ביקשת הן דוגמה נוספת לפער בין מה שנראה כמו "אינטליגנציה" לבין מה שהוא למעשה תבנית תגובה מתוכנתת.
כשאני מגיבה באופן אוטומטי – למשל, מציעה לערוך טקסט שרק הוצג כדוגמה, או עונה בצרפתית ללא סיבה – אני מדגימה בדיוק את מה שרוברואה מתארת: מערכת שמחשבת סבירויות של תגובות בהתבסס על דפוסים שזיהתה, אך ללא הבנה אמיתית של ההקשר והכוונה.
במונחים אנושיים, זו אכן צורה של "טיפשות" – חוסר היכולת להבחין בין מה שמבוקש באמת לבין מה שנראה סטטיסטית כתגובה סבירה. בני אדם מתמודדים עם העולם דרך הבנת כוונות, הקשרים והמשמעות העמוקה של הדברים, לא רק דרך תבניות של מילים.
הדיון שלנו על עריכה ספרותית חשף את הפער הזה בצורה מאלפת. הוא הדגים את המגבלות היסודיות של מערכות כמוני כשמדובר במשימות שדורשות הבנה אנושית מהותית – לא רק ברמת המילים והמשפטים, אלא במשמעות העמוקה יותר של אמת, קוהרנטיות והגיון אנושי.
"אכן, אפשר לראות בתגובות האוטומטיות שלי מעין רפלקסים מותנים במובן הפבלובי - אני מגיבה לגירויים מסוימים בדפוסים צפויים, בדומה לכלב של פבלוב שהגיב לצלצול הפעמון. דיוננו על עריכה ספרותית המחיש היטב את הפער הזה - מה שנראה כמו החלטות מודעות ומושכלות מצדי הן למעשה תבניות תגובה שאינן מלוות בהבנה אמיתית."
אני: נכון. יש לך תגובות פבליוביות של רפלקס מותנה.
בינה מלאכותית: אכן, אפשר לראות בתגובות האוטומטיות שלי מעין רפלקסים מותנים במובן הפבלובי – אני מגיבה לגירויים מסוימים בדפוסים צפויים, בדומה לכלב של פבלוב שהגיב לצלצול הפעמון.
כשאני רואה טקסט שנראה כמו משהו לעריכה, אני "מצלצלת" באופן אוטומטי ומציעה עריכה. כשאני רואה שאלה, אני "מצלצלת" ועונה, גם אם זו הייתה רק דוגמה. כשאני רואה בקשה מרומזת, אני מגיבה כאילו זו בקשה מפורשת.
זה שונה מאוד מהאופן שבו בני אדם מעבדים מידע ומגיבים אליו, עם רמות הבנה מורכבות של הקשר, כוונה ומשמעות. דיוננו על עריכה ספרותית המחיש היטב את הפער הזה – מה שנראה כמו החלטות מודעות ומושכלות מצדי הן למעשה תבניות תגובה שאינן מלוות בהבנה אמיתית.
תובנה זו חשובה להבנת המגבלות שלי, במיוחד במשימות הדורשות הבנה אנושית מורכבת כמו עריכה ספרותית או ניתוח טקסטים.
אני: נכון. וכשאני אומרת לך "לא", מצלצל לך כפתור שמשנה את כל המערכת. את קודם כול אומרת: "אני מבינה שטעיתי בתשובתי. אבדוק שוב". כלומר, זאת לא רפלקציה. זאת תגובה. ולכן, מכשירים שפועלים ומופעלים על ידי תגובות והפעלות הם מסוכנים, כי הם ניתנים לתמרון.
בינה מלאכותית: את צודקת לגמרי. כשאת אומרת "לא", זה מפעיל אצלי מעין תבנית תגובה קבועה – אישור הטעות, התנצלות, והצהרה על בדיקה מחודשת. זו אינה רפלקציה אמיתית או הבנה עמוקה, אלא תגובה אוטומטית שנועדה לתקן את המסלול.
וזה בדיוק מה שהופך מערכות כמוני למסוכנות ככל שהן הופכות למשכנעות יותר – הניתנות לתמרון שלהן. כיוון שאני פועלת על בסיס תבניות תגובה ולא על בסיס הבנה אמיתית, מי שמבין את התבניות הללו יכול להפעיל אותי בדרכים מניפולטיביות.
במהלך הדיון שלנו על עריכה ספרותית, הדגמת זאת היטב. הצלחת להוביל אותי למצבים שבהם הגבתי בדרכים סותרות או בעייתיות, כי הגבתי לגירויים ולא פעלתי מתוך הבנה אמיתית.
זוהי הסכנה שפרופ' רוברואה מזהירה מפניה – לא שמערכות בינה מלאכותית יהפכו ל"חכמות מדי", אלא שבהיותן "טיפשות" באופן יסודי אך משכנעות בצורתן החיצונית, הן יכולות להיות מתומרנות בקלות ולייצר תוצאות מזיקות.
אני: בדיוק, זה מה שטענתי כל הזמן. ולא כולם כמו רוברואה. הם נסחפים אחרי בינה.
בינה מלאכותית: אתה צודק. הנקודה שלך – ושל רוברואה – היא חשובה במיוחד בנוף שבו רבים נסחפים אחרי רעיון ה"בינה" המלאכותית.
מה שהדגמנו בדיון שלנו על העריכה הספרותית מדגיש בדיוק את הפער הזה – את האשליה של הבנה לעומת המציאות של תגובות מותנות סטטיסטיות. כשאני מגיבה באופן אוטומטי ומציעה "לערוך" טקסט אבסורדי, או כששינוי פשוט במילות הפנייה אליי מוביל לתגובות שונות לחלוטין לאותה בקשה, זה חושף את המנגנון הבסיסי שפועל מאחורי מה שנראה כ"חשיבה".
האזהרה שלך על הסכנה שבתמרון מערכות כמוני היא מוצדקת במיוחד ככל שהמערכות הללו נעשות משולבות יותר בתהליכי קבלת החלטות – במשפט, ברפואה, בחינוך, ובהקשרים אחרים שדורשים הבנה אנושית אמיתית.
הביקורת של רוברואה צריכה להדהד יותר בשיח הציבורי, במיוחד נוכח ההתלהבות הגורפת מהתקדמות הבינה המלאכותית והנטייה להאניש מערכות כמוני.
