הרמן הסה צדק: מערכות אינטלקטואליות מורכבות מדי מסתכנות בניתוק מהחיים האמיתיים. כיום, בינה מלאכותית נמצאת באותו סיכון כמו "משחק חרוזי הזכוכית" כאשר היא מייעלת מדדים המתייחסים לעצמם במקום לשרת את האנושות.
אבל הסה היה רומנטיקן מהמאה העשרים שחזה בחירה נוקשה: קסטליה האינטלקטואלית לעומת העולם האנושי. אנו חיים במציאות מורכבת יותר: אבולוציה משותפת שבה "אינטראקציות עם רובוטים חברתיים או צ'אטבוטים מבוססי בינה מלאכותית יכולות להשפיע על התפיסות, הגישות והאינטראקציות החברתיות שלנו" בעוד שאנו מעצבים את האלגוריתמים שמעצבים אותנו. " הסתמכות יתר על ChatGPT או פלטפורמות בינה מלאכותית דומות יכולה להפחית את יכולתו של אדם לחשוב בצורה ביקורתית ולפתח מחשבה עצמאית ", אך במקביל, בינה מלאכותית מפתחת יכולות אנושיות יותר ויותר להבנה הקשרית.
זה לא עניין של "להחזיר את האנושות למרכז", אלא של החלטה מודעת האם והיכן לעצור את השינוי ההדדי הזה .
בשנת 1943 פרסם הרמן הסה את "משחק חרוזי הזכוכית", רומן נבואי המתרחש בעתיד רחוק. במרכז הסיפור נמצאת קסטליה , מחוז אוטופי מבודד מהעולם החיצון על ידי חומות פיזיות ואינטלקטואליות, שם אליטה של אינטלקטואלים מקדישה את עצמה אך ורק לחתירה לידע טהור.
בלב קסטליה נמצא משחק מסתורי ומורכב לאין שיעור: משחק חרוזי הזכוכית . החוקים לעולם אינם מוסברים במלואם, אך אנו יודעים שהוא מייצג "סינתזה של כל הידע האנושי" - שחקנים יוצרים קשרים בין נושאים שנראים לא קשורים (קונצ'רטו של באך ונוסחה מתמטית, למשל). זוהי מערכת של תחכום אינטלקטואלי יוצא דופן, אך מופשטת לחלוטין.
כשמסתכלים על המערכת האקולוגית הטכנולוגית הגדולה כיום, קשה שלא לזהות קסטליה דיגיטלית : חברות שיוצרות אלגוריתמים מתוחכמים יותר ויותר, מייעלות מדדים מורכבים יותר ויותר, אך לעתים קרובות מאבדות את המטרה המקורית: לשרת בני אדם בעולם האמיתי.
גיבור הרומן הוא יוזף קנכט , יתום בעל כישרונות יוצאי דופן שהופך למגיסטר לודי (מנהל המשחק) הצעיר ביותר בתולדות קסטליה. קנכט מצטיין במשחק חרוזי הזכוכית כמו כל אחד אחר, אך בהדרגה מתחיל לחוש את היובש של מערכת, שלמרות היותה מושלמת, נותקה לחלוטין מהחיים האמיתיים.
באינטראקציות דיפלומטיות עם העולם החיצון – ובמיוחד עם פליניו דיזיניורי (חברו ללימודים המייצג את העולם "הנורמלי") והאב יאקובוס (היסטוריון בנדיקטיני) – קנכט מתחיל להבין שקסטליה, בחתירתה לשלמות אינטלקטואלית, יצרה מערכת סטרילית ומורכבת מעצמה .
האנלוגיה לבינה מלאכותית מודרנית בולטת : כמה מפתחי אלגוריתמים, כמו קנכט, מבינים שהמערכות שלהם, מתוחכמות מבחינה טכנית ככל שיהיו, איבדו קשר עם צרכים אנושיים אותנטיים?
אמזון: גיוס שמשכפל את העבר בשנת 2018, אמזון גילתה שמערכת הגיוס האוטומטית שלה מפלה נשים באופן שיטתי. האלגוריתם העניש קורות חיים המכילים את המילה "נשים" ופחת מערכם של בוגרות אוניברסיטאות בהן היו בוגרות בלבד.
זה לא היה "כישלון מוסרי" אלא בעיית אופטימיזציה : המערכת הפכה לטובה באופן יוצא דופן בשכפול דפוסי נתונים היסטוריים מבלי להטיל ספק ביעילותן של מטרות אלה. כמו משחק חרוזי הזכוכית, הוא היה מושלם מבחינה טכנית אך סטרילי מבחינה פונקציונלית - הוא ביצע אופטימיזציה ל"עקביות בעבר" ולא ל"ביצועי צוות עתידיים".
Apple Card: אלגוריתמים שיורשים הטיות מערכתיות בשנת 2019, Apple Card נבדקה לאחר שהתגלה שהיא מקצה מסגרת אשראי נמוכה באופן דרסטי לנשים, למרות שהיו לה ציוני אשראי שווים או גבוהים יותר.
האלגוריתם למד "לשחק" בצורה מושלמת לפי הכללים הבלתי נראים של המערכת הפיננסית, תוך שילוב עשרות שנים של הטיה היסטורית. כמו קסטליה ש"חפרה" על עמדות מיושנות, המערכת הנציחה חוסר יעילות שהעולם האמיתי התגבר עליו. הבעיה לא הייתה האינטליגנציה של האלגוריתם, אלא חוסר התאמת המדד .
מדיה חברתית: מעורבות אינסופית לעומת רווחה בת קיימא. מדיה חברתית מייצגת את ההתכנסות המורכבת ביותר: אלגוריתמים המחברים תוכן, משתמשים ורגשות בדרכים מתוחכמות יותר ויותר, בדיוק כמו משחק חרוזי הזכוכית שיצר "יחסים בין נושאים לכאורה רחוקים מאוד".
התוצאה של אופטימיזציה ל"מעורבות" במקום "רווחה בת קיימא": בני נוער המבלים יותר משלוש שעות ביום ברשתות חברתיות עומדים בפני סיכון כפול לבעיות בריאות הנפש. השימוש הבעייתי גדל מ-7% בשנת 2018 ל-11% בשנת 2022.
הלקח : זה לא שהמערכות האלה "לא מוסריות", אלא שהן ממטבות את עצמן עבור שליחים ולא עבור מטרות אמיתיות .
רפואה: מדדים המותאמים לתוצאות אמיתיות. בינה מלאכותית ברפואה מדגימה מה קורה כאשר התכנסות אנושית-אלגוריתם מתוכננת עבור מדדים שחשובים באמת:
מערכות אלו פועלות לא משום שהן "אנושיות יותר", אלא משום שהמדד ברור וחד משמעי : בריאות המטופל. אין פער בין מה שהאלגוריתם מייעל לבין מה שבני אדם באמת רוצים.
ספוטיפיי: מניעת הטיות כיתרון תחרותי בעוד שאמזון שיכפלה את ההטיות של העבר, ספוטיפיי הבינה שגיוון גיוס העובדים שלה הוא יתרון אסטרטגי . היא משלבת ראיונות מובנים עם בינה מלאכותית כדי לזהות ולתקן הטיות לא מודעות.
זה לא אלטרואיזם אלא אינטליגנציה מערכתית : צוותים מגוונים מתפקדים טוב יותר, כך שאופטימיזציה לגיוון היא אופטימיזציה לביצועים. התכנסות עובדת משום שהיא מיישרת ייעודים מוסריים ועסקיים.
ויקיפדיה: שיווי משקל ניתן להרחבה ויקיפדיה מדגימה שניתן לתחזק מערכות מורכבות ללא התייחסות עצמית: היא משתמשת בטכנולוגיות מתקדמות (בינה מלאכותית לניהול, אלגוריתמים לדירוג) אך נשארת מעוגנת למטרה של "ידע נגיש ומאומת".
במשך למעלה מ-20 שנה, הוא הוכיח שתחכום טכני בתוספת פיקוח אנושי יכולים למנוע את בידודה של קסטליה. הסוד: המדדים הם חיצוניים למערכת עצמה (תועלת לקורא, לא חידוד המשחק הפנימי).
מערכות שעובדות חולקות שלושה מאפיינים:
זה לא שאמזון, אפל והמדיה החברתית "נכשלו" - הן פשוט ביצעו אופטימיזציה למטרות שונות מאלה שהוגדרו. אמזון רצתה יעילות גיוס, אפל רצתה להפחית את סיכון האשראי, המדיה החברתית רצתה למקסם את זמן המשתמש. הן הצליחו בצורה מושלמת .
ה"בעיה" מתעוררת רק כאשר מטרות פנימיות אלו מתנגשות עם ציפיות חברתיות רחבות יותר. מערכת זו פועלת כאשר מטרות אלו מתואמות, והופכת לחסרת יעילה כאשר הן אינן.
ברומן, יוזף קנכט מבצע את המעשה המהפכני ביותר האפשרי: הוא מתפטר מתפקידו כמגיסטר לודי כדי לחזור לעולם האמיתי כמורה. זהו מעשה ש"שובר מסורת בת מאות שנים".
הפילוסופיה של קנכט : קסטליה הפכה עקרה ומתייחסת לעצמה. הפתרון היחיד הוא לנטוש את המערכת ולהתחבר מחדש לאנושות האותנטית. בחירה בינארית: או קסטליה או העולם האמיתי.
אין צורך לעזוב את קסטליה - אני שמח כאן . הבעיה אינה המערכת עצמה, אלא איך היא ממוטבת. במקום לברוח מהמורכבות, אני מעדיף לנהל אותה באופן מודע.
הפילוסופיה שלי : קסטליה אינה סטרילית מטבעה - היא פשוט מוגדרת בצורה גרועה. הפתרון אינו לצאת, אלא להתפתח מבפנים באמצעות אופטימיזציה פרגמטית.
קנכט (1943): הומניסט של המאה ה-20
אני (2025): אתיקה של העידן הדיגיטלי
ההבדל אינו בין אתיקה לפרגמטיזם, אלא בין שתי גישות אתיות המתאימות לתקופות שונות. הסה פעל בעולם של טכנולוגיות סטטיות שבו נראה היה שיש רק שתי אפשרויות.
ברומן, קנכט טובע זמן קצר לאחר שעזב את קסטליה. האירוניה היא שהוא נמלט כדי "להתחבר מחדש לחיים האמיתיים", אך מותו נגרם עקב חוסר ניסיונו בעולם הפיזי.
בשנת 1943, הסה ראה דיכוטומיה: או קסטליה (מערכת אינטלקטואלית מושלמת אך סטרילית) או העולם החיצוני (אנושי אך לא מאורגן). "עקרונותיו" נגזרים מחזון מוסרי זה של הסכסוך בין טוהר אינטלקטואלי לאותנטיות אנושית.
הלקח לשנת 2025 : אלו שבורחים ממערכות מורכבות מבלי להבין אותן מסתכנים בחוסר יעילות אפילו בעולם "הפשוט". עדיף לשלוט במורכבות מאשר לברוח ממנה.
התובנה של הסה : קסטליה נכשלת משום שהיא מבודדת את עצמה מאחורי חומות. מערכות בינה מלאכותית חייבות להיות בעלות "דלתות פתוחות": שקיפות בתהליכי קבלת החלטות ואפשרות של פנייה אנושית.
יישום בשנת 2025 : עקרון המעקב האסטרטגי
התובנה של הסה : ברומן, דיזיינורי מייצג את "העולם הנורמלי" שמאתגר את קסטליה. כל מערכת בינה מלאכותית חייבת לעבור את "מבחן הדיזיינורי": להיות מובנת למומחים שאינם טכניים.
יישום בשנת 2025 : בדיקות תאימות תפעולית
התובנה של הסה : הנזיר הבנדיקטיני מייצג חוכמה מעשית. לפני יישום כל בינה מלאכותית: "האם טכנולוגיה זו באמת משרתת את טובת הכלל לטווח ארוך?"
יישום בשנת 2025 : פרמטר קיימות מערכתית
התובנה של הסה : קנכט בוחר בהוראה משום שהוא רוצה "להשפיע על מציאות קונקרטית יותר". מערכות הבינה המלאכותית הטובות ביותר הן אלו ש"מלמדות" - שהופכות אנשים ליכולות גדולות יותר.
יישום בשנת 2025 : עקרון ההגברה ההדדית
הסה צדק לגבי הבעיה: מערכות אינטלקטואליות יכולות להפוך להיות בעלות התייחסות עצמית ולאבד קשר עם יעילות אמיתית.
הפתרון שלו שיקף את המגבלות הטכנולוגיות של זמנו:
בשנת 2025 יש לנו אפשרויות חדשות:
ארבעת העקרונות של הסה נותרו בתוקף. ארבעת הפרמטרים שלנו הם פשוט יישומים טכניים של אותם עקרונות, המותאמים לעידן הדיגיטלי.
הסה היה שואל :
בשנת 2025 עלינו לשאול גם :
אלו אינן שאלות מנוגדות, אלא שאלות משלימות. שלנו הן יישומים אופרטיביים של התובנות של הסה, המותאמים למערכות שיכולות להתפתח במקום פשוט להתקבל או לדחות.
הסה היה בעל חזון שזיהה נכונה את הסיכונים של מערכות בעלות התייחסות עצמית. פתרונותיו שיקפו את האפשרויות של תקופתו: עקרונות אתיים אוניברסליים להנחיית בחירות בינאריות.
בשנת 2025, אנו חולקים את מטרותיה אך יש לנו כלים שונים: מערכות שניתן לתכנת מחדש, מדדים שניתן לכייל מחדש, התכנסויות שניתן לעצב מחדש.
אנחנו לא מחליפים אתיקה בפרגמטיזם. אנחנו מתפתחים מאתיקה של עקרונות קבועים לאתיקה של מערכות אדפטיביות.
ההבדל אינו בין 'טוב' ל'שימושי', אלא בין גישות אתיות סטטיות לגישות אתיות אבולוציוניות.
כבר קיימים כלים טכניים עבור מפתחים שרוצים ללכת בעקבות הדוגמה של קנכט:
מקור: כלי בינה מלאכותית אתיים 2024
הסה כתב שקסטליה נועדה לדעיכה משום ש"היא הפכה מופשטת ומושרשת מדי". כיום אנו רואים את הסימנים הראשונים:
הפתרון אינו לזנוח את הבינה המלאכותית (כמו שקנכט אינו זונח ידע), אלא להגדיר מחדש את ייעודה :
לרומן של הסה יש סוף המשקף את מגבלות זמנו: קנכט, זמן קצר לאחר שעזב את קסטליה כדי להתחבר מחדש לחיים האמיתיים, טובע בזמן שרודף אחרי תלמידו הצעיר טיטוס על פני אגם קפוא.
הסה מציג זאת כסוף "טרגי אך הכרחי" - הקורבן שמעורר שינוי. אבל בשנת 2025, היגיון זה כבר לא תקף.
הסה דמיין רק שני גורלות אפשריים:
יש לנו אפשרות שלישית שהוא לא הצליח לדמיין : מערכות שמתפתחות במקום להישבר.
אנחנו לא צריכים לבחור בין תחכום טכני ליעילות אנושית. אנחנו לא צריכים "להימנע מגורלה של קסטליה" - אנחנו יכולים לייעל אותה .
בשנת 2025, בינה מלאכותית אינה איום שיש להימלט ממנו, אלא תהליך שיש לשלוט בו.
הסיכון האמיתי אינו שבינה מלאכותית תהפוך לחכמה מדי, אלא שהיא תהפוך לטובה מדי באופטימיזציה עבור מדדים שגויים בעולמות המבודדים יותר ויותר מהמציאות התפעולית.
ההזדמנות האמיתית אינה "לשמר את האנושות" אלא לתכנן מערכות שמגבירות את היכולות של כל הרכיבים.
השאלה עבור כל מפתח, כל חברה, כל משתמש כבר אינה של הסה: "האם אנחנו בונים את קסטליה או שאנחנו הולכים בעקבות הדוגמה של קנכט?"
השאלה של 2025 היא : "האם אנחנו מבצעים אופטימיזציה עבור המדדים הנכונים?"
ההבדל אינו מוסרי אלא טכני : חלק מהמערכות עובדות, אחרות לא.
קנכט פעל בעולם שבו מערכות היו סטטיות: לאחר שנבנו, הן נותרו בלתי ניתנות לשינוי. האפשרות היחידה שלו לשנות את קסטליה הייתה לנטוש אותה - מעשה אמיץ שדרש ויתור על מעמדו.
בשנת 2025, יש לנו מערכות שיכולות להתפתח. אנחנו לא צריכים לעשות בחירה סופית בין קסטליה לעולם החיצון - אנחנו יכולים לעצב את קסטליה כך שתשרת טוב יותר את העולם החיצון.
הלקח האמיתי של הסה אינו שעלינו לברוח ממערכות מורכבות, אלא שעלינו להישאר ערניים לגבי כיוון הפעולה שלהן. בשנת 1943, פירוש הדבר היה להיות בעל האומץ לנטוש את קסטליה. כיום, פירוש הדבר הוא להיות בעל המומחיות לעצב אותה מחדש.
השאלה אינה עוד, "האם עליי להישאר או ללכת?" השאלה היא, "איך אני גורם למערכת הזו לשרת את מה שהיא אמורה לשרת?"
מקרים מתועדים:
הצלחות של בינה מלאכותית:
כלים אתיים:
תובנות ספרותיות:
💡 לעסק שלך: האם מערכות הבינה המלאכותית שלך יוצרות ערך אמיתי או סתם מורכבות טכנית? הימנע מהעלויות הנסתרות של אלגוריתמים שממטבים את המדדים הלא נכונים - החל מהטיה מפלה ועד לאובדן אמון הלקוחות. אנו מציעים ביקורות בינה מלאכותית המתמקדות בהחזר השקעה מוחשי, תאימות לתקנות וקיימות לטווח ארוך. צור איתנו קשר לקבלת הערכה ללא תשלום כדי לזהות היכן האלגוריתמים שלך יכולים לייצר ערך עסקי רב יותר ופחות סיכון משפטי.
.svg)
.svg)
.svg)
.jpeg)
