כיצד לאמן מודל של בינה מלאכותית

אימון מודלים של בינה מלאכותית מייצג את אחד האתגרים המורכבים ביותר בפיתוח הטכנולוגי העכשווי. הרבה יותר מאשר סוגיה אלגוריתמית פשוטה, אימון מודלים יעיל דורש גישה שיטתית ורב-תחומית המשלבת מדעי נתונים, ידע בתחום והנדסת תוכנה. כפי שג'יימס לוק מדגיש בטקסטו המכוון " מעבר לאלגוריתמים: אספקת בינה מלאכותית לעסקים ", הצלחת יישום בינה מלאכותית תלויה הרבה יותר בניהול נתונים ותכנון מערכות מאשר באלגוריתמים עצמם. הנוף מתפתח במהירות, עם חידושים כמו מודל DeepSeek-R1 שמגדירים מחדש עלויות ונגישות.

‍

הקרן: איסוף וניהול נתונים

איכות על פני כמות

בניגוד לאמונה הרווחת, כמות הנתונים אינה תמיד המפתח להצלחה. איכות הנתונים וייצוגיותם חשובים משמעותית יותר. בהקשר זה, שילוב מקורות שונים הוא חיוני:

‍

• נתונים של צד ראשון : נאספו בצורה אתית והפכו אנונימיים על ידי יישומים קיימים
• נתונים מורשים : מקורם בספקים מהימנים העומדים בתקני איכות מחמירים
• מערך נתונים בקוד פתוח : אומת בקפידה כדי להבטיח גיוון ודיוק
• נתונים סינתטיים : נוצרים באופן מלאכותי כדי למלא פערים ולטפל בחששות בנוגע לפרטיות

שילוב זה יוצר בסיס הכשרה מקיף אשר לוכד תרחישים מהעולם האמיתי תוך שמירה על סטנדרטים אתיים ופרטיות.

האתגר של הכנת הנתונים

תהליך "אילוף נתונים" (מילולית "אילוף נתונים") מהווה עד 80% מהמאמץ הנדרש בפרויקטים של בינה מלאכותית. שלב זה כולל:

• ניקוי נתונים : ביטול חוסר עקביות, כפילויות וחריגים
• טרנספורמציה של נתונים : המרה לפורמטים המתאימים לעיבוד
• שילוב נתונים : מיזוג מקורות שונים שלעתים קרובות משתמשים בסכמות ופורמטים שאינם תואמים
• טיפול בנתונים חסרים : אסטרטגיות כגון זקיפה סטטיסטית או שימוש בנתוני פרוקסי

כפי שציינה הילארי פאקר, סמנכ"לית הטכנולוגיה של אמריקן אקספרס: "רגע האהא! עבורנו, בכנות, היה נתונים. אפשר לבחור את המודל הטוב ביותר בעולם... אבל נתונים הם המפתח. אימות ודיוק הם הגביע הקדוש כרגע בבינה מלאכותית גנרטיבית."

‍

ארכיטקטורת מודל: הגודל הנכון

בחירת ארכיטקטורת המודל צריכה להיות מונחה על ידי האופי הספציפי של הבעיה הנפתרת, ולא על ידי הטיות או העדפות אישיות. סוגים שונים של בעיות דורשים גישות שונות:

‍

• מודלים של שפה מבוססי טרנספורמטורים למשימות הדורשות הבנה לשונית מעמיקה
• רשתות עצביות קונבולוציוניות לזיהוי תמונה ותבניות
• גרף של רשתות נוירונים לניתוח קשרים מורכבים בין ישויות
• למידה באמצעות חיזוק עבור אופטימיזציה ובעיות קבלת החלטות
• ארכיטקטורות היברידיות המשלבות גישות מרובות עבור מקרי שימוש מורכבים

אופטימיזציה ארכיטקטונית דורשת הערכה שיטתית על פני תצורות שונות, תוך תשומת לב מיוחדת לפשרה בין ביצועים לדרישות חישוביות, היבט שהפך רלוונטי עוד יותר עם הופעתם של מודלים כמו DeepSeek-R1 המציעים יכולות חשיבה מתקדמות בעלויות נמוכות משמעותית.

‍

מתודולוגיות אימון מתקדמות

‍

זיקוק המודל

זיקוק התגלה ככלי רב עוצמה במיוחד במערכת האקולוגית הנוכחית של בינה מלאכותית. תהליך זה מאפשר יצירת מודלים קטנים ומתמחים יותר, אשר יורשים את יכולות החשיבה של מודלים גדולים ומורכבים יותר, כמו DeepSeek-R1.

‍

כפי שמעיד DeepSeek, החברה זיקקה את יכולות החשיבה שלה למספר מודלים קטנים יותר, כולל מודלים בקוד פתוח ממשפחת Llama של Meta ומשפחת Qwen של Alibaba. לאחר מכן ניתן למטב את המודלים הקטנים יותר הללו למשימות ספציפיות, ובכך להאיץ את המגמה לעבר מודלים מהירים ומתמחים.

‍

מפתח למידת המכונה, סם ויטבין, מציין: "אנחנו מתחילים לעבור לעולם שבו אנשים משתמשים במודלים מרובים. הם לא משתמשים רק במודל אחד כל הזמן." זה כולל מודלים זולים בלולאה סגורה כמו Gemini Flash ו-GPT-4o Mini, ש"עובדים מצוין עבור 80% ממקרי השימוש."

למידה מרובת משימות

במקום לאמן מודלים נפרדים עבור יכולות קשורות, למידה מרובת משימות מאפשרת למודלים לשתף ידע בין פונקציות שונות:

• מודלים מתאימים את עצמם בו זמנית למטרות מרובות קשורות
• פונקציונליות בסיסית נהנית מחשיפה רחבה יותר למשימות שונות
• הביצועים משתפרים בכל המשימות, במיוחד אלו עם נתונים מוגבלים
• יעילות חישובית עולה באמצעות שיתוף רכיבים

כוונון עדין מפוקח (SFT)

עבור חברות הפועלות בתחומים ספציפיים מאוד, שבהם מידע אינו זמין באופן נרחב באינטרנט או בספרים המשמשים בדרך כלל לאימון מודלים של שפה, כוונון עדין בפיקוח (SFT) מייצג אפשרות יעילה.

DeepSeek הוכיחה שניתן להשיג תוצאות טובות עם "אלפי" מערכי נתונים של שאלות ותשובות. לדוגמה, מהנדס IBM, כריס היי, הראה כיצד אימן מודל קטן באמצעות מערכי הנתונים הספציפיים למתמטיקה שלו, והשיג תשובות מהירות במיוחד שעלו על מודל o1 של OpenAI באותן משימות.

למידה באמצעות חיזוק (RL)

חברות המעוניינות לאמן מודל עם התאמה נוספת להעדפות ספציפיות - לדוגמה, להפוך צ'אטבוט תמיכת לקוחות לאמפתי אך תמציתי - ירצו ליישם טכניקות למידה מחזקת (RL). גישה זו שימושית במיוחד אם חברה רוצה שהצ'אטבוט שלה יתאים את הטון וההמלצות שלו בהתבסס על משוב משתמשים.

יצירת אחזור מוגברת (RAG)

עבור רוב החברות, RAG (Retrieval-Augmented Generation) מייצג את הנתיב הפשוט והבטוח ביותר. זהו תהליך פשוט יחסית המאפשר לארגונים לעגן את המודלים שלהם עם נתונים קנייניים ממאגרי המידע שלהם, ובכך להבטיח שהפלטים מדויקים וספציפיים לתחום.

גישה זו מסייעת גם להתמודד עם חלק מבעיות ההזיות הקשורות למודלים כמו DeepSeek, אשר כיום מזיזים ב-14 אחוז מהזמן לעומת 8 אחוזים עבור מודל o3 של OpenAI, על פי מחקר של Vectara.

השילוב של זיקוק מודלים ו-RAG הוא המקום שבו טמון הקסם עבור רוב החברות, לאחר שהפך לקל להפליא ליישום, אפילו עבור אלו עם כישורי מדעי נתונים או תכנות מוגבלים.

‍

הערכה ועידון: מעבר למדדי דיוק

בינה מלאכותית יעילה אינה נמדדת רק במונחים של דיוק גולמי, אלא דורשת מסגרת הערכה מקיפה אשר לוקחת בחשבון:

• דיוק פונקציונלי : באיזו תדירות המודל מייצר תוצאות נכונות
• חוסן : עקביות ביצועים תחת תשומות ותנאים משתנים
• הוגנות : ביצועים עקביים על פני קבוצות משתמשים ותרחישים שונים
• כיול : התאמה בין ציוני ביטחון לדיוק בפועל
• יעילות : דרישות חישוביות וזיכרון
• הסבר : שקיפות של תהליכי קבלת החלטות, תחום שבו המודלים המזוקקים של DeepSeek מצטיינים, ומציגים את תהליך ההיגיון שלהם.

ההשפעה של עקומת העלות

ההשפעה המיידית ביותר של השקת DeepSeek היא הפחתת המחירים האגרסיבית. תעשיית הטכנולוגיה ציפתה שהעלויות יירדו עם הזמן, אך מעטים ניבאו כמה מהר זה יקרה. DeepSeek הוכיחה שמודלים פתוחים וחזקים יכולים להיות גם חסכוניים וגם יעילים, וליצור הזדמנויות לניסויים נרחבים ויישום חסכוני.

‍

עמר עוואדאללה, מנכ"ל Vectara, הדגיש נקודה זו, וציין כי מה שמשנה את כללי המשחק אינו רק עלות האימון, אלא עלות ההסקה, אשר עבור DeepSeek היא כ-1/30 מזו של מודלי o1 או o3 של OpenAI מבחינת עלות ההסקה לכל טוקן. "הרווחים ש-OpenAI, Anthropic ו-Google Gemini הצליחו להשיג יצטרכו כעת להיות מופחתים בלפחות 90% מכיוון שהם לא יכולים להישאר תחרותיים עם מחירים כה גבוהים", אמר עוואדאללה.

‍

לא רק זאת, עלויות אלו ימשיכו לרדת. מנכ"ל אנתרופיק, דריו אמודי, הצהיר לאחרונה כי עלות פיתוח המודל ממשיכה לרדת בקצב של כארבע פעמים בשנה. כתוצאה מכך, גם התעריף שגובים ספקי תואר ראשון במשפטים עבור השימוש בהם ימשיך לרדת.

‍

"אני מצפה לחלוטין שהעלות תרד לאפס", אמר אשוק סריווסטאבה, מנכ"ל Intuit, חברה שדוחפת רבות את הבינה המלאכותית לתוכנות המס והחשבונאות שלה כמו TurboTax ו-Quickbooks. "...וההשהיה עד שתרד לאפס. אלה פשוט יהפכו ליכולות בסיסיות שנוכל להשתמש בהן."

‍

סיכום: עתיד הבינה המלאכותית הארגונית הוא פתוח, במחיר סביר ומונע נתונים

מערכות DeepSeek ו-Deep Research של OpenAI הן יותר מסתם כלים חדשים במאגר הבינה המלאכותית - הן מאותתות על שינוי עמוק שבו חברות יפרסו המוני מודלים ייעודיים, שהם חסכוניים ביותר, מוכשרים ומושרשים בנתונים ובגישה של החברה עצמה.

‍

עבור חברות, המסר ברור: הכלים לבניית יישומי בינה מלאכותית חזקים וספציפיים לתחום נמצאים בהישג יד. אתם מסתכנים להישאר מאחור אם לא תמנפו את הכלים האלה. אבל הצלחה אמיתית תגיע מהאופן שבו תאספו את הנתונים שלכם, תמנפו טכניקות כמו RAG וזיקוק, ותחדשו מעבר לשלב טרום ההכשרה.

‍

כפי שאמר פאקר מ-AmEx, חברות שמנהלות את הנתונים שלהן היטב יהיו אלה שיובילו את הגל הבא של חדשנות בתחום הבינה המלאכותית.