June 3, 2025 • 40 mins
בפרק שוחחנו עם אסף מ-IBM Research, ממובילי מודל Granite. הסברנו מהו מודל פתוח: ארכיטקטורה, קוד אימון, משקולות ונתונים, ולמה ברוב המקרים רק שני החלקים הראשונים זמינים. דיברנו על רישיונות שונים, מ-MIT החופשי ועד Llama-License המחייב לשמור את השם. הסברנו שהכסף עבר מאימון יחיד ויקר לאינפרנס מתמשך, ולכן ענקיות בונות חוות GPU ומציעות תשתיות כמו Watsonx, VLLM ו-MCP. ראינו כיצד קהילה יכולה לתרום קוד ו-synthetic data בעזרת InstructLab ולמה תשתיות פתוחות כגון LangChain חשובות. לבסוף נגעו באתגרים: Tool-Calling, פרטיות, פרסומות ממוקדות והצורך הארגוני להריץ מודלים מקומיים. הפרק מדגיש את קצב ההתקדמות המסחרר ומעודד מהנדסים ללמוד לשאול שאלות נכונות ולשמור על גמישות.
Mark as Played
Transcript
Episode Transcript
Available transcripts are automatically generated. Complete accuracy is not guaranteed.
(00:00):
ברוכים הבאים לפודקאסט הטכנולוגיה מדברים פתוח.
אני ג'וש סלומון.
ואני אילן פינטו.
יחד אנחנו מדברים על כל מה שחדש בעולם הפיתוח,
הבינה מלאכותית והקלאוד מקשור ישירות,
או על הדרך של פוד פתוח.
וככה זה אחרי שעובדים שנים באופן סורס חייבים להעביר את זה הלאה.
בין לבין נזכיר גם עוד כמה באז וורדס כדי שנוכל לסגור פינה ולדסקס על כל מה שחשוב באמת.
(00:24):
שימו זניות, תדבירו את הווליום ותעשו מקום למקצועניות והמקצוענים שבאו לדבר איתנו פתוח ולעניין.
מדברים פתוח, מתחילים.
בוקר טוב, אילן.
בוקר טוב, ג'וש.
מה נשמע?
האמת, הדברים זזים מהר, אנחנו...
דיברנו על זה, כן.
(00:44):
דיברנו על זה, מי ששמע את הפרקים הקודמים.
יכול להיות שעד שהפרק הזה יישודר, הוא כבר יהיה פחות רלוונטי.
אתה יודע מה אמרו לי?
השאלתי לי לדבר איתך, אז הציעו לי להחליף אותך ב-AI.
גם לי הציעו להחליף אותך ב-AI.
זה לפרק הבא.
הפרק הבא.
אני מחליף את שלום?
(01:05):
אי אפשר להחליף אותו.
זה אי אפשר.
שלום זה...
שלום הוא הטכנאי שלנו שעושה עבודה מדהימה.
אז...
טוב, אז מה אנחנו מדברים היום?
לפני שמחליפים אותנו ב-AI, הבאנו מישהו...
עורח שאי אפשר להחליף ב-AI, כי הוא בעצם זה שבונה את ה-AI.
כן, אירוע...
כן, מישהו מקבוצה...
(01:26):
קבוצת אילית, של...
-אילית.
-בנדירה, של בוני מודלים.
הוא הציג את עצמו, אז אסף.
אהלן.
אהלן.
כן, אז אני אסף, קבוצה נדירה,
אילית,
לא יודע אם הייתי אומר את זה,
אבל עובדים באמת,
אני עובד ב-IBM Research,
עובדים על פיתוח של המודלים.
יש את קו המודלים ה-LLMים של IBM, שנקרא גרנאייט.
(01:51):
אנחנו בחיפה, בשיתוף עם המעבדה ב-MIT,
בונים את המודל ל-Vision Language של IBM.
אז קבוצה שלי מתמחה ב-Vision וגם ב-Speech ו-Oודיו,
ובעצם משחררים את המודלים.
זה Foundation Models, בעצם.
-כן?
-רק, רק טיפה להסביר.
Vision Models זה לא מה שהיום מאוד מאוד פופולרי,
(02:11):
לא יודע מי הם,
כשישדרו קודי יהיה פופולרי של לייצר תמונה מפרומט,
אלא להבין תמונה,
לנתח תמונה ולהכניס את מה שמתואר בתמונה בתור הידע של המודל.
-כן, בגדול זה בעצם שימוש במודלי שפה והרחבה של מודלי שפה,
שהכלת לא יהיה רק טקסט, אלא גם כלת ויזואלי.
(02:35):
כבר אנחנו רואים את זה במודלים,
המודלים הסגורים,
ChatGPT,
ג'מיני,
כבר יש להם את היכולות האלה וגם ל-IBM,
במודל שלנו.
אוקיי, אנחנו רצינו לאמן אותך כדי לדבר על...
כמובן על גרנייט ועל המודלים האלה, אבל יותר עניין אותנו לדעת איך כל
נושא המודלים וכל עולם ה-AI, איך הוא מתחבר לקוד הפתוח?
(02:57):
והסיבה שהבאנו אותך היא שגרנייט הוא מודל קוד פתוח.
-הוא מודל פתוח?
-מודל פתוח, סליחה.
-אנחנו צריכים לדייק בטרמינולוגיה כי יש פה באמת הרבה נואנסים,
וההגדרה של קוד פתוח ב-AI היא מורכבת כי יש כל מיני סוגים של פתוח,
של רמת פתיחות.
באמת ה-IBM היא יחסית פתוחה,
(03:20):
לא הכי הכי פתוחה מבחינת מה ש...
מבחינת הכול, שנמנה את ה...
-כן, בואו, בואו...
-ניכנס לזה...
-כאילו בעצם אולי אפילו אם ניכנס רגע לפרטים,
לפרטים,
כשיש לי קוד פתוח,
כן,
או כשאנחנו מדברים על קוד פתוח,
קהילת קוד פתוח, יש לי קוד שהוא פתוח.
זאת אומרת, יש לי...
-לא, גם הוא ברמות.
יש לי קוד שמותר לי לקחת אותו כמו שהוא,
(03:43):
יש לי קוד שמותר לי לקחת ולשנות אותו,
יש לי...
-זה גם license, נכון?
יש גם עניין של license, זה בכלל גם סיפור מורכב נוסף.
-נכון, אבל בסוף,
בשורה התחתונה,
יש לי את הרכיב הזה שנקרא קוד שהוא נמצא זמין.
עכשיו, כשאנחנו מדברים על מודלים,
זה לא בדיוק ככה,
כי יש לנו הרבה רכיבים שמרכיבים את המודל עצמו.
אז גם כאן, כן, המודל נמצא זמין, אבל מה זה אומר ומה זה... איך זה עוזר לך,
(04:05):
כשהקוד פתוח של... לא יודע מה, איזושהי ספרייה ירדת לצורך העניין,
משהו קוד פתוח,
אז כל אחד יכול גם לקרוא את הקוד וגם לשחזר ולעשות את הדברים.
-לינוקסקר.
-לינוקסקר, לצורך העניין.
כן, כל אחד יכול לשפר, להוסיף, לתקן.
ובמודלים, גם כאן יש איזושהי יכולת, אבל לא
(04:26):
בהכל ולא לגמרי הכל תמיד ברור וזה איזה רמות יש לנו איך זה מתחלב.
אז בואו לפני כן,
לפני הרמות,
נדבר על מה בעצם מרכיב מודל,
איך בכלל בונים מודל ומה הרכיבים שלו.
אז יש את הקוד בעצם שמאמנים איתו את הקוד של המודל עצמו לפני שמאמנים את הקוד של המודל,
את השכבות שלו איזה מהמימדים של כל שכבה בפנים איזה סוג של אקטיבציות,
(04:51):
איזה סוג של...
-מה שנקרא ארכיטקטורה.
-ארכיטקטורה, בדיוק.
זה ארכיטקטורה עכשיו במודלים פתוחים ארכיטקטורה פתוחה כל אחד
יכול לראות כי אתה גם חייב את זה כי בסוף כשאתה מריץ את זה אצלך הקוד הוא קוד
פייטון כל אחד יכול להיכנס ולקרוא בגיטאב את הקוד פייטון של גרנייט או של למה,
או של מיסטרל ועוד הרבה מודלים שהם מודלים פתוחים.
(05:12):
יש את הקוד אימון את הקוד שאיתו אנחנו מאמנים את המודל ושם יש כל מיני תוספות,
טריקים, שטיקים של איך לאמן את המודל בצורה נכונה,
יעילה, שבסוף יביא את התוצאה.
-זה, לדוגמה, זה דיפסיק ששואל שאלות...
-לצורך העניין...
-את G.G.P.T. -בדיוק.
(05:33):
רגע, שנייה, זה נושא אחר.
לפני כן, אבל דיפסיק, מה שכן, זה למשל הלוסט פונקשנס וג'רפי אור וכל
הדברים שהם שחררו ופתחו לנו גם במאמר וגם בקוד,
ובעצם איך אנחנו מאמנים את המודל מה הקוד שאנחנו משתמשים כדי לאמן את המודל זה
רכיב מאוד מאוד חיוני אם אני רוצה עכשיו לאמן מודל בעצמי זה רכיב קריטי.
(05:56):
לא כולם מפורסמים את זה.
איך אימנתי את המודל?
-סתם רק IBM מפרסמים את זה או לא?
-את הקוד אימון?
לא.
ממש את הקוד אימון יש גרסה פתוחה שהיא מאוד מאוד קרובה אבל לא בכלל,
לא כל דבר הדברים האחרונים ממש ממש של האימון נכנסים אבל די די כעת די...
(06:17):
-זה עד שירדת זה בין אפסטרים ודאונסטרים.
יש אפסטרים שהוא בערך הכל אבל ידעתכם גם...
-יש כמה דברים שהם נשמרים עדיין...
-פיינטיונד של אייבינש.
-בדיוק.
שהם עדיין נשמרים והדבר הכי קריטי אולי הכי משמעותי זה הדאטה.
הדאטה שאיתו אנחנו מאמנים.
וכאן זה אולי מה שאני יודעת הכי מבדיל בין מודלים
(06:39):
פתוחים והעולם של איי איי באופן לעומת קוד פתוח כללי שאנחנו מכירים מקהילות הקוד פתוח.
מה מהדאטה הוא פתוח מה מהדאטה הוא פרופרייטרי של החברה?
למה גם השיקולים של מה למה אנחנו פותחים או לא פותחים את הדאטה?
כי יש גם יתרונות ללא לפתוח את הדאטה הרבה עניינים של פרייביסי ודברים כאלה,
(07:02):
וכל התהליך שגם הדאטה עובר של פילטור ופרוססינג וניקיון וזה גם דברים ש...
אז נניח את הכלים של הפרוסינג של הדאטה איי באים כן פותחים יש ספרייה שנקראת דאטה פרפקיט באופן לגמרי וזה גם משהו
שאנחנו משתמשים כדי לייצר ולהכין את הדאטה שלנו אבל את הדאטה עצמו לא מפרסמים,
(07:27):
לא את כולו,
חלק כן אבל לא את כולו.
זאת אומרת שמישהו שמבחוץ רוצה לבנות את המודל יכול לבנות...
גרסה חלשה.
גרסה חלשה.
גרסה חלשה.
כן, רוב החברות לא מפרסמות את הדאטה.
אני חושב שחוץ ממסטרל,
(07:50):
שמפרסמים...
סליחה, לא מסטרל, דווקא מסטרל אני לא חושב שמפרסמים את כל הדאטה.
הגינג פייסים עם המודל שלהם שמאל ויילם עכשיו הם שחררו את כל
הדאטה שהם השתמשו לאימון של המודל.
אהלן...
אהלן איי איי.
אהלן איי איי מפרסמים את הדאטה גם.
רוב החברות לא מפרסמות את הדאטה.
פייסבוק לא מפרסמים את הדאטה שהם אימנו,
(08:11):
הם מפרסמים את המודל,
את מודל אהלמה.
אז בעצם יש לנו...
אם ניתן שמות אז יש לנו את הopen models שזה בעצם...
אני נותן את המודל, אימנתי אותו, עכשיו אני נותן את המודל,
כולל כל המשקולות שלו,
כולל כל הקוד שמריץ את המודל,
וכל אחד יכול לקחת ו...
לאמן אותו, להמשיך לעשות לו פיינטוינינג,
(08:34):
לעשות אדפטציות אפילו בקוד של המודל.
תכף נדבר על ענייני לייסנסים, האם זה...
-כן, זר, כי זה...
כל אחד יכול, האם מותר זה סיפור אחר, ומה...
ותחת איזה תנאים מותר,
אבל בגדול זה שעה.
לשחזר זה כבר משימה יותר קשה.
אה...
כי אין את הדאטה.
כן, לבנות את המודל, כמו שכל אחד בונה את הקרנל של אינוקסים,
(08:58):
אם יחוץ את זה.
כן, כן.
מה גם שגם אם היה אפשר וגם אם היה את הדאטה מבחינת...
טכנית, כאילו כמות הרי יקר.
-זה סורסוס שצריך, זה משהו מאוד יקר.
אבל אני יכול לבנות מודל על בסיס מודל קודם.
כן.
זה אתה יכול, וזה עושים הרבה.
-הגינג פייס מלא בכאלה.
-הגינג, פיינטיונג.
-פיינטיונג.
פיינג.
פיינטיונג, לורה-טיונינג, פיינטיונג, כל מיני...
(09:18):
-לעשות ונטיזציה.
ונטיזציה, אפשר לראות כמעט לכל מודל,
גם למודל שלנו,
גרניט ויז'ן,
ששחררנו לפני חודשיים-שלושה,
בפברואר,
אז גם כבר יש כמה ורסיות של אנשים פשוט מהקהילה,
שלקחו,
גם עשו ונטיזציה,
(09:38):
גם עשו לו פיינטיונג למשימות אחרות.
גם אנחנו עשינו את זה אצלנו, לקחנו את המודל שלנו ועשינו פיינטיונג למשימה מאוד מאוד ספציפית שהייתה חשובה לנו,
ויש ורסיה של המודל הזה,
פיינטיונג לטאסק מסוים.
אבל כשמישהו עושה בעצם פיינטיונג למודל קיים,
באיזשהו מקום הוא משתמש בדאטה שאני השתמשתי בו בשביל לאמן את המודל.
(09:58):
בצורה עקיפה.
-הוא משתמש?
כן, כי אם אתה...
זה כבר פילוסופיה, אם הדאטה נמצא,
הוא משתמש במודל שמכיל רפרזנטציות שאיפשהו... -הנגזרות של הדאטה של נגזרות ברבל. -הנגזרות של הדאטה.
אבל הדאטה עצמו אין לו גישה. -אין לו גישה אלא. -לממש... -לא יכול... -לא יכול...
לא יכול להיות... -הוא צריך. -השאלה מה המטרה, כי אם אתה...
אחת הבעיות בפיינטיונג של מודלים זה שהמודל שוכח את הקישורים שהיו לו קודם.
(10:25):
זה נקרא "פורגטינג".
ואחד הדרכים למנוע "פורגטינג" זה לעשות מה שנקרא "ריפליי",
שמחזירים למודל את הדאטה שלו שהוא אומן עליו במקור,
ואומרים "אוקיי,
אני עכשיו נותן לך עוד דאטה,
ועוד ככה איזשהו 10 אחוז,
15-20,
לא יודע,
תלוי כמה וזה,
מהדאטה המקורי",
(10:45):
ואז ככה גם איזשהו מין מיטיגיישן כזה,
אנחנו לא שוכחים את מה שהמודל ידע לעשות ומוסיפים איזושהי יכולת חדשה.
זה נניח הרבה יותר קשה לעשות אם אין לך את הדאטה זה מה שאנחנו יכולים לעשות אבל מישהו אחר בחוץ יותר קשה.
או משהו אחר שאני מניח שגם זה שיש דברים ספציפיים שאתה בכוונה רוצה שהמודל ישכח.
(11:07):
אתה רוצה לקחת את המודל ולהגיד את זה.
תשכח כי אני לא רוצה וגם את זה אתה לא יכול לעשות אם נתן לך את הדאטה,
אם אתה שוכח רנדומלית.
כן, שוכח מה שהוא שוכח אנחנו לא יודעים לשלוט בזה.
כן, כמובן שיש דרכים לעשות גם את הדברים האלה כל מיני self-distilation להוציא מהמודל.
(11:27):
דוגמאות שהוא מייצר ואז להניח שזה איזשהו דאטה שטוב לו ולעשות...
ואז להשתמש בזה כדי לאמד חזרה אפשר לעשות הרבה מאוד הרבה מאוד דברים ויש...
המחקר מלא בכל איני שיטות לעשות אימון וגם forgetting של דברים יש עולם שלם של...
הופך לי כרגע השם של התחום אבל שהמטרה היא לשכוח.
(11:51):
המטרה היא לבוא ולהוריד דאטה.
למשל,
כל העולם של פרייבסיס זה מאוד חשוב אם איכשהו השם הפרטי שלו נכנס לאימון של המודל ואני לא רוצה שידעו.
יש על פי חוק באירופה לפחות מותר לי ש...
לדרוש אף אחד מהמודלים לא יכירו אותי אישית.
אז יש עולם שלם שאיך לגרום למודל לשכוח פרט ספציפית.
(12:13):
באמת זה...
Unlearning זה השם.
ידעתי שזה יכול להגיע לרמות...
Unlearning זה השם של התחום.
זה תחום יחסית חדש מתפתח ויש יכולות אפילו יצא לי לדבר עם חבר'ה מזה סטארטאפ פה בארץ שעושים את זה.
וזה תחום מאוד מעניין ומרתק איך לקחת מודל ולשכוח משהו רק המטרה היא בלי לשכוח דברים אחרים.
(12:38):
כן.
בלי לשכוח משהו אחד בלי...
מה אני חושב אני לא יודע אם ישתמשו בטכנולוגיה הזאת או לא אבל זה הנושא של טיפסיק וטיוואן או זה כל
הדברים האלה בעצם אם הוא למד על באמת נתונים של צ'אט ג'יפיטי שאומר על טיוואן דברים מסוגל,
איפה הוא הצליח...
-למחור...
לשנות את זה.
-לשנות את זה בהתאם לרגולציה הסינית שאסור להגיד.
(12:58):
מה שמותר ומה שאסור להגיד.
כן.
אוקיי, אז הבנו את המרכיבים ודיברנו על...
על בעצם מה זה מודל פתוח.
לא דיברנו על רישיונות.
מה זה...
בעצם איך נראים רישיונות בעולם הזה?
אני יודע שזה עדיין מתהווה, אבל זה ממש מתהווה, זה משתנה כל הזמן.
יש חלק שדבקים ברישיון הסטנדרט...
(13:20):
רישיונות סטנדרטים,
הפאצ'י,
MIT,
למשל IBM,
המודלים,
כל המודלים של IBM הם MIT,
הכי מתירנים,
בגדול אפשר לעשות איתם מה שרוצים,
commercial use,
לעשות להם re-use איך שרוצים.
לא צריך לתת איזשהו קרדיט מסוים או attribution מסוים,
זה המודלים הכי פתוחים שקיימים ואז יש כל מיני וריאציות מעניינות ומיוחדות.
(13:44):
אחד הדברים המשעשעים למשל זה למה,
המודלים של למה, שיש להם license מיוחד,
מותר לעשות איתו המון המון דברים, באמת הוא מאוד מאוד פתוח,
בתנאי שכל מודל שהוא derived מלמה צריך שיהיה בשם למה.
עשיתי פיינטיונינג על למה אני צריך להוסיף למה דש, דש, משהו.
(14:04):
למה רק המודל של מטא, של פייסבוק, המודל של מטא, של פייסבוק,
מודלים מאוד חזקים, באמת מודלים מעולים.
אבל לא, אז נניח לסטודנטים וחבר'ה שעושים מחקר,
לא אכפת להם,
בסדר,
אני אקחה לזה למה,
לא יודע מה,
אבל בטח לחברות שרוצות עכשיו לייצר איזשהו מוצר ורוצות שיהיה את הברנד שלהם,
(14:30):
אז לא כולם הכי מבסוטים מזה שהם חייבים לקרוא למודל למה.
ברור לי למה מטא רוצים את זה.
כן.
זה כאילו מאוד הגיוני גם,
בסופו של דבר הם השקיעו הרבה מאוד כסף ומאמץ לייצר את המודלים.
אבל זה נניח משהו עם למה.
ואחת הבעיות בתחום זה שבאמת זה מתהווה, אין עדיין סטנדרט מאוד מאוד ברור,
(14:51):
וכל יום יש משהו חדש, כאילו מה כן מותר לעשות, מה אסור לעשות,
גם אפילו עם המודלים הסגורים, עם אופן איי איי.
מה מותר, מה אסור, לא תמיד ברור.
עוד נקודה מאוד חשובה בעולם של אופן סורס זה הקהילה.
אופן סורס זה פרויקט שהוא קוד שאני כתבתי ושמתי אותו בגיטהאב ואף אחד לא מסתכל עליו,
(15:15):
לא נחלץ, באמת לא נקרא אופן סורס, אופן סורסורס.
יש קהילה, כולם תורמים, כולם משתמשים.
איפה הקהילתיות?
כן.
מה יכולה קהילה לתרום בעולם המודלים?
זה מעניין אחד הדברים שהקהילה יכולה להתרום זה באמת בעולם הארכיטקטורות וזה קורה מהמחקר.
אנחנו רואים את זה שפרסם מאמר מישהו מוציא איזושהי קומפוננטה מסוימת בכלל כל
(15:39):
העולם של attention self attention הגיעה מאיזשהו מאמר שגוגל פרסמו אחרי זה אופן אה,
הקפוא אותם בסיבוב עם שימוש במודל.
אז זה כאילו כל מה שקשור במחקר אז באמת בקוד אנחנו נתרמים חזרה.
בדאטה זה קצת יותר קשה יותר מורכב לתרום דאטה.
(16:02):
ל-IBM יש איזושהי תשתית שנקראת Instruct Lab.
יצא לנו שעכשיו היא האמת תחת רדת נכון זה עבר פורמלית מלא.
גם החבר'ה שעבדו על זה הקאש והחבר'ה שם ממש עברו לרדת.
ושמה...
אני צוחק כי פשוט הצוות שלי יוצא לא מעט לעבוד איתם בתקופה האחרונה.
(16:24):
אחלה.
אז בעצם כל הרציונל שם זה בדיוק היה איך הקהילה יכולה לתרום דאטה.
בעצם אתה תורם שם העולם שם סביב Instruct Lab בכל סובב סביב Synthetic Data Generation,
בעצם מתחיל עם איזשהו סט קטן מה שנקרא seeds כמה זרעים של דאטה שהייתי רוצה שהמודל יכולת מסוימת שהמודל ירכוש.
(16:50):
מג'נרטים בעזרת כלים אחרים מודלים אחרים כל מיני דברים אחרים,
מייצרים עוד הרבה מאוד דוגמאות מהסגנון הזה ואז מאמנים אז הרציונל של אינסטרנקט לבעיה בוא נפתח בוא נהפוך את עולם הדאטה לאופן סורס וזה מה שהם כיוונו לעשות גם.
הסידס כאילו כל מה שאתה מכניס לתן זה עוד סידס שאתה נותן.
(17:11):
כל דבר אתה מכניס עוד סידס.
כן ואז יש עם זה גם בעיות כי אז אוקיי אז ייצר לקחו את הסידס ייצרו מזה ועכשיו מה עושים צריך לאמן את כל המודל מחדש.
לאמן מודל זה עניין של כמו שאמרנו הרבה מאוד כסף הרבה מאוד זמן איך עושים את זה בצורה שהיא סקלבילית.
אני לא יודע איפה זה יושב היום אבל פעם אחרונה שאני הייתי איתם בקשר הם דיברו על כל שבוע לאמן אפס את כל המודל מחדש.
(17:35):
כן אבל זה מודלים קטנים אנחנו נדבר פה עכשיו על מודלים של 70. לא לא זה מודלים גדולים.
אולי אז הם אולי היום הם יתמקדו במודלים קטנים כי זה אפשרי.
כן זה זאת אומרת הכיוון כרגע הוא באמת לסקילים שהם יחסית קטנים.
לא ולא עכשיו לקחת את כל המודל של ה-70B וכאלה למרות שזה אפשרי גם שם.
(17:55):
אבל זה תכלית אפשרי אבל...
תכלית אפשרי.
רק אתה צריך מנהל בנק ידידותי בשביל...
וחברת חשמל פרטית,
מיקור גרעיני פרטי כדי להחזיק את כל הדבר הזה.
אז באמת בעולמות הדאטה הרבה יותר קשה לתרום.
מה שהיום עושים זה בגדול פשוט משחררים את הדאטה לopen.
(18:17):
למשל, הגינג פייס שחררו מלא דאטה סטים ו...
איש משחרר את הדאטה אחרי זה כל אחד יכול לקחת אותו לאימון,
אבל זה לא בדיוק אותה שליטה כמו בקוד פתוח.
אז זה מוביל אותי לשאלה הבאה (18:29):
איפה הכסף?
אנחנו רואים את כל החברות הגדולות מוציאות,
הרווח פה הוא לא כל כך...
זאת אומרת הוא לא עלה על השולחן.
אם לקחתי מודל של למה,
כמו שאתה אומר,
גם אני שם את השם שלי על זה אני לא משלם לאף אחד רויאלטיז,
אז למה שחברה גדולה ושהשקיע המון כסף,
אנחנו מדברים פה על זה לא גרושים,
זה מיליונים ובערביות אולי מיליארדים אפילו של...
(18:52):
מיליונים זה אפילו לא...
רק תיקח את המשכורות של המפתח...
של החוקרים זה במיליונים, כן?
אז למה להוציא את זה החוצה בחינם?
איפה הכסף?
שומי דמני.
שאלה טובה, אז קודם כול אני חושב שזה...
בעבר אולי היה איזשהו רצון וניסיון שהמודלים יהיו...
יהיו בתשלום,
ומעט מאוד חברות הצליחו ממש לעשות את זה בערך אופן איי ו...
(19:17):
רק קלוד וצ'אט ג'יפיטי הם היחידים שהם בתשלום.
כן,
אני שילמתי לקלוד כאן חמישה דולר שייתן לAPI.
היום זה לא...
אה, לAPI, כן.
לAPI, כן, כן.
כדי שאני אוכל לשחק עם MCP.
אם תנסה...
היום אני לא זוכר כמה זה צ'אט ג'יפיטי פרו הכי זה זה 400 דולר,
(19:38):
כי זה מחרים פסיכיים. אז הם באמת עדיין מחזיקים את הכיוון הזה,
אבל השאר הבינו שאלף...
מודל עצמו נהיה כבר קומודיטיב. ברגע שמישהו שחרר מודל,
טוב, כמו למה? מישהו שחרר מודל אחד חזק? ויש כמה,
זה לא רק מישהו אחד,
אבל יש את את את המודלים...
(19:59):
את הקו של למה, יש את הקו של...
קוואן. קוואן. כל הסינים, למיניהם, יש הרבה.
ליפסיק כמובן, IBM שחררה, מיסטרל שחררו,
יש הרבה ששחררו מודלים מאוד מאוד חזקים, מאוד מאוד טובים.
אז כבר למה שאני אשלם למישהו אם יש לי את ה... אז הכיוון עכשיו הפך להיות,
אחד לשחרר כדי להיות שחקן על המגרש,
(20:22):
ושתיים, לפחות IBM מתמקדים בתשתית. מתמקדים ב...
יש תשתית שלמה שנקראת וואטסוניקס דוט איי איי,
ושם זו תשתית שמאפשרת ללקוחות להריץ הרבה מודלים,
לאו דווקא רק את מודלי גרנאית. יש איזשהו יתרון,
כמובן,
להריץ מודלי גרנאית על התשתית של IBM,
יותר אופטימלי,
יש תמיכה יותר טובה.
(20:44):
יש עוד הרבה יתרונות להריץ מודלי גרנאית, אני אדבר עליהם,
אבל מבחינת הכסף, הכסף הוא בתשתית. אתה משלם, או הלקוח משלם,
מה תשתית שמריצה בין אם און פרם או בקלאוד על איך לעטוף את כל
הדבר הזה בצורה שזה באמת יעבוד כי אוקיי המודל שפה הוא אחלה,
(21:06):
הוא חזק,
הוא טוב אבל הוא לא דווקא יעשה את המשימה שאתה רוצה שהוא יעשה אם רק תיתן,
קח את המשקולות עכשיו תריץ. זה לא כזה פשוט,
זה לא מאוד מורכב, זה לא כזה פשוט. לא, אנחנו יודעים, יש agent. בסוף אנחנו צריכים לעשות משהו,
כן, להגיע ל-agentic,
תשתית שלמה שצריך לעשות ולחבר ו-MCP servers וזה. וישהו דבר שאתה רק מדבר איתו למשהו שאתה ממש רוצה שיחיה. אבל אם אני חיידר רגע את מה שאתה אומר,
(21:34):
יש עולה, זאת אומרת אנחנו כמשתמשים, כן? אנחנו בעצם מדברים תמיד על המודלים האלה
שנמצאים על הענן ושמישהו כבר מארח ועושה את זה עבורי,
אבל בסוף יש סגמנט שלם של אנטרפרייז שלא יכול לעשות את הדבר הזה וצריך להריץ את זה אצלו לוקאלי. לא רוצה, לא יכול,
כן? כאילו זה... או הייבריד,
דרך אגב,
אנחנו אירחנו פה בפודקאסט של כללי של רובת חוני מכבי,
(21:58):
רובת חוני מכבי,
רובת חוני מכבי,
שהכל היה לו קל אצלם חוץ מהקריאות ל-HGPT,
שאתה הקריאות ל-HGPT הם עשו לענן. לא,
האימון אני חושב היה שם... לא,
הם עשו את הקריאות ל-HGPT כי אין להם,
אין להם מספיק GPU,
אז הם עשו,
הכל רץ,
גם המודלים ההיברידים האלה קיימים בסוף אתה צריך סביבה אתה צריך להריץ אתה צריך פה ואז,
(22:20):
גם את המודלים וגם את מה שמסביב מסביב יש גם מסביב הרבה דברים כדי שיהיה אפליקציה שעובדת טוב.
זאת אומרת שגם אם צ'אט-GPT הוא הכי חזק שיש בעולם אם אני עכשיו ארגון שלא יכול
להשתמש בדברים האלה אני לך כנראה זה לא עוזר לי אני צריך לך איזשהו מודל שאני יכול להריץ אצלי.
כן אתה צריך שאתה יכול להריץ אצלך שאתה יכול לסמוך.
עכשיו למה אתה רוצה להריץ אצלך כן כי אני מכבי לצורך העניין יש לי מלא מלא דאטה פרטי של אה...
(22:49):
אישי.
רפואי עם תעודות זהות עם מספרי טלפון עם כל העבר הרפואי של אנשים.
אסור שהדבר הזה יזלוג לצ'אט-GPT גם אם אופן איי מבטיחים לנו בחוזה שהם לא משתמשים בדאטה.
נכון כי אוקיי סבבה כל הכבוד שהם מבטיחים אני גם מאמין בהם.
באמת אני באמת מאמין שהם לא משתמשים בדאטה אם עשיתי את הצ'ק שלא להשתמש.
(23:14):
אבל האם אני בתור אזרח סומך על זה שכל הדאטה של כל המדינה ילך לזה?
לא יודע.
האם הצ'ק שלהם עומד ברגולציות שאני חייב לעמוד בהם כשהם נתנו לי צ'קבוקס?
זה לא אומר שהם עומדים בארצות הברית ברגולציה האירופית שמכריחה אותי שאסור לעשות את זה.
אז אני לא יכול להשתמש להם עם רגולטורים.
ואיפה הבקרה על זה?
איפה מי יודע מה זה?
(23:35):
כמובן שאנחנו בדברים האלה אנחנו צריכים להיות זהירים ולשמור את הדברים ב...
שלא לדבר דרך אגב על הצבא,
למשל,
שגם הצבא יש מודלים מאוד חזקים היום.
לא יודע אם יצח כתבה לא מזמן על הסטודיו של 8200,
גם מאוד מעניין חבר'ה,
ישראלים פיתחו שם מודלים מאוד חזקים.
(23:56):
וגם שם אנחנו לא רוצים שהדאטה יצא.
אנחנו לא רוצים שאף אחד אחר תהיה את היכולת הזאת.
וצריכים לדאוג שזה...
-זה כמעט air gap. -כן, כן, חייב להיות.
אחרת זה מאוד מסוכן, גם מבחינת פרייבסי וגם מבחינת הביטחון שלנו.
אז זה...
(24:16):
זאת אומרת, הכסף נמצא מסו...
אני אשאלת ששאלה של ההדיעות בעניין,
מתי הפרסומות ייכנסו לי לתוך כל שיחה עם gpt?
וואלה?
אתה באמת חושב שזה מה שיקרה?
אני...
אני מפחד שזה יקרה,
והסיבה שאני מפחד שזה יקרה,
(24:37):
זה גם...
אני חושב שראיתי את זה...
-ראיית את זה...
-ראיית את זה?
לא, לא, את זה בלאט נירו, אבל...
-זה בדיוק זה.
-ראיתי, דיברתי עם...
זה היה בבלוג של רועי.
היכולת של...
-רועי צנזר שהיא תארח פה.
-רועי צנזר, שיא תארח פה.
-רועי צנזנה, שיא תארח ו...
והיה זה.
כן, שהיכולת של AI שמכיר אותך להשפיע על הדעות שלך,
(25:03):
היא הרבה יותר חזקה מיכולת של אנשים לעשות את זה.
הוא דיבר בקונטקסט של בחירות,
שמי שיש יותר משאבים, יוכל לגרום לאנשים לשנות את דעתם,
לא דרך פרסומים ג'נריים ברשתות החברתיות, אלא דרך...
דברים שמתורגטים אישית,
שיודע לגעת בנקודות הכואבות שלך,
(25:23):
זאת אומרת, גם פרסומות, אתה יכול...
-מבצעי השפעה שמתבצעים דרך זה שאתה שולט במודל הכי חזק בעולם.
והוא מכיר אותך באופן אישי והוא בונה את המבצע ההשפעה אליך מדויק ואז...
-אתה יודע, ביום-יום.
הפרסומות הם הרבה הרבה הרבה יכולים להיות יותר חזקות ויותר מדויקות ולפגוע.
-זה גם זה וזה גם מעבר זה כי כשאתה...
(25:45):
בצ'אט עם המודלים האלה,
אנחנו כיום מרגישים כאילו אנחנו מדברים עם בן אדם.
ויש אנשים שנכנסים עם הבן אדם הזה לדיון ולוויכוח, אממה, אתה לא תשכנע אותו בחיים,
זה לא ישנה כמה אתה תעבוד קשה וכמה אתה בן אדם קישרוני,
אתה לא תשכנע אותו,
אבל אין סיכוי שהוא ישכנע אותך,
וזה בדיוק עובד על זה,
זה בדיוק עובד על היכולת של...
-אני זוכר שראיתי מודל שיחה מדהים מדהים מדהים.
(26:08):
קודם כול, בכלל, לא מדברים הרבה על מודלי שיחה,
אבל היכולת האינטראקציה עם מודלי שיחה היא פשוט יעולה פלאים.
מודל שיחה שפיתחה לדעתי זה היה איזשהו הדגמה של גוגל, סוכן מכירות,
מדבר עם בן אדם,
עכשיו הבן אדם אתה יודע כמו ישראלי,
הוא לא ישראלי אבל כמו ישראלי,
מתקשרים אליו מאיזה חברת משחקים, אני לא מעוניין, כאילו ישר זה.
(26:30):
אז המודל ישר נותן לו איזושהי תגובה אבל תקשיב אדוני יש לך פה הנחה שאתה יכול לנצל אותה,
אני לא חושב שאתה יכול...
מפה לשם אני לא אמשיך את כל הזה אבל זה שיחה של איזה 5 דקות הבן אדם חותם מנוי.
אז אני אגיד לך, ממצב שהוא אמר הוא רצה לנתק את השיחה בחמש שניות הראשונות,
הוא בסוף חתם על מנוי.
(26:51):
יש לי כלי שעובד נגד זה כשמתקשרים אליי עם דברים כאלה,
אני אומר סליחה אני לא מעוניין ומנתק מיד.
ההורים לא בבית.
לא מקשיב למשפט הבא, מנתק.
אבל זה היה שיחה, זה בדיוק ככה התחיל.
לא אבל הוא לא הספיק לנתק עד שהוא אמר לא בכל זאת.
כן.
אני מנתק לפני.
סליחה לא מעוניינת.
מה אתה עונה?
האמת היא שזו שאלה טובה, זה פרק על זה, יש מצב שאתה מצפה לשיחות מטלפון לא מזוהה,
(27:18):
ואתה מקבל שיחה ואתה חושד אבל יש לך גם חשב אולי זה מה שאתה מצפה מבינם.
כן אז שאלתך אני חושב שזה יגיע,
זה יגיע לבטח במודלים האלה שבתשלום.
האם זה ייכנס למודלים הopen?
אני חושב שפחות.
כי יש פחות אינטרס לעשות את זה שם אבל אולי מייקרוסופט יש לה עשרה מיליארד דולר שהיא שמה בopen AII ועוד אני לא יודע כמה כסף שהיא שמה באימון ובג'יפי.
(27:46):
ובזה.
בסוף זה צריך לחזור הם לא שמו את זה כדי שיהיה להם את התג אנחנו מובילים בAI וזהו זה יותר מדי כסף בשביל רק זה.
כן יכול להיות שזה יחזור דרך פרסומות אני אני מאוד מאמין שבמודלים הסגורים זה יקרה.
האם זה יקרה בוורסיה בתשלום או בוורסיה בחינם כמו שאנחנו רואים את זה
ביוטיוב שהתחילו לקפוץ לנו פרסומות אבל באמת פה הפרסומות הם יהיו הרבה יותר סלל הרבה יותר מתורגתות שזה מפחיד שזה ברמה משם זה מפחיד כי אציע לך לקנות עכשיו אתה שואל אותו זה דרך אגב הדבר הזה יכול להיות פתרון מצוין למה שמה ששאלת והמוצר הספציפי הזה הוא גם מוצר מאוד מאוד מדהים וטוב.
(28:26):
וכי אנחנו נוטים להקשיב לכל מי ש... לכל מודל AI היום שאומר לנו דברים.
אבל יש לי פתרון בשבילך.
מודל פתוח.
אם יש לך מודל פתוח והדאטה הוא גם פתוח אז אי אפשר לעשות את המניפולציות האלה בצורה יותר קשה לפחות.
יותר קשה יותר קשה כי זה יותר יש ויזביליות לזה ואנשים יכולים לבוא ו...
(28:47):
אבל גם כאן יש גם איזה דרכים לעקוב כי בעצם יש עולם שלם של שנקרא
טול יוסדג' טול קולינג מתקשר לאיג'נטיק מתקשר לזה שבעצם המודלים יודעים לבצע פעולה או יותר נכון לקרוא לגורם אחר שיהיה בצע פעולה.
נכון.
הם מודלי mcp למיניהם שאנחנו הולכים לעשות פרק שלם עליהם?
זה...
(29:07):
עוד פרה mcp אבל mcp זה כן זה הכל מתחבר שם אבל כל העולם הזה של טול קולינג זה בעצם המודל עכשיו.
הוא לא עושה את ה...
שום דבר הוא קורא לאיזשהו אלמנט חיצרני שיוצא,
חוזר חזרה למודל וזה.
אז אם אתה מישהו מייצר טול כזה כלי של פרסומות,
אז יכול להיות שזה לא יגנס לך לדאטה של ההמנון של המודל אבל דרך היכולת שהמודל לקרוא למודלים אחרים זה,
(29:33):
יכניסו קומפוננטה ש...
אז כמה זה באמת...
-גם זה...
-כמה זה מתבטא בתוך המודל?
זאת אומרת,
היכולת לקרוא לטולים כמה זה מתבטא בתוך המודל?
-זה קריטי אם זה לא אומן לזה הוא לא ידע לעשות את זה.
ממש צריך להיות...
-זאת אומרת שאתה מאמן היום מודל אתה צריך חלק ממנו להגיד...
-אז אם הדאטה צריך להיות כזה של קריאה לטול ומה הייתי מצפה אם הייתי צריך לקרוא לטול אז איך אני...
(29:54):
כאילו איך המודל מוציא את האוטפוט שיודע לקרוא לטול אז איך הוא מפענח את האוטפוט של הטול חזרה כאינפוט שלו.
-אבל זה היום נפח להיות סטנדרט.
-אז זה כל העולם של mcp זה בעצם סטנדרטיזציה של זה ו...
-וכל המודלים יאלצו לתמוך בזה כי מי שלא תומך בזה ייעלם.
-ייעלם.
-כן.
-נכון.
וזה משהו שאפשר לעשות גם בקורד זאת אומרת אם יש לי עכשיו מודל בחוץ גדול גרסה מסוימת האם אני יכול לקחת אותו ולהכניס לו את היכולה...
(30:21):
-אפשר לעשות את זה זה כל העולמות של פיינטיונינג ובעצם כל מיני כיוונים של פוסט טריינינג ויש דרכים לשפר את ה...
או להתאים את האוטפוטים של המודל שיה יותר דומה למה שהייתי רוצה.
ספציפית על mcp אני לא יודע אם מישהו עשה כבר פיינטיונינג,
(30:43):
או איזשהו פוסט טריינינג למודל בשביל שיתמוך ב-mcp אבל לא מאמין שזה...
אז בוא...
בוא נחזור רגע לאופן סורס אז הבנו שלתרום למודל קצת קשה לנו אם אנחנו לא באקדמיה וכותבים מאמרים ו...
מה יש לנו אה... איזה אפשרות יש לתרום לעולם AI בכלל באופן
(31:04):
כדי ב-open source במה שאנחנו מכירים יותר טוב אני ואילן בתוכנה.
מה איזה כלים יש היום שנאמר הם סגורים ואפשר לפתוח אותם,
כלים חדשים שצריך,
אין סיפירים...
אני חושב שזה דוגמה זה לא קלישאה קיים אבל...
כן.
איש הגיע והוא פתוח אבל...
אנחנו כחברת אופן סורס מה...
(31:25):
על מה אנחנו צריכים להסתכל?
אז באמת אני חושב שהרבה זה בעולם התשתית שאפשר לפתוח ולהוציא החוצה,
לתמוך בהרבה מודלים שונים,
בטח ובטח ככל שהעולם הזה הולך יותר לסטנדרטיזציה עם הגינג פייס שיוצרים
הרבה מאוד סטנדרטים ו-MCP עכשיו והרבה מאוד דברים ש...
ויש לא מעט תשתיות שחלקן כבר פתוחות.
(31:45):
לנגצ'יין למשל, דברים מאוד בשימוש.
כל התשתית של להריץ, איך להריץ את המודלים,
איך לקרוא להם,
איך לקרום להם לתקשר בינם לבין עצמם,
בינינו לבינם,
זה משהו שמאוד אפשר לתרום.
ואם המודלים עצמם יהיו איזשהו פלאג אנד פליי,
מחליפים עכשיו את ה...
לא טוב לי...
(32:05):
למה מתאים לי גרנייט, לא טוב לי גרנייט,
מתאים לי מיסטרל,
ואני יכול רק להחליף את הדברים או שהם ידברו אחד עם השני ובחלק
הזה שזה יהיה זה בחלק השני שיהיה משהו אחר.
זה מקום מאוד טוב.
את הדאטה זה...
שזה רגע שווה להזכיר, שלמה סטאק שגם יצא כאיזשהו פרמוק
שמאפשר לעשות את כל החיבורים האלה.
(32:26):
ואת VLLM,
הפלג כזה שהם עושה אבסטרקציה למודל קצה.
כן, זה כבר באינפרנס.
שאתה יכול להריץ הרבה מודלים עם אותו אינפרנס.
-זה, כן, זה גם מאוד חשוב, אני חושב,
האינפרנס,
לעשות את זה יעיל,
לעשות את זה מהר יותר.
זה סופר משמעותי.
-אני קראתי איפשהו שבעצם המלחמה זה אנליסט לדעתי פיננסי,
(32:48):
לא טכנולוגי,
שהוא אומר שהמלחמה הגדולה של חברות התוכנה שלא מייצרות פונדיישן,
כי הרי כמה חברות יכולות לייצר פונדיישן,
יש לך אולי 7-7 הגדולות, במקרה הטוב,
בעולם התוכנה?
-לא, זה יותר טוב, תוציאוף את הסימים.
-אה, לא, אבל כאילו, לא, אז יש לך איזה 7...
אתה יודע מה, זה גם יצטמצם כנראה בסוף אפילו פחות מזה.
-כן.
המלחמה תהיה על האינפרנס.
(33:10):
זאת אומרת, איך אני יכול עכשיו לתת אינפרנס שהוא הרבה הרבה יותר יעיל,
הרבה יותר מהיר,
הרבה יותר מדויק,
כי שם זה בעצם עולם שהוא פתוח לכולם,
וגם חברה שעכשיו, אתה יודע, אין לה מיליארדים.
גם שם זה הכסף הגדול, גם אם תסתכל על אימון שהוא מאוד מאוד יקר,
ובאמת עולה המון המון כסף, בסופו של דבר אימנת את המודל,
(33:31):
אימנת את המודל.
-נכון.
אבל כמות האנשים שעכשיו משתמשים בו,
זה גם עולה כסף.
כאילו גם זה, זה, לעשות אינפרנס רק על CPU זה לא לוקח זמן,
אז רוצים גם GPU בשביל אינפרנס,
ורוצים הרבה קריאות כי יש לך עכשיו,
אתה רוצה לעבור על כל האינטרנט, אתה רוצה לעבור על כל ה...
כל האזרחים... -ג'נטיק, האג'נטים קוראים אחד לשני. -ג'נטים קוראים אחד לשני,
(33:53):
ועכשיו כל העולם הזה של בכלל טסט טיים סקיילינג,
כאילו כל הזה שהמודלים מתחילים לקשקש מפה הדודעה החדשה,
עד שהם מוצאים את התשובה.
התוצאות הן מדהימות בסוף, כן?
התוצאות בסוף הן מדויק, סופר מדהימות,
אבל הכסף שזה עולה ממש לייצר את זה על כל דוגמה,
זה הונטרפות.
אז שם הכסף הגדול, שם רוב ה...
(34:16):
אם אני לא טועה, כל החוות שמטא בונים ושטסלה בונים,
זה חוות שרתאים ברמה שאשכרה בונים מפעל כוח ליד, כן?
ברור,
פאור פלנט, כדי שנחזיק את החשמל של זה.
אז זה...
הרוב זה לאינפרנס, זה לא לאימון.
אימון צריך הרבה, אבל...
(34:38):
אבל זה עוד פעם...
-אתה יודע להגיד את היחס בין ה...
אני לא יודע אצלם, אני יכול להגיד שאצלנו המספר ה-GPUs לאימון זה באלפים.
באלפים הבודדים, לא מיליון.
אבל אינפרנס אתה צריך...
לפי כמות המשתמשים, זה כבר סקייל.
ככל שיש לך יותר משתמשים, אתה...
אוקיי.
(34:58):
לפי כמות המשתמשים,
לפי גודל המודל,
לפי אם המודל עושה טסט טיים סקיילינג,
כאילו זה...
לעשות אינפרנס למודל כמו דיפסיק.
חישוב שעושים לעלות זה לפי טוקנים,
בעיקר באוטפוט, גם באינפוט אבל בעיקר באוט.
גם זה המודל העסקי של OpenAI, נכון?
תמיד יש שני מחירים.
כמה אתה משלם פר טוקן באינפוט וכמה אתה משלם פר טוקן באוטוט,
(35:20):
בכל זאת זה יותר יקר.
לא סתם זה יותר יקר, זה באמת יותר יקר.
ומודלים כמו מודלים של דיפסיק,
שמוצאים מלא מלא מלא טוקנים,
כאילו אלפי טוקנים באוטפוט זה פשוט מאוד יקר,
זה עולה ארמון כסף.
מה לגבי פאונדיישנס?
יש פאונדיישנס משמעותיים שבעצם מרכזים את העולם הזה כמו שיש לנו אפאצ'י וכאלה?
(35:40):
או שזה לא משהו שמתווה?
אני שמעתי על אופאה אבל אני לא חושב שזה יושב על איזשהו...
אני לא מכיר משהו שמתווה בכיוון הזה אולי זה יגיע אבל...
כנראה.
כן.
אז אני חושב שאנחנו סיימנו לא סיימנו את כל מה שרצינו לדבר עליו,
אבל סיימנו את הזמן לעומת זאת.
אני רוצה עוד שאלה אחת בכל זאת שלא דיברנו עליה קודם וקשורה גם לעצמך,
(36:04):
עם רועי.
איך אתה רואה את הקצב התקדמות של הדברים?
וואו, מטורף.
לא, ממש כל שבוע, שבועיים יש משהו חדש שאנחנו צריכים...
דיברנו על זה קודם במסדרו, נכון?
שאנחנו חייבים להיות אגילים כי מה שאנחנו עושים היום,
מה שאנחנו יודעים היום,
(36:24):
יהיה לו רלוונטי.
גם מבחינת העבודה שלנו,
איך שאנחנו מפתחים דברים,
איך שאני כותב קוד היום זה לא כמו שכתבתי קוד לפני חצי שנה.
אה... ואיך שאני אכתוב קוד עוד חצי שנה,
אם בכלל זה לא כמו שאני כותב היום.
דברים משתנים בקצב אסטרונומיים חייבים להיות אגילים,
חייבים לזוז עם הזמן.
אתה מהכיוון שלך, מהכיוון של מי שמפתח מודלים,
(36:47):
כאילו,
איך אתם מודדים?
כאילו, לא יודע, כל כמה זמן יוצא גרנאייט בערך הקיידנס שלו?
כמה חודש, שלושה חודשים, פעם בריבוען כזה.
פעם בריבוען.
וכמה כל מודל יותר חזק מהקודם?
הרבה. טוב, לא יודע, זה... אני לא יודע אם זה טוב או רע, אם זה מפחיד או...
אה... גם באיזשהו שלב, אתה יודע, המדידות האלה הן הינה לא רלוונטיות,
(37:07):
כי כשאתה מגיע לרמות של זה אז כבר אוקיי,
סבבה,
אז כבר סגרתי את כל הבנשמרקים האקדמיים,
אבל זה לא מה שמעניין כבר.
עכשיו מסתכלים על הדברים היותר דיטייל,
וגם תופרים את זה לבעיות הספציפיות.
הגרנאייט, למשל, מאוד אוריינטד לאנטרפרייז,
אז זה לאו דווקא מה של למה יהיו טובים.
זה גם יש מקום ל... יש מספיק מקום בעולם לכמה שחקנים. לא,
(37:29):
זה ברור לי שיש מקום לכמה שחקנים, אני שואל כמה מקום יש לאנשים.
איפה אנחנו משתלבים בתוך הדבר הזה כשבעצם נגיע למצב שכמו שאמרת,
אנחנו חיים אילן ואני על כתיבת קוד,
כשאם נכתוב קוד.
נכתוב אותו בצורה אחרת.
פרומפטים ג'נירינג יורד, אבל כן פרומפטים דיבאגינג,
(37:52):
זה הבנה של ארכיטקטורות שלא אתה יצרת וזה...
אבל עם עובדות.
אני, אבל כל פעם שאנחנו מדברים על זה, אני אומר לך את זה דווקא אחרת.
אני דווקא לא חושב שזה ילך לכיוון הזה,
וגם דיברנו על זה בהספרק של השאלות ותשובות,
אלא להפך,
זה ילך למי שידע לשאול את השאלות הנכונות,
(38:13):
ולא ידע את התשובה.
זאת אומרת, אם אני עכשיו חזק בשאלה,
חזק בהבנת השוק,
חזק בהבנת הצורך,
זה יהיה הרבה יותר משמעותי מהחלק של כתיבת הקוד.
מן הסתם יהיה איזשהו, כמו שאתם אומרים,
לא יודע אם זה יהיה פרומפט או שזה יהיה קריאה של איזשהו משהו שהוא מזכיר קוד,
(38:34):
זה איזה מין פסוד או כזה.
אבל השאלה תהיה הרבה יותר חזקה, מי שידע לשאול שאלות,
מי שידע לשנות את מה שצריך בתוך השאלה,
בתוך הבנת הבעיה,
זה יהיה הרבה הרבה הרבה יותר משמעותי.
אבל בסדר, זה אתה יודע, שלחת אותי להיות פרודקט מנג'ר, זה מה שאתה אומר.
כן, בהחלט.
זאת אומרת,
זה כנראה ילך לכיוון של בין פרודקט מנג'ר מרקטינג ואינג'ינירינג בבן אדם אחד,
(38:57):
איך שזה כרגע נראה.
ולפי מה שאנחנו מדברים, אתה יודע, עם האורחים השונים שלנו,
זה נראה שזה...
תצטרך להתאחד עם שון באיזושהי צורה.
בסדר, אז אסף, קודם כל, תודה רבה שבאת.
תודה לכם, ועל המידע הייחודי שסיפקת לנו הייתה לנו שיחה מאוד נעימה,
(39:19):
גם לפני זה וגם עכשיו, אז ממש ממש תודה רבה על זה.
ובאמת זווית יודע שלא תמיד רואים אותה,
זאת אומרת,
תמיד כשאתם מדברים על המודל,
הם מדברים על מה הם עושים,
מה הם לא עושים,
הצד של האופן סורס וכל הדברים האלה,
אז באמת זה מה שרצינו לא מדברים עליו עליו,
אין פרקים כאלה, בטח לא בעברית.
וגם הצד, כן, של הפיתוח מודל, מה יש, מה יש, איך נראה המודל, איך נראה דברית.
לי, כמה שאני טכני,
(39:40):
המודל זה קופסה שחורה שמייצר תוקנים והתוצאות,
אני הרבה פעמים נשאר עם פה פתוח מלראות את התוצאות של הדבר הזה.
אז קצת להבין שיש גם אנשים שבעצם עובדים קשה כדי שהקופסה הזאת תעבוד.
אוקיי, אז תודה רבה.
-תודה, תודה.
פרטים נוספים ולינקים לעבודות של אסף.
(40:03):
אנחנו צריכים לתארך בתיאור של הפרק צוות.
צוות, כמובן.
-צוות גדול מאוד ומוכשר גם בארץ, גם בחו"ל.
כן, נשלח את כל הלינקים למודלים הפתוחים,
למאמרים,
לבלוגים,
לכל...
-אנחנו נשים את זה בתיאור הפרק.
מי שרוצה להרחיב להרחבות נוספות, מה שנקרא,
וניפגש בפרק הבא.
-תודה רבה.
-תודה רבה.
ביי.
ברוכים הבאים לפודקאסט הטכנולוגיה מדברים פתוח.
אני ג'וש סלומון.
ואני אילן פינטו.
יחד אנחנו מדברים על כל מה שחדש בעולם הפיתוח,
הבינה מלאכותית והקלאוד מקשור ישירות,
או על הדרך של פוד פתוח.
וככה זה אחרי שעובדים שנים באופן סורס חייבים להעביר את זה הלאה.
בין לבין נזכיר גם עוד כמה באז וורדס כדי שנוכל לסגור פינה ולדסקס על כל מה שחשוב באמת.
(00:24):
שימו זניות, תדבירו את הווליום ותעשו מקום למקצועניות והמקצוענים שבאו לדבר איתנו פתוח ולעניין.
מדברים פתוח, מתחילים.
בוקר טוב, אילן.
בוקר טוב, ג'וש.
מה נשמע?
האמת, הדברים זזים מהר, אנחנו...
דיברנו על זה, כן.
(00:44):
דיברנו על זה, מי ששמע את הפרקים הקודמים.
יכול להיות שעד שהפרק הזה יישודר, הוא כבר יהיה פחות רלוונטי.
אתה יודע מה אמרו לי?
השאלתי לי לדבר איתך, אז הציעו לי להחליף אותך ב-AI.
גם לי הציעו להחליף אותך ב-AI.
זה לפרק הבא.
הפרק הבא.
אני מחליף את שלום?
(01:05):
אי אפשר להחליף אותו.
זה אי אפשר.
שלום זה...
שלום הוא הטכנאי שלנו שעושה עבודה מדהימה.
אז...
טוב, אז מה אנחנו מדברים היום?
לפני שמחליפים אותנו ב-AI, הבאנו מישהו...
עורח שאי אפשר להחליף ב-AI, כי הוא בעצם זה שבונה את ה-AI.
כן, אירוע...
כן, מישהו מקבוצה...
(01:26):
קבוצת אילית, של...
-אילית.
-בנדירה, של בוני מודלים.
הוא הציג את עצמו, אז אסף.
אהלן.
אהלן.
כן, אז אני אסף, קבוצה נדירה,
אילית,
לא יודע אם הייתי אומר את זה,
אבל עובדים באמת,
אני עובד ב-IBM Research,
עובדים על פיתוח של המודלים.
יש את קו המודלים ה-LLMים של IBM, שנקרא גרנאייט.
(01:51):
אנחנו בחיפה, בשיתוף עם המעבדה ב-MIT,
בונים את המודל ל-Vision Language של IBM.
אז קבוצה שלי מתמחה ב-Vision וגם ב-Speech ו-Oודיו,
ובעצם משחררים את המודלים.
זה Foundation Models, בעצם.
-כן?
-רק, רק טיפה להסביר.
Vision Models זה לא מה שהיום מאוד מאוד פופולרי,
(02:11):
לא יודע מי הם,
כשישדרו קודי יהיה פופולרי של לייצר תמונה מפרומט,
אלא להבין תמונה,
לנתח תמונה ולהכניס את מה שמתואר בתמונה בתור הידע של המודל.
-כן, בגדול זה בעצם שימוש במודלי שפה והרחבה של מודלי שפה,
שהכלת לא יהיה רק טקסט, אלא גם כלת ויזואלי.
(02:35):
כבר אנחנו רואים את זה במודלים,
המודלים הסגורים,
ChatGPT,
ג'מיני,
כבר יש להם את היכולות האלה וגם ל-IBM,
במודל שלנו.
אוקיי, אנחנו רצינו לאמן אותך כדי לדבר על...
כמובן על גרנייט ועל המודלים האלה, אבל יותר עניין אותנו לדעת איך כל
נושא המודלים וכל עולם ה-AI, איך הוא מתחבר לקוד הפתוח?
(02:57):
והסיבה שהבאנו אותך היא שגרנייט הוא מודל קוד פתוח.
-הוא מודל פתוח?
-מודל פתוח, סליחה.
-אנחנו צריכים לדייק בטרמינולוגיה כי יש פה באמת הרבה נואנסים,
וההגדרה של קוד פתוח ב-AI היא מורכבת כי יש כל מיני סוגים של פתוח,
של רמת פתיחות.
באמת ה-IBM היא יחסית פתוחה,
(03:20):
לא הכי הכי פתוחה מבחינת מה ש...
מבחינת הכול, שנמנה את ה...
-כן, בואו, בואו...
-ניכנס לזה...
-כאילו בעצם אולי אפילו אם ניכנס רגע לפרטים,
לפרטים,
כשיש לי קוד פתוח,
כן,
או כשאנחנו מדברים על קוד פתוח,
קהילת קוד פתוח, יש לי קוד שהוא פתוח.
זאת אומרת, יש לי...
-לא, גם הוא ברמות.
יש לי קוד שמותר לי לקחת אותו כמו שהוא,
(03:43):
יש לי קוד שמותר לי לקחת ולשנות אותו,
יש לי...
-זה גם license, נכון?
יש גם עניין של license, זה בכלל גם סיפור מורכב נוסף.
-נכון, אבל בסוף,
בשורה התחתונה,
יש לי את הרכיב הזה שנקרא קוד שהוא נמצא זמין.
עכשיו, כשאנחנו מדברים על מודלים,
זה לא בדיוק ככה,
כי יש לנו הרבה רכיבים שמרכיבים את המודל עצמו.
אז גם כאן, כן, המודל נמצא זמין, אבל מה זה אומר ומה זה... איך זה עוזר לך,
(04:05):
כשהקוד פתוח של... לא יודע מה, איזושהי ספרייה ירדת לצורך העניין,
משהו קוד פתוח,
אז כל אחד יכול גם לקרוא את הקוד וגם לשחזר ולעשות את הדברים.
-לינוקסקר.
-לינוקסקר, לצורך העניין.
כן, כל אחד יכול לשפר, להוסיף, לתקן.
ובמודלים, גם כאן יש איזושהי יכולת, אבל לא
(04:26):
בהכל ולא לגמרי הכל תמיד ברור וזה איזה רמות יש לנו איך זה מתחלב.
אז בואו לפני כן,
לפני הרמות,
נדבר על מה בעצם מרכיב מודל,
איך בכלל בונים מודל ומה הרכיבים שלו.
אז יש את הקוד בעצם שמאמנים איתו את הקוד של המודל עצמו לפני שמאמנים את הקוד של המודל,
את השכבות שלו איזה מהמימדים של כל שכבה בפנים איזה סוג של אקטיבציות,
(04:51):
איזה סוג של...
-מה שנקרא ארכיטקטורה.
-ארכיטקטורה, בדיוק.
זה ארכיטקטורה עכשיו במודלים פתוחים ארכיטקטורה פתוחה כל אחד
יכול לראות כי אתה גם חייב את זה כי בסוף כשאתה מריץ את זה אצלך הקוד הוא קוד
פייטון כל אחד יכול להיכנס ולקרוא בגיטאב את הקוד פייטון של גרנייט או של למה,
או של מיסטרל ועוד הרבה מודלים שהם מודלים פתוחים.
(05:12):
יש את הקוד אימון את הקוד שאיתו אנחנו מאמנים את המודל ושם יש כל מיני תוספות,
טריקים, שטיקים של איך לאמן את המודל בצורה נכונה,
יעילה, שבסוף יביא את התוצאה.
-זה, לדוגמה, זה דיפסיק ששואל שאלות...
-לצורך העניין...
-את G.G.P.T. -בדיוק.
(05:33):
רגע, שנייה, זה נושא אחר.
לפני כן, אבל דיפסיק, מה שכן, זה למשל הלוסט פונקשנס וג'רפי אור וכל
הדברים שהם שחררו ופתחו לנו גם במאמר וגם בקוד,
ובעצם איך אנחנו מאמנים את המודל מה הקוד שאנחנו משתמשים כדי לאמן את המודל זה
רכיב מאוד מאוד חיוני אם אני רוצה עכשיו לאמן מודל בעצמי זה רכיב קריטי.
(05:56):
לא כולם מפורסמים את זה.
איך אימנתי את המודל?
-סתם רק IBM מפרסמים את זה או לא?
-את הקוד אימון?
לא.
ממש את הקוד אימון יש גרסה פתוחה שהיא מאוד מאוד קרובה אבל לא בכלל,
לא כל דבר הדברים האחרונים ממש ממש של האימון נכנסים אבל די די כעת די...
(06:17):
-זה עד שירדת זה בין אפסטרים ודאונסטרים.
יש אפסטרים שהוא בערך הכל אבל ידעתכם גם...
-יש כמה דברים שהם נשמרים עדיין...
-פיינטיונד של אייבינש.
-בדיוק.
שהם עדיין נשמרים והדבר הכי קריטי אולי הכי משמעותי זה הדאטה.
הדאטה שאיתו אנחנו מאמנים.
וכאן זה אולי מה שאני יודעת הכי מבדיל בין מודלים
(06:39):
פתוחים והעולם של איי איי באופן לעומת קוד פתוח כללי שאנחנו מכירים מקהילות הקוד פתוח.
מה מהדאטה הוא פתוח מה מהדאטה הוא פרופרייטרי של החברה?
למה גם השיקולים של מה למה אנחנו פותחים או לא פותחים את הדאטה?
כי יש גם יתרונות ללא לפתוח את הדאטה הרבה עניינים של פרייביסי ודברים כאלה,
(07:02):
וכל התהליך שגם הדאטה עובר של פילטור ופרוססינג וניקיון וזה גם דברים ש...
אז נניח את הכלים של הפרוסינג של הדאטה איי באים כן פותחים יש ספרייה שנקראת דאטה פרפקיט באופן לגמרי וזה גם משהו
שאנחנו משתמשים כדי לייצר ולהכין את הדאטה שלנו אבל את הדאטה עצמו לא מפרסמים,
(07:27):
לא את כולו,
חלק כן אבל לא את כולו.
זאת אומרת שמישהו שמבחוץ רוצה לבנות את המודל יכול לבנות...
גרסה חלשה.
גרסה חלשה.
גרסה חלשה.
כן, רוב החברות לא מפרסמות את הדאטה.
אני חושב שחוץ ממסטרל,
(07:50):
שמפרסמים...
סליחה, לא מסטרל, דווקא מסטרל אני לא חושב שמפרסמים את כל הדאטה.
הגינג פייסים עם המודל שלהם שמאל ויילם עכשיו הם שחררו את כל
הדאטה שהם השתמשו לאימון של המודל.
אהלן...
אהלן איי איי.
אהלן איי איי מפרסמים את הדאטה גם.
רוב החברות לא מפרסמות את הדאטה.
פייסבוק לא מפרסמים את הדאטה שהם אימנו,
(08:11):
הם מפרסמים את המודל,
את מודל אהלמה.
אז בעצם יש לנו...
אם ניתן שמות אז יש לנו את הopen models שזה בעצם...
אני נותן את המודל, אימנתי אותו, עכשיו אני נותן את המודל,
כולל כל המשקולות שלו,
כולל כל הקוד שמריץ את המודל,
וכל אחד יכול לקחת ו...
לאמן אותו, להמשיך לעשות לו פיינטוינינג,
(08:34):
לעשות אדפטציות אפילו בקוד של המודל.
תכף נדבר על ענייני לייסנסים, האם זה...
-כן, זר, כי זה...
כל אחד יכול, האם מותר זה סיפור אחר, ומה...
ותחת איזה תנאים מותר,
אבל בגדול זה שעה.
לשחזר זה כבר משימה יותר קשה.
אה...
כי אין את הדאטה.
כן, לבנות את המודל, כמו שכל אחד בונה את הקרנל של אינוקסים,
(08:58):
אם יחוץ את זה.
כן, כן.
מה גם שגם אם היה אפשר וגם אם היה את הדאטה מבחינת...
טכנית, כאילו כמות הרי יקר.
-זה סורסוס שצריך, זה משהו מאוד יקר.
אבל אני יכול לבנות מודל על בסיס מודל קודם.
כן.
זה אתה יכול, וזה עושים הרבה.
-הגינג פייס מלא בכאלה.
-הגינג, פיינטיונג.
-פיינטיונג.
פיינג.
פיינטיונג, לורה-טיונינג, פיינטיונג, כל מיני...
(09:18):
-לעשות ונטיזציה.
ונטיזציה, אפשר לראות כמעט לכל מודל,
גם למודל שלנו,
גרניט ויז'ן,
ששחררנו לפני חודשיים-שלושה,
בפברואר,
אז גם כבר יש כמה ורסיות של אנשים פשוט מהקהילה,
שלקחו,
גם עשו ונטיזציה,
(09:38):
גם עשו לו פיינטיונג למשימות אחרות.
גם אנחנו עשינו את זה אצלנו, לקחנו את המודל שלנו ועשינו פיינטיונג למשימה מאוד מאוד ספציפית שהייתה חשובה לנו,
ויש ורסיה של המודל הזה,
פיינטיונג לטאסק מסוים.
אבל כשמישהו עושה בעצם פיינטיונג למודל קיים,
באיזשהו מקום הוא משתמש בדאטה שאני השתמשתי בו בשביל לאמן את המודל.
(09:58):
בצורה עקיפה.
-הוא משתמש?
כן, כי אם אתה...
זה כבר פילוסופיה, אם הדאטה נמצא,
הוא משתמש במודל שמכיל רפרזנטציות שאיפשהו... -הנגזרות של הדאטה של נגזרות ברבל. -הנגזרות של הדאטה.
אבל הדאטה עצמו אין לו גישה. -אין לו גישה אלא. -לממש... -לא יכול... -לא יכול...
לא יכול להיות... -הוא צריך. -השאלה מה המטרה, כי אם אתה...
אחת הבעיות בפיינטיונג של מודלים זה שהמודל שוכח את הקישורים שהיו לו קודם.
(10:25):
זה נקרא "פורגטינג".
ואחד הדרכים למנוע "פורגטינג" זה לעשות מה שנקרא "ריפליי",
שמחזירים למודל את הדאטה שלו שהוא אומן עליו במקור,
ואומרים "אוקיי,
אני עכשיו נותן לך עוד דאטה,
ועוד ככה איזשהו 10 אחוז,
15-20,
לא יודע,
תלוי כמה וזה,
מהדאטה המקורי",
(10:45):
ואז ככה גם איזשהו מין מיטיגיישן כזה,
אנחנו לא שוכחים את מה שהמודל ידע לעשות ומוסיפים איזושהי יכולת חדשה.
זה נניח הרבה יותר קשה לעשות אם אין לך את הדאטה זה מה שאנחנו יכולים לעשות אבל מישהו אחר בחוץ יותר קשה.
או משהו אחר שאני מניח שגם זה שיש דברים ספציפיים שאתה בכוונה רוצה שהמודל ישכח.
(11:07):
אתה רוצה לקחת את המודל ולהגיד את זה.
תשכח כי אני לא רוצה וגם את זה אתה לא יכול לעשות אם נתן לך את הדאטה,
אם אתה שוכח רנדומלית.
כן, שוכח מה שהוא שוכח אנחנו לא יודעים לשלוט בזה.
כן, כמובן שיש דרכים לעשות גם את הדברים האלה כל מיני self-distilation להוציא מהמודל.
(11:27):
דוגמאות שהוא מייצר ואז להניח שזה איזשהו דאטה שטוב לו ולעשות...
ואז להשתמש בזה כדי לאמד חזרה אפשר לעשות הרבה מאוד הרבה מאוד דברים ויש...
המחקר מלא בכל איני שיטות לעשות אימון וגם forgetting של דברים יש עולם שלם של...
הופך לי כרגע השם של התחום אבל שהמטרה היא לשכוח.
(11:51):
המטרה היא לבוא ולהוריד דאטה.
למשל,
כל העולם של פרייבסיס זה מאוד חשוב אם איכשהו השם הפרטי שלו נכנס לאימון של המודל ואני לא רוצה שידעו.
יש על פי חוק באירופה לפחות מותר לי ש...
לדרוש אף אחד מהמודלים לא יכירו אותי אישית.
אז יש עולם שלם שאיך לגרום למודל לשכוח פרט ספציפית.
(12:13):
באמת זה...
Unlearning זה השם.
ידעתי שזה יכול להגיע לרמות...
Unlearning זה השם של התחום.
זה תחום יחסית חדש מתפתח ויש יכולות אפילו יצא לי לדבר עם חבר'ה מזה סטארטאפ פה בארץ שעושים את זה.
וזה תחום מאוד מעניין ומרתק איך לקחת מודל ולשכוח משהו רק המטרה היא בלי לשכוח דברים אחרים.
(12:38):
כן.
בלי לשכוח משהו אחד בלי...
מה אני חושב אני לא יודע אם ישתמשו בטכנולוגיה הזאת או לא אבל זה הנושא של טיפסיק וטיוואן או זה כל
הדברים האלה בעצם אם הוא למד על באמת נתונים של צ'אט ג'יפיטי שאומר על טיוואן דברים מסוגל,
איפה הוא הצליח...
-למחור...
לשנות את זה.
-לשנות את זה בהתאם לרגולציה הסינית שאסור להגיד.
(12:58):
מה שמותר ומה שאסור להגיד.
כן.
אוקיי, אז הבנו את המרכיבים ודיברנו על...
על בעצם מה זה מודל פתוח.
לא דיברנו על רישיונות.
מה זה...
בעצם איך נראים רישיונות בעולם הזה?
אני יודע שזה עדיין מתהווה, אבל זה ממש מתהווה, זה משתנה כל הזמן.
יש חלק שדבקים ברישיון הסטנדרט...
(13:20):
רישיונות סטנדרטים,
הפאצ'י,
MIT,
למשל IBM,
המודלים,
כל המודלים של IBM הם MIT,
הכי מתירנים,
בגדול אפשר לעשות איתם מה שרוצים,
commercial use,
לעשות להם re-use איך שרוצים.
לא צריך לתת איזשהו קרדיט מסוים או attribution מסוים,
זה המודלים הכי פתוחים שקיימים ואז יש כל מיני וריאציות מעניינות ומיוחדות.
(13:44):
אחד הדברים המשעשעים למשל זה למה,
המודלים של למה, שיש להם license מיוחד,
מותר לעשות איתו המון המון דברים, באמת הוא מאוד מאוד פתוח,
בתנאי שכל מודל שהוא derived מלמה צריך שיהיה בשם למה.
עשיתי פיינטיונינג על למה אני צריך להוסיף למה דש, דש, משהו.
(14:04):
למה רק המודל של מטא, של פייסבוק, המודל של מטא, של פייסבוק,
מודלים מאוד חזקים, באמת מודלים מעולים.
אבל לא, אז נניח לסטודנטים וחבר'ה שעושים מחקר,
לא אכפת להם,
בסדר,
אני אקחה לזה למה,
לא יודע מה,
אבל בטח לחברות שרוצות עכשיו לייצר איזשהו מוצר ורוצות שיהיה את הברנד שלהם,
(14:30):
אז לא כולם הכי מבסוטים מזה שהם חייבים לקרוא למודל למה.
ברור לי למה מטא רוצים את זה.
כן.
זה כאילו מאוד הגיוני גם,
בסופו של דבר הם השקיעו הרבה מאוד כסף ומאמץ לייצר את המודלים.
אבל זה נניח משהו עם למה.
ואחת הבעיות בתחום זה שבאמת זה מתהווה, אין עדיין סטנדרט מאוד מאוד ברור,
(14:51):
וכל יום יש משהו חדש, כאילו מה כן מותר לעשות, מה אסור לעשות,
גם אפילו עם המודלים הסגורים, עם אופן איי איי.
מה מותר, מה אסור, לא תמיד ברור.
עוד נקודה מאוד חשובה בעולם של אופן סורס זה הקהילה.
אופן סורס זה פרויקט שהוא קוד שאני כתבתי ושמתי אותו בגיטהאב ואף אחד לא מסתכל עליו,
(15:15):
לא נחלץ, באמת לא נקרא אופן סורס, אופן סורסורס.
יש קהילה, כולם תורמים, כולם משתמשים.
איפה הקהילתיות?
כן.
מה יכולה קהילה לתרום בעולם המודלים?
זה מעניין אחד הדברים שהקהילה יכולה להתרום זה באמת בעולם הארכיטקטורות וזה קורה מהמחקר.
אנחנו רואים את זה שפרסם מאמר מישהו מוציא איזושהי קומפוננטה מסוימת בכלל כל
(15:39):
העולם של attention self attention הגיעה מאיזשהו מאמר שגוגל פרסמו אחרי זה אופן אה,
הקפוא אותם בסיבוב עם שימוש במודל.
אז זה כאילו כל מה שקשור במחקר אז באמת בקוד אנחנו נתרמים חזרה.
בדאטה זה קצת יותר קשה יותר מורכב לתרום דאטה.
(16:02):
ל-IBM יש איזושהי תשתית שנקראת Instruct Lab.
יצא לנו שעכשיו היא האמת תחת רדת נכון זה עבר פורמלית מלא.
גם החבר'ה שעבדו על זה הקאש והחבר'ה שם ממש עברו לרדת.
ושמה...
אני צוחק כי פשוט הצוות שלי יוצא לא מעט לעבוד איתם בתקופה האחרונה.
(16:24):
אחלה.
אז בעצם כל הרציונל שם זה בדיוק היה איך הקהילה יכולה לתרום דאטה.
בעצם אתה תורם שם העולם שם סביב Instruct Lab בכל סובב סביב Synthetic Data Generation,
בעצם מתחיל עם איזשהו סט קטן מה שנקרא seeds כמה זרעים של דאטה שהייתי רוצה שהמודל יכולת מסוימת שהמודל ירכוש.
(16:50):
מג'נרטים בעזרת כלים אחרים מודלים אחרים כל מיני דברים אחרים,
מייצרים עוד הרבה מאוד דוגמאות מהסגנון הזה ואז מאמנים אז הרציונל של אינסטרנקט לבעיה בוא נפתח בוא נהפוך את עולם הדאטה לאופן סורס וזה מה שהם כיוונו לעשות גם.
הסידס כאילו כל מה שאתה מכניס לתן זה עוד סידס שאתה נותן.
(17:11):
כל דבר אתה מכניס עוד סידס.
כן ואז יש עם זה גם בעיות כי אז אוקיי אז ייצר לקחו את הסידס ייצרו מזה ועכשיו מה עושים צריך לאמן את כל המודל מחדש.
לאמן מודל זה עניין של כמו שאמרנו הרבה מאוד כסף הרבה מאוד זמן איך עושים את זה בצורה שהיא סקלבילית.
אני לא יודע איפה זה יושב היום אבל פעם אחרונה שאני הייתי איתם בקשר הם דיברו על כל שבוע לאמן אפס את כל המודל מחדש.
(17:35):
כן אבל זה מודלים קטנים אנחנו נדבר פה עכשיו על מודלים של 70. לא לא זה מודלים גדולים.
אולי אז הם אולי היום הם יתמקדו במודלים קטנים כי זה אפשרי.
כן זה זאת אומרת הכיוון כרגע הוא באמת לסקילים שהם יחסית קטנים.
לא ולא עכשיו לקחת את כל המודל של ה-70B וכאלה למרות שזה אפשרי גם שם.
(17:55):
אבל זה תכלית אפשרי אבל...
תכלית אפשרי.
רק אתה צריך מנהל בנק ידידותי בשביל...
וחברת חשמל פרטית,
מיקור גרעיני פרטי כדי להחזיק את כל הדבר הזה.
אז באמת בעולמות הדאטה הרבה יותר קשה לתרום.
מה שהיום עושים זה בגדול פשוט משחררים את הדאטה לopen.
(18:17):
למשל, הגינג פייס שחררו מלא דאטה סטים ו...
איש משחרר את הדאטה אחרי זה כל אחד יכול לקחת אותו לאימון,
אבל זה לא בדיוק אותה שליטה כמו בקוד פתוח.
אז זה מוביל אותי לשאלה הבאה (18:29):
איפה הכסף?
אנחנו רואים את כל החברות הגדולות מוציאות,
הרווח פה הוא לא כל כך...
זאת אומרת הוא לא עלה על השולחן.
אם לקחתי מודל של למה,
כמו שאתה אומר,
גם אני שם את השם שלי על זה אני לא משלם לאף אחד רויאלטיז,
אז למה שחברה גדולה ושהשקיע המון כסף,
אנחנו מדברים פה על זה לא גרושים,
זה מיליונים ובערביות אולי מיליארדים אפילו של...
(18:52):
מיליונים זה אפילו לא...
רק תיקח את המשכורות של המפתח...
של החוקרים זה במיליונים, כן?
אז למה להוציא את זה החוצה בחינם?
איפה הכסף?
שומי דמני.
שאלה טובה, אז קודם כול אני חושב שזה...
בעבר אולי היה איזשהו רצון וניסיון שהמודלים יהיו...
יהיו בתשלום,
ומעט מאוד חברות הצליחו ממש לעשות את זה בערך אופן איי ו...
(19:17):
רק קלוד וצ'אט ג'יפיטי הם היחידים שהם בתשלום.
כן,
אני שילמתי לקלוד כאן חמישה דולר שייתן לAPI.
היום זה לא...
אה, לAPI, כן.
לAPI, כן, כן.
כדי שאני אוכל לשחק עם MCP.
אם תנסה...
היום אני לא זוכר כמה זה צ'אט ג'יפיטי פרו הכי זה זה 400 דולר,
(19:38):
כי זה מחרים פסיכיים. אז הם באמת עדיין מחזיקים את הכיוון הזה,
אבל השאר הבינו שאלף...
מודל עצמו נהיה כבר קומודיטיב. ברגע שמישהו שחרר מודל,
טוב, כמו למה? מישהו שחרר מודל אחד חזק? ויש כמה,
זה לא רק מישהו אחד,
אבל יש את את את המודלים...
(19:59):
את הקו של למה, יש את הקו של...
קוואן. קוואן. כל הסינים, למיניהם, יש הרבה.
ליפסיק כמובן, IBM שחררה, מיסטרל שחררו,
יש הרבה ששחררו מודלים מאוד מאוד חזקים, מאוד מאוד טובים.
אז כבר למה שאני אשלם למישהו אם יש לי את ה... אז הכיוון עכשיו הפך להיות,
אחד לשחרר כדי להיות שחקן על המגרש,
(20:22):
ושתיים, לפחות IBM מתמקדים בתשתית. מתמקדים ב...
יש תשתית שלמה שנקראת וואטסוניקס דוט איי איי,
ושם זו תשתית שמאפשרת ללקוחות להריץ הרבה מודלים,
לאו דווקא רק את מודלי גרנאית. יש איזשהו יתרון,
כמובן,
להריץ מודלי גרנאית על התשתית של IBM,
יותר אופטימלי,
יש תמיכה יותר טובה.
(20:44):
יש עוד הרבה יתרונות להריץ מודלי גרנאית, אני אדבר עליהם,
אבל מבחינת הכסף, הכסף הוא בתשתית. אתה משלם, או הלקוח משלם,
מה תשתית שמריצה בין אם און פרם או בקלאוד על איך לעטוף את כל
הדבר הזה בצורה שזה באמת יעבוד כי אוקיי המודל שפה הוא אחלה,
(21:06):
הוא חזק,
הוא טוב אבל הוא לא דווקא יעשה את המשימה שאתה רוצה שהוא יעשה אם רק תיתן,
קח את המשקולות עכשיו תריץ. זה לא כזה פשוט,
זה לא מאוד מורכב, זה לא כזה פשוט. לא, אנחנו יודעים, יש agent. בסוף אנחנו צריכים לעשות משהו,
כן, להגיע ל-agentic,
תשתית שלמה שצריך לעשות ולחבר ו-MCP servers וזה. וישהו דבר שאתה רק מדבר איתו למשהו שאתה ממש רוצה שיחיה. אבל אם אני חיידר רגע את מה שאתה אומר,
(21:34):
יש עולה, זאת אומרת אנחנו כמשתמשים, כן? אנחנו בעצם מדברים תמיד על המודלים האלה
שנמצאים על הענן ושמישהו כבר מארח ועושה את זה עבורי,
אבל בסוף יש סגמנט שלם של אנטרפרייז שלא יכול לעשות את הדבר הזה וצריך להריץ את זה אצלו לוקאלי. לא רוצה, לא יכול,
כן? כאילו זה... או הייבריד,
דרך אגב,
אנחנו אירחנו פה בפודקאסט של כללי של רובת חוני מכבי,
(21:58):
רובת חוני מכבי,
רובת חוני מכבי,
שהכל היה לו קל אצלם חוץ מהקריאות ל-HGPT,
שאתה הקריאות ל-HGPT הם עשו לענן. לא,
האימון אני חושב היה שם... לא,
הם עשו את הקריאות ל-HGPT כי אין להם,
אין להם מספיק GPU,
אז הם עשו,
הכל רץ,
גם המודלים ההיברידים האלה קיימים בסוף אתה צריך סביבה אתה צריך להריץ אתה צריך פה ואז,
(22:20):
גם את המודלים וגם את מה שמסביב מסביב יש גם מסביב הרבה דברים כדי שיהיה אפליקציה שעובדת טוב.
זאת אומרת שגם אם צ'אט-GPT הוא הכי חזק שיש בעולם אם אני עכשיו ארגון שלא יכול
להשתמש בדברים האלה אני לך כנראה זה לא עוזר לי אני צריך לך איזשהו מודל שאני יכול להריץ אצלי.
כן אתה צריך שאתה יכול להריץ אצלך שאתה יכול לסמוך.
עכשיו למה אתה רוצה להריץ אצלך כן כי אני מכבי לצורך העניין יש לי מלא מלא דאטה פרטי של אה...
(22:49):
אישי.
רפואי עם תעודות זהות עם מספרי טלפון עם כל העבר הרפואי של אנשים.
אסור שהדבר הזה יזלוג לצ'אט-GPT גם אם אופן איי מבטיחים לנו בחוזה שהם לא משתמשים בדאטה.
נכון כי אוקיי סבבה כל הכבוד שהם מבטיחים אני גם מאמין בהם.
באמת אני באמת מאמין שהם לא משתמשים בדאטה אם עשיתי את הצ'ק שלא להשתמש.
(23:14):
אבל האם אני בתור אזרח סומך על זה שכל הדאטה של כל המדינה ילך לזה?
לא יודע.
האם הצ'ק שלהם עומד ברגולציות שאני חייב לעמוד בהם כשהם נתנו לי צ'קבוקס?
זה לא אומר שהם עומדים בארצות הברית ברגולציה האירופית שמכריחה אותי שאסור לעשות את זה.
אז אני לא יכול להשתמש להם עם רגולטורים.
ואיפה הבקרה על זה?
איפה מי יודע מה זה?
(23:35):
כמובן שאנחנו בדברים האלה אנחנו צריכים להיות זהירים ולשמור את הדברים ב...
שלא לדבר דרך אגב על הצבא,
למשל,
שגם הצבא יש מודלים מאוד חזקים היום.
לא יודע אם יצח כתבה לא מזמן על הסטודיו של 8200,
גם מאוד מעניין חבר'ה,
ישראלים פיתחו שם מודלים מאוד חזקים.
(23:56):
וגם שם אנחנו לא רוצים שהדאטה יצא.
אנחנו לא רוצים שאף אחד אחר תהיה את היכולת הזאת.
וצריכים לדאוג שזה...
-זה כמעט air gap. -כן, כן, חייב להיות.
אחרת זה מאוד מסוכן, גם מבחינת פרייבסי וגם מבחינת הביטחון שלנו.
אז זה...
(24:16):
זאת אומרת, הכסף נמצא מסו...
אני אשאלת ששאלה של ההדיעות בעניין,
מתי הפרסומות ייכנסו לי לתוך כל שיחה עם gpt?
וואלה?
אתה באמת חושב שזה מה שיקרה?
אני...
אני מפחד שזה יקרה,
והסיבה שאני מפחד שזה יקרה,
(24:37):
זה גם...
אני חושב שראיתי את זה...
-ראיית את זה...
-ראיית את זה?
לא, לא, את זה בלאט נירו, אבל...
-זה בדיוק זה.
-ראיתי, דיברתי עם...
זה היה בבלוג של רועי.
היכולת של...
-רועי צנזר שהיא תארח פה.
-רועי צנזר, שיא תארח פה.
-רועי צנזנה, שיא תארח ו...
והיה זה.
כן, שהיכולת של AI שמכיר אותך להשפיע על הדעות שלך,
(25:03):
היא הרבה יותר חזקה מיכולת של אנשים לעשות את זה.
הוא דיבר בקונטקסט של בחירות,
שמי שיש יותר משאבים, יוכל לגרום לאנשים לשנות את דעתם,
לא דרך פרסומים ג'נריים ברשתות החברתיות, אלא דרך...
דברים שמתורגטים אישית,
שיודע לגעת בנקודות הכואבות שלך,
(25:23):
זאת אומרת, גם פרסומות, אתה יכול...
-מבצעי השפעה שמתבצעים דרך זה שאתה שולט במודל הכי חזק בעולם.
והוא מכיר אותך באופן אישי והוא בונה את המבצע ההשפעה אליך מדויק ואז...
-אתה יודע, ביום-יום.
הפרסומות הם הרבה הרבה הרבה יכולים להיות יותר חזקות ויותר מדויקות ולפגוע.
-זה גם זה וזה גם מעבר זה כי כשאתה...
(25:45):
בצ'אט עם המודלים האלה,
אנחנו כיום מרגישים כאילו אנחנו מדברים עם בן אדם.
ויש אנשים שנכנסים עם הבן אדם הזה לדיון ולוויכוח, אממה, אתה לא תשכנע אותו בחיים,
זה לא ישנה כמה אתה תעבוד קשה וכמה אתה בן אדם קישרוני,
אתה לא תשכנע אותו,
אבל אין סיכוי שהוא ישכנע אותך,
וזה בדיוק עובד על זה,
זה בדיוק עובד על היכולת של...
-אני זוכר שראיתי מודל שיחה מדהים מדהים מדהים.
(26:08):
קודם כול, בכלל, לא מדברים הרבה על מודלי שיחה,
אבל היכולת האינטראקציה עם מודלי שיחה היא פשוט יעולה פלאים.
מודל שיחה שפיתחה לדעתי זה היה איזשהו הדגמה של גוגל, סוכן מכירות,
מדבר עם בן אדם,
עכשיו הבן אדם אתה יודע כמו ישראלי,
הוא לא ישראלי אבל כמו ישראלי,
מתקשרים אליו מאיזה חברת משחקים, אני לא מעוניין, כאילו ישר זה.
(26:30):
אז המודל ישר נותן לו איזושהי תגובה אבל תקשיב אדוני יש לך פה הנחה שאתה יכול לנצל אותה,
אני לא חושב שאתה יכול...
מפה לשם אני לא אמשיך את כל הזה אבל זה שיחה של איזה 5 דקות הבן אדם חותם מנוי.
אז אני אגיד לך, ממצב שהוא אמר הוא רצה לנתק את השיחה בחמש שניות הראשונות,
הוא בסוף חתם על מנוי.
(26:51):
יש לי כלי שעובד נגד זה כשמתקשרים אליי עם דברים כאלה,
אני אומר סליחה אני לא מעוניין ומנתק מיד.
ההורים לא בבית.
לא מקשיב למשפט הבא, מנתק.
אבל זה היה שיחה, זה בדיוק ככה התחיל.
לא אבל הוא לא הספיק לנתק עד שהוא אמר לא בכל זאת.
כן.
אני מנתק לפני.
סליחה לא מעוניינת.
מה אתה עונה?
האמת היא שזו שאלה טובה, זה פרק על זה, יש מצב שאתה מצפה לשיחות מטלפון לא מזוהה,
(27:18):
ואתה מקבל שיחה ואתה חושד אבל יש לך גם חשב אולי זה מה שאתה מצפה מבינם.
כן אז שאלתך אני חושב שזה יגיע,
זה יגיע לבטח במודלים האלה שבתשלום.
האם זה ייכנס למודלים הopen?
אני חושב שפחות.
כי יש פחות אינטרס לעשות את זה שם אבל אולי מייקרוסופט יש לה עשרה מיליארד דולר שהיא שמה בopen AII ועוד אני לא יודע כמה כסף שהיא שמה באימון ובג'יפי.
(27:46):
ובזה.
בסוף זה צריך לחזור הם לא שמו את זה כדי שיהיה להם את התג אנחנו מובילים בAI וזהו זה יותר מדי כסף בשביל רק זה.
כן יכול להיות שזה יחזור דרך פרסומות אני אני מאוד מאמין שבמודלים הסגורים זה יקרה.
האם זה יקרה בוורסיה בתשלום או בוורסיה בחינם כמו שאנחנו רואים את זה
ביוטיוב שהתחילו לקפוץ לנו פרסומות אבל באמת פה הפרסומות הם יהיו הרבה יותר סלל הרבה יותר מתורגתות שזה מפחיד שזה ברמה משם זה מפחיד כי אציע לך לקנות עכשיו אתה שואל אותו זה דרך אגב הדבר הזה יכול להיות פתרון מצוין למה שמה ששאלת והמוצר הספציפי הזה הוא גם מוצר מאוד מאוד מדהים וטוב.
(28:26):
וכי אנחנו נוטים להקשיב לכל מי ש... לכל מודל AI היום שאומר לנו דברים.
אבל יש לי פתרון בשבילך.
מודל פתוח.
אם יש לך מודל פתוח והדאטה הוא גם פתוח אז אי אפשר לעשות את המניפולציות האלה בצורה יותר קשה לפחות.
יותר קשה יותר קשה כי זה יותר יש ויזביליות לזה ואנשים יכולים לבוא ו...
(28:47):
אבל גם כאן יש גם איזה דרכים לעקוב כי בעצם יש עולם שלם של שנקרא
טול יוסדג' טול קולינג מתקשר לאיג'נטיק מתקשר לזה שבעצם המודלים יודעים לבצע פעולה או יותר נכון לקרוא לגורם אחר שיהיה בצע פעולה.
נכון.
הם מודלי mcp למיניהם שאנחנו הולכים לעשות פרק שלם עליהם?
זה...
(29:07):
עוד פרה mcp אבל mcp זה כן זה הכל מתחבר שם אבל כל העולם הזה של טול קולינג זה בעצם המודל עכשיו.
הוא לא עושה את ה...
שום דבר הוא קורא לאיזשהו אלמנט חיצרני שיוצא,
חוזר חזרה למודל וזה.
אז אם אתה מישהו מייצר טול כזה כלי של פרסומות,
אז יכול להיות שזה לא יגנס לך לדאטה של ההמנון של המודל אבל דרך היכולת שהמודל לקרוא למודלים אחרים זה,
(29:33):
יכניסו קומפוננטה ש...
אז כמה זה באמת...
-גם זה...
-כמה זה מתבטא בתוך המודל?
זאת אומרת,
היכולת לקרוא לטולים כמה זה מתבטא בתוך המודל?
-זה קריטי אם זה לא אומן לזה הוא לא ידע לעשות את זה.
ממש צריך להיות...
-זאת אומרת שאתה מאמן היום מודל אתה צריך חלק ממנו להגיד...
-אז אם הדאטה צריך להיות כזה של קריאה לטול ומה הייתי מצפה אם הייתי צריך לקרוא לטול אז איך אני...
(29:54):
כאילו איך המודל מוציא את האוטפוט שיודע לקרוא לטול אז איך הוא מפענח את האוטפוט של הטול חזרה כאינפוט שלו.
-אבל זה היום נפח להיות סטנדרט.
-אז זה כל העולם של mcp זה בעצם סטנדרטיזציה של זה ו...
-וכל המודלים יאלצו לתמוך בזה כי מי שלא תומך בזה ייעלם.
-ייעלם.
-כן.
-נכון.
וזה משהו שאפשר לעשות גם בקורד זאת אומרת אם יש לי עכשיו מודל בחוץ גדול גרסה מסוימת האם אני יכול לקחת אותו ולהכניס לו את היכולה...
(30:21):
-אפשר לעשות את זה זה כל העולמות של פיינטיונינג ובעצם כל מיני כיוונים של פוסט טריינינג ויש דרכים לשפר את ה...
או להתאים את האוטפוטים של המודל שיה יותר דומה למה שהייתי רוצה.
ספציפית על mcp אני לא יודע אם מישהו עשה כבר פיינטיונינג,
(30:43):
או איזשהו פוסט טריינינג למודל בשביל שיתמוך ב-mcp אבל לא מאמין שזה...
אז בוא...
בוא נחזור רגע לאופן סורס אז הבנו שלתרום למודל קצת קשה לנו אם אנחנו לא באקדמיה וכותבים מאמרים ו...
מה יש לנו אה... איזה אפשרות יש לתרום לעולם AI בכלל באופן
(31:04):
כדי ב-open source במה שאנחנו מכירים יותר טוב אני ואילן בתוכנה.
מה איזה כלים יש היום שנאמר הם סגורים ואפשר לפתוח אותם,
כלים חדשים שצריך,
אין סיפירים...
אני חושב שזה דוגמה זה לא קלישאה קיים אבל...
כן.
איש הגיע והוא פתוח אבל...
אנחנו כחברת אופן סורס מה...
(31:25):
על מה אנחנו צריכים להסתכל?
אז באמת אני חושב שהרבה זה בעולם התשתית שאפשר לפתוח ולהוציא החוצה,
לתמוך בהרבה מודלים שונים,
בטח ובטח ככל שהעולם הזה הולך יותר לסטנדרטיזציה עם הגינג פייס שיוצרים
הרבה מאוד סטנדרטים ו-MCP עכשיו והרבה מאוד דברים ש...
ויש לא מעט תשתיות שחלקן כבר פתוחות.
(31:45):
לנגצ'יין למשל, דברים מאוד בשימוש.
כל התשתית של להריץ, איך להריץ את המודלים,
איך לקרוא להם,
איך לקרום להם לתקשר בינם לבין עצמם,
בינינו לבינם,
זה משהו שמאוד אפשר לתרום.
ואם המודלים עצמם יהיו איזשהו פלאג אנד פליי,
מחליפים עכשיו את ה...
לא טוב לי...
(32:05):
למה מתאים לי גרנייט, לא טוב לי גרנייט,
מתאים לי מיסטרל,
ואני יכול רק להחליף את הדברים או שהם ידברו אחד עם השני ובחלק
הזה שזה יהיה זה בחלק השני שיהיה משהו אחר.
זה מקום מאוד טוב.
את הדאטה זה...
שזה רגע שווה להזכיר, שלמה סטאק שגם יצא כאיזשהו פרמוק
שמאפשר לעשות את כל החיבורים האלה.
(32:26):
ואת VLLM,
הפלג כזה שהם עושה אבסטרקציה למודל קצה.
כן, זה כבר באינפרנס.
שאתה יכול להריץ הרבה מודלים עם אותו אינפרנס.
-זה, כן, זה גם מאוד חשוב, אני חושב,
האינפרנס,
לעשות את זה יעיל,
לעשות את זה מהר יותר.
זה סופר משמעותי.
-אני קראתי איפשהו שבעצם המלחמה זה אנליסט לדעתי פיננסי,
(32:48):
לא טכנולוגי,
שהוא אומר שהמלחמה הגדולה של חברות התוכנה שלא מייצרות פונדיישן,
כי הרי כמה חברות יכולות לייצר פונדיישן,
יש לך אולי 7-7 הגדולות, במקרה הטוב,
בעולם התוכנה?
-לא, זה יותר טוב, תוציאוף את הסימים.
-אה, לא, אבל כאילו, לא, אז יש לך איזה 7...
אתה יודע מה, זה גם יצטמצם כנראה בסוף אפילו פחות מזה.
-כן.
המלחמה תהיה על האינפרנס.
(33:10):
זאת אומרת, איך אני יכול עכשיו לתת אינפרנס שהוא הרבה הרבה יותר יעיל,
הרבה יותר מהיר,
הרבה יותר מדויק,
כי שם זה בעצם עולם שהוא פתוח לכולם,
וגם חברה שעכשיו, אתה יודע, אין לה מיליארדים.
גם שם זה הכסף הגדול, גם אם תסתכל על אימון שהוא מאוד מאוד יקר,
ובאמת עולה המון המון כסף, בסופו של דבר אימנת את המודל,
(33:31):
אימנת את המודל.
-נכון.
אבל כמות האנשים שעכשיו משתמשים בו,
זה גם עולה כסף.
כאילו גם זה, זה, לעשות אינפרנס רק על CPU זה לא לוקח זמן,
אז רוצים גם GPU בשביל אינפרנס,
ורוצים הרבה קריאות כי יש לך עכשיו,
אתה רוצה לעבור על כל האינטרנט, אתה רוצה לעבור על כל ה...
כל האזרחים... -ג'נטיק, האג'נטים קוראים אחד לשני. -ג'נטים קוראים אחד לשני,
(33:53):
ועכשיו כל העולם הזה של בכלל טסט טיים סקיילינג,
כאילו כל הזה שהמודלים מתחילים לקשקש מפה הדודעה החדשה,
עד שהם מוצאים את התשובה.
התוצאות הן מדהימות בסוף, כן?
התוצאות בסוף הן מדויק, סופר מדהימות,
אבל הכסף שזה עולה ממש לייצר את זה על כל דוגמה,
זה הונטרפות.
אז שם הכסף הגדול, שם רוב ה...
(34:16):
אם אני לא טועה, כל החוות שמטא בונים ושטסלה בונים,
זה חוות שרתאים ברמה שאשכרה בונים מפעל כוח ליד, כן?
ברור,
פאור פלנט, כדי שנחזיק את החשמל של זה.
אז זה...
הרוב זה לאינפרנס, זה לא לאימון.
אימון צריך הרבה, אבל...
(34:38):
אבל זה עוד פעם...
-אתה יודע להגיד את היחס בין ה...
אני לא יודע אצלם, אני יכול להגיד שאצלנו המספר ה-GPUs לאימון זה באלפים.
באלפים הבודדים, לא מיליון.
אבל אינפרנס אתה צריך...
לפי כמות המשתמשים, זה כבר סקייל.
ככל שיש לך יותר משתמשים, אתה...
אוקיי.
(34:58):
לפי כמות המשתמשים,
לפי גודל המודל,
לפי אם המודל עושה טסט טיים סקיילינג,
כאילו זה...
לעשות אינפרנס למודל כמו דיפסיק.
חישוב שעושים לעלות זה לפי טוקנים,
בעיקר באוטפוט, גם באינפוט אבל בעיקר באוט.
גם זה המודל העסקי של OpenAI, נכון?
תמיד יש שני מחירים.
כמה אתה משלם פר טוקן באינפוט וכמה אתה משלם פר טוקן באוטוט,
(35:20):
בכל זאת זה יותר יקר.
לא סתם זה יותר יקר, זה באמת יותר יקר.
ומודלים כמו מודלים של דיפסיק,
שמוצאים מלא מלא מלא טוקנים,
כאילו אלפי טוקנים באוטפוט זה פשוט מאוד יקר,
זה עולה ארמון כסף.
מה לגבי פאונדיישנס?
יש פאונדיישנס משמעותיים שבעצם מרכזים את העולם הזה כמו שיש לנו אפאצ'י וכאלה?
(35:40):
או שזה לא משהו שמתווה?
אני שמעתי על אופאה אבל אני לא חושב שזה יושב על איזשהו...
אני לא מכיר משהו שמתווה בכיוון הזה אולי זה יגיע אבל...
כנראה.
כן.
אז אני חושב שאנחנו סיימנו לא סיימנו את כל מה שרצינו לדבר עליו,
אבל סיימנו את הזמן לעומת זאת.
אני רוצה עוד שאלה אחת בכל זאת שלא דיברנו עליה קודם וקשורה גם לעצמך,
(36:04):
עם רועי.
איך אתה רואה את הקצב התקדמות של הדברים?
וואו, מטורף.
לא, ממש כל שבוע, שבועיים יש משהו חדש שאנחנו צריכים...
דיברנו על זה קודם במסדרו, נכון?
שאנחנו חייבים להיות אגילים כי מה שאנחנו עושים היום,
מה שאנחנו יודעים היום,
(36:24):
יהיה לו רלוונטי.
גם מבחינת העבודה שלנו,
איך שאנחנו מפתחים דברים,
איך שאני כותב קוד היום זה לא כמו שכתבתי קוד לפני חצי שנה.
אה... ואיך שאני אכתוב קוד עוד חצי שנה,
אם בכלל זה לא כמו שאני כותב היום.
דברים משתנים בקצב אסטרונומיים חייבים להיות אגילים,
חייבים לזוז עם הזמן.
אתה מהכיוון שלך, מהכיוון של מי שמפתח מודלים,
(36:47):
כאילו,
איך אתם מודדים?
כאילו, לא יודע, כל כמה זמן יוצא גרנאייט בערך הקיידנס שלו?
כמה חודש, שלושה חודשים, פעם בריבוען כזה.
פעם בריבוען.
וכמה כל מודל יותר חזק מהקודם?
הרבה. טוב, לא יודע, זה... אני לא יודע אם זה טוב או רע, אם זה מפחיד או...
אה... גם באיזשהו שלב, אתה יודע, המדידות האלה הן הינה לא רלוונטיות,
(37:07):
כי כשאתה מגיע לרמות של זה אז כבר אוקיי,
סבבה,
אז כבר סגרתי את כל הבנשמרקים האקדמיים,
אבל זה לא מה שמעניין כבר.
עכשיו מסתכלים על הדברים היותר דיטייל,
וגם תופרים את זה לבעיות הספציפיות.
הגרנאייט, למשל, מאוד אוריינטד לאנטרפרייז,
אז זה לאו דווקא מה של למה יהיו טובים.
זה גם יש מקום ל... יש מספיק מקום בעולם לכמה שחקנים. לא,
(37:29):
זה ברור לי שיש מקום לכמה שחקנים, אני שואל כמה מקום יש לאנשים.
איפה אנחנו משתלבים בתוך הדבר הזה כשבעצם נגיע למצב שכמו שאמרת,
אנחנו חיים אילן ואני על כתיבת קוד,
כשאם נכתוב קוד.
נכתוב אותו בצורה אחרת.
פרומפטים ג'נירינג יורד, אבל כן פרומפטים דיבאגינג,
(37:52):
זה הבנה של ארכיטקטורות שלא אתה יצרת וזה...
אבל עם עובדות.
אני, אבל כל פעם שאנחנו מדברים על זה, אני אומר לך את זה דווקא אחרת.
אני דווקא לא חושב שזה ילך לכיוון הזה,
וגם דיברנו על זה בהספרק של השאלות ותשובות,
אלא להפך,
זה ילך למי שידע לשאול את השאלות הנכונות,
(38:13):
ולא ידע את התשובה.
זאת אומרת, אם אני עכשיו חזק בשאלה,
חזק בהבנת השוק,
חזק בהבנת הצורך,
זה יהיה הרבה יותר משמעותי מהחלק של כתיבת הקוד.
מן הסתם יהיה איזשהו, כמו שאתם אומרים,
לא יודע אם זה יהיה פרומפט או שזה יהיה קריאה של איזשהו משהו שהוא מזכיר קוד,
(38:34):
זה איזה מין פסוד או כזה.
אבל השאלה תהיה הרבה יותר חזקה, מי שידע לשאול שאלות,
מי שידע לשנות את מה שצריך בתוך השאלה,
בתוך הבנת הבעיה,
זה יהיה הרבה הרבה הרבה יותר משמעותי.
אבל בסדר, זה אתה יודע, שלחת אותי להיות פרודקט מנג'ר, זה מה שאתה אומר.
כן, בהחלט.
זאת אומרת,
זה כנראה ילך לכיוון של בין פרודקט מנג'ר מרקטינג ואינג'ינירינג בבן אדם אחד,
(38:57):
איך שזה כרגע נראה.
ולפי מה שאנחנו מדברים, אתה יודע, עם האורחים השונים שלנו,
זה נראה שזה...
תצטרך להתאחד עם שון באיזושהי צורה.
בסדר, אז אסף, קודם כל, תודה רבה שבאת.
תודה לכם, ועל המידע הייחודי שסיפקת לנו הייתה לנו שיחה מאוד נעימה,
(39:19):
גם לפני זה וגם עכשיו, אז ממש ממש תודה רבה על זה.
ובאמת זווית יודע שלא תמיד רואים אותה,
זאת אומרת,
תמיד כשאתם מדברים על המודל,
הם מדברים על מה הם עושים,
מה הם לא עושים,
הצד של האופן סורס וכל הדברים האלה,
אז באמת זה מה שרצינו לא מדברים עליו עליו,
אין פרקים כאלה, בטח לא בעברית.
וגם הצד, כן, של הפיתוח מודל, מה יש, מה יש, איך נראה המודל, איך נראה דברית.
לי, כמה שאני טכני,
(39:40):
המודל זה קופסה שחורה שמייצר תוקנים והתוצאות,
אני הרבה פעמים נשאר עם פה פתוח מלראות את התוצאות של הדבר הזה.
אז קצת להבין שיש גם אנשים שבעצם עובדים קשה כדי שהקופסה הזאת תעבוד.
אוקיי, אז תודה רבה.
-תודה, תודה.
פרטים נוספים ולינקים לעבודות של אסף.
(40:03):
אנחנו צריכים לתארך בתיאור של הפרק צוות.
צוות, כמובן.
-צוות גדול מאוד ומוכשר גם בארץ, גם בחו"ל.
כן, נשלח את כל הלינקים למודלים הפתוחים,
למאמרים,
לבלוגים,
לכל...
-אנחנו נשים את זה בתיאור הפרק.
מי שרוצה להרחיב להרחבות נוספות, מה שנקרא,
וניפגש בפרק הבא.
-תודה רבה.
-תודה רבה.
ביי.
Popular Podcasts
Crime Junkie
Does hearing about a true crime case always leave you scouring the internet for the truth behind the story? Dive into your next mystery with Crime Junkie. Every Monday, join your host Ashley Flowers as she unravels all the details of infamous and underreported true crime cases with her best friend Brit Prawat. From cold cases to missing persons and heroes in our community who seek justice, Crime Junkie is your destination for theories and stories you won’t hear anywhere else. Whether you're a seasoned true crime enthusiast or new to the genre, you'll find yourself on the edge of your seat awaiting a new episode every Monday. If you can never get enough true crime... Congratulations, you’ve found your people. Follow to join a community of Crime Junkies! Crime Junkie is presented by audiochuck Media Company.
24/7 News: The Latest
The latest news in 4 minutes updated every hour, every day.
Stuff You Should Know
If you've ever wanted to know about champagne, satanism, the Stonewall Uprising, chaos theory, LSD, El Nino, true crime and Rosa Parks, then look no further. Josh and Chuck have you covered.