August 18, 2024 • 46 mins
בפרק זה של הפודקאסט, ג'וש מראיין את אילן פינטו, מנהל פיתוח ברד האט שאחראי על
הובלת בניית מוצרי הבינה המלאכותית בחברה
יחד הם צוללים לעולם הפיתוח של מוצרים ותוכנות מבוססות בינה מלאכותית ומדברים על הרכיבים והטכנולוגיות שמפתחים צריכים להכיר
הם דנים במגבלות של מודלי בינה מלאכותית
מציגים כיצד ניתן לדייק את המודלים באמצעות הנדסת פרומפטים פשוטה ומדגימים דרכים לשיפור תשובות המודלים ללא צורך באימון נוסף
בנוסף הם מתעמקים ב
RAG - Retrieval Augmented Generation
ובסוף הפרק משוחחים על הדרישות והכישורים הנדרשים ממפתחי התוכנה של המחר.
Mark as Played
Transcript
Episode Transcript
Available transcripts are automatically generated. Complete accuracy is not guaranteed.
(00:00):
ברוכים הבאים להעונה השנייה של פודקאסט הטכנולוגיה מדברים פתוח.
אני ג'וש סלומון ואני אילן פינטו.
יחד אנחנו מדברים על כל מה שחדש בעולם הפיתוח והקלאוד,
וקשור ישירות או על הדרך לקוד פתוח.
ככה זה, אחרי שעובדים שנים באופן סורס, חייבים להעביר את זה הלאה.
בין לבין,
נזכיר גם עוד כמה באזורות כדי שנוכל לסגור פינה ולדון בכל מה שחשוב באמת.
(00:23):
אז שימו אוזניות,
תגבירו את הווליום ותעשו מקום למקצועניות
והמקצוענים שבאו לדבר איתנו פתוח ולעניין.
מדברים פתוח! מתחילים!
בוקר טוב, אילן.
בוקר טוב, ג'וש.
מה שלומך היום?
הגעגעתי.
כן, הייתה סיבה להתגעגע.
שמעתי שבהדרי אתה הקלטת פרק לבד עם לירן טל,
(00:46):
אז הגיע הזמן הנקמה והיום אני מראיין לבד.
אז מה אני עושה פה היום?
היום אתה יושב על הגריל ועונה לשאלות שלי.
וואלה,
מה תרצה לדבר היום, ג'וש?
אז לא יודע אם שהקשבת לפודקאסט שלנו,
אז בדרך כלל אנחנו מתחילים,
אנחנו מבקשים מהמרואיין שיציג את עצמו,
אז תציג את עצמך, אילן.
(01:08):
אני אציג את עצמי, אוקיי.
אז אני אילן פינטו, מנהל פיתוח ברדאט,
קרוב לשלוש וחצי שנים,
בקבוצת האקוסיסטם אינג'ינירינג,
מתעסק בהמון המון תחומים,
אבל בוא נגיד שהמשותף לכולם זה עבודה עם פרטנרים,
ממש כל השמות הגדולים בתעשייה,
(01:29):
כמעט מכל התחומים,
כמובן טכנולוגיים, בין אם זה מייקרוסופט וחברות הענן,
אינבידיה,
וגם לקוחות פנימיים.
זאת אומרת, יש לנו אינטגרציה כצוות אקוסיסטם אינג'ינירינג,
לעזור לצוותים פנימיים בשביל לקדם את המוצרים שלהם.
ולאחרונה יצאנו באמת הרבה מאוד לעבוד על עולמות
ה-AI ואני מניח שעל זה בדחה אתה רוצה לשאול אותי.
(01:52):
כן, האמת היא שקשה היום לעבור על פודקאסט, אימייל,
טוויט בלי לראות AI בפנים, אז...
שקל על כל פעם, פרם AI.
כן.
אז מה תספר, מה אתה עשית, עושה בתחום
AI ולמה בכלל אנחנו רוצים לדבר על זה? אז אחד מהדברים שככה איזשהו קונספט שנתקלתי בו,
(02:17):
חשבנו שזה שווה לדבר עליו,
נקרא רג.
שמעת עליו?
האמת ששמעתי, הוא ממך, אבל...
אבל כן, אז בוא תספר לנו מה זה בדיוק רג,
איזה בעיות זה בא לפתור ואיך אנחנו כחברה שלא מייצרת מודלים,
(02:39):
איך אנחנו בכלל מתחברים לדבר.
אז ככה, זוכר שבאזור שנות... בוא נגיד, אמצע שנות אלפיים,
היה מונח שקראו לו ETL,
Extract Transfer Load, נכון? אף אחד לא יודע מה זה.
פתאום יצא מונח כזה שנקרא ETL, נכנס לתוך העולמות של הדאטה אינג'נירי.
באיזשהו מקום אפשר לחשוב על רג, כן,
באנקדוטה, למשהו שהוא מאוד דומה ל-ATL.
(03:02):
רג זה ראשי תיבות של Retrieval Augmented Generation,
שזה בעצם שלושה פרקטיקות, שלושה סטפים אפשר לקרוא להם,
כן, כל אחד מהם כמובן מכיל עוד הרבה סאב-סאב-טאסקס,
אבל בסוף הפרקטיקה הזאת מאפשרת לנו לייצר LLM,
כן, היא בעצם המודל של מה שכולם, מודל AI בשפה הפשוטה,
(03:25):
שמאפשר לנו להוציא תשובות הרבה יותר מדויקות מתוך ה-LLM.
תכף אנחנו נדבר לעומת מה זה עומד.
LLM, בוא נרק נגיד, LLM זה מודל השפה, זה המודל שמדברת כאן.
לרדש-לנגווג' מודל,
כשאנחנו אומרים למשל ChatGPT3 זה סוג של מודל,
כשאתה מדבר עם ChatGPT,
(03:46):
זה אפליקציה שיושבת מעל ChatGPT3 שיודעת לדבר עם המודל ובעצם
לחשוף עבורנו את יכולות ה-NLP של המודל,
אבל את ChatGPT3 לצורך העניין,
יש עוד יכולות של תמונה וניתוח תמונה ודברים אחרים,
ואנחנו דרך ChatGPT3, לצורך העניין, כשאנחנו באתר,
(04:08):
פחות נחשפים או פחות יכולים להשתמש בזה.
אבל אם אנחנו הוריד את המודל LLM אלינו ונעשה לו איזשהו פיינטיונינג,
יהיה אפשר להשתמש ביכולות האלה.
הראג בעצם עוזר לנו יותר באזורים של ה-NLP,
ואם אני אפרק אותו רגע לשלוש,
אז בעצם יש step 1 שנקרא את RIVAL,
שזה בעצם חיפוש מידע רלוונטי,
(04:30):
Augmentation,
שזה בעצם ההעשרה של השאילתא שאני רוצה לשאול,
ו-GENeration שזה בעצם כבר יצירת השאלה.
יצירת התשובה.
סליחה, לא.
אוקיי, זה גם וגם, אוקיי?
כי אפשר גם לייצר שאלה באמצעות AI ולשלוח אותה,
ואפשר גם ללכת ישר וליצור תשובה.
זאת אומרת, יש פה איזה פיינטיונים,
אנחנו נדבר על זה כשאנחנו נגיע לרג קצת יותר מתקדם.
(04:54):
ושאלת בעצם איזה בעיה זה בא לפתור, אוקיי?
שזה באמת כאילו הבסיס בשביל בכלל להתחיל את הדיון.
אז כשאנחנו מדברים על מודלים של LLM,
Foundation Models,
הם נורא נורא נורא גדולים ולוקח המון המון זמן בשביל לבנות אותם.
נכון להיום,
אם אנחנו מדברים למשל על ChatGPT 4-O,
(05:17):
אני חושב שהוא מעודכן עד 2022. אם אנחנו מדברים על
ג'מיני, ג'מיניים הוא מעודכן באמת ל-2024 ואני חושב ינואר,
אולי עדכנו אותו,
אולי עד שתשמעו את ההקלטה הזאת,
עדכנו אותו טיפה יותר.
והעלות של יצירה של LLM היא גם מאוד מאוד מאוד יקרה.
ודבר אחרון, אם אני עכשיו ארגון שמכיל מידע,
(05:38):
בוא נקרא לזה רגיש,
או מידע שלא הייתי רוצה לחשוף למודל שהוא אצל כולם,
אלא רק ללקוחות שלי,
כרגע אם אני אשתמש במודל בלמה שלוש או משהו כזה זה פחות מתאפשר.
אבל אני כן רוצה שהמודל או שהתשובות שאני מספק ללקוח באמצעות
הצ'אט שלי יכיל גם את המידע הזה.
אתן דוגמה, למשל, ברדאטט, אחד מהמוצרים שעבדנו עליו,
(05:59):
זה איזשהו צ'אט מסדרת light speed, מה שנקרא,
שאני עכשיו רוצה לקבל מידע על open-shift,
גרסה מסוימת,
ואנחנו בעצם רוצים לתת לך תשובות, אבל תשובות מאוד מדויקות.
עכשיו, יש את מה שנמצא ברשת, רדאט שמה המון מידע ברשת,
שכל אחד יכול לבוא ולקחת,
(06:19):
ויש גם מידע שהוא ספציפי שלנו,
שנבנה על בסיס באגים שפתרנו או בעיות ספציפיות שפתרנו ללקוח מסוים,
מה שנקרא knowledge base פנימי.
אנחנו לא מפרסמים אותו,
זאת אומרת הוא מפורסם ללקוחות שיש להם subscription,
אבל הוא לא מפורסם באינטרנט,
אבל כן היינו רוצים לתת אותו,
למשל,
למישהו שהוא משתמש ב-OLS,
(06:39):
ב-chat GPT שלנו.
אז איך אנחנו מאשירים אותו?
באמצעות תהליך של רג, אנחנו יכולים להוסיף את המידע הזה.
אז אם אני אחזור רגע ליתרונות, אחד,
מודלים לא צריך לאמן בעצם את מודל הבסיס,
יש פה עלויות הרבה הרבה יותר זולות,
המידע לא חייב להיות זמין לכולם,
ודבר אחרון שלא דיברתי עליו,
(07:00):
ואולי זה היתרון הכי משמעותי של תהליך של רג,
זה כל מה שקשור להזיות, אוקיי?
מה שנקרא באנגלית הילוסיניישנס.
אבל לפעמים אתה שואל שאלה את ה-chat GPT,
מקבל תשובה בביטחון עצמי מאוד מאוד גבוה,
ובסוף,
כשאתה בודק את זה באמצעים אחרים,
או שאולי אתה בעצמך יודע את התשובה,
אתה רואה שבעצם chat GPT הנהה לך,
(07:21):
היה שטות גמורה,
והיה מה שנקרא בשפה...
מחרטט בביטחון.
איך?
משקר בביטחון או אילו ש...
מחרטט בביטחון.
עוזר, עוזר, המודל עוזר.
זאת אומרת, זאת דרך לקחת את ההשקעה שהשקיעו כל מיני גופים במודלים,
באימון של מודלים גדולים,
ולתאים את המודל הזה לצרכים שלנו במשירים ובזמנים הרבה יותר קצרים.
(07:45):
אני מניח שאת הרג אפשר להדכן הרבה יותר מהר ממה ש...
כן, ממש הרבה יותר מהר.
אנחנו מדברים פה על...
קודם כול,
יש שתי שיטות מרכזיות בשביל להדכן מודל.
אחת נקראת פיינטיונינג,
שהיא גם יכולה לעדכן את המודל בטווחים קצרים יחסית,
אבל עלות שלה ייקרה.
(08:05):
והרג, כשאנחנו מדברים על רג,
אם תלוי שוב בכמויות מידע שיש לך,
אבל אנחנו מדברים פה על עניין של שעות עד דקות בשביל לייצר עדכון.
אם מישהו משתמש ב-chat gpt 4o,
ב-המנועים,
מה שנקרא,
אז כבר היום,
אם אתם שואלים שאלה את chat gpt לגבי משהו שהוא עדכני,
(08:27):
ממש על 2024,
אז הוא ילך,
יחפש באינטרנט,
יביא לכם את המידע עדכני,
הוא יעשה איזשהו פעולת רג פנימית וככה הוא יציג לכם מידע.
אנקדוטה, אני עבדתי למשל עם איזושהי ספריית פייתון.
מה שקרה זה שהמנטיינר של הספרייה הזאת נפטר באופן מפתיע לפני שלושה שבועות או ארבעה שבועות,
(08:52):
משהו כזה,
אחד מהילדים שלו אני חושב העלה לרידמי את זה שהאבא נפטר ושכאילו,
כרגע הספרייה הזאת לא מתוחזקת וכל מיני...
נתן את הפרטים האלה.
אז שאלתי שאלה על הספרייה הזאת,
את chat gpt,
שוב בידיעה שהמיינטיינר נפטר,
וקיבלתי תשובה על הספרייה וגם קיבלתי את הפידבק הזה שהמיינטיינר נפטר והוא
(09:17):
אולי שווה לנסות ספרייה אחרת זאת אומרת שהוא ידע לי תדקן,
ללכת ולהביא איזשהו מידע, מידע משלים מהאינטרנט ושוב,
הוא עושה את זה כנראה באמצעות רג או כלי כזה או אחר.
אז בואו... בואו... זה... הכול נשמע כזה מאוד גדול ומופשט.
אתה יכול לתת לנו איזה דוגמה,
(09:40):
להראות לנו איך... מה... איך אנחנו עושים את זה, מה אנחנו מקבלים מזה.
אז אני חושב שלפני שאנחנו ניגש לדוגמה אולי בעצם צריך רגע לשים פה איזשהו מונח בסיס שהוא הבסיס לכל... לכל הדבר הזה.
כל היכולת הזאתי וזה פרומפט אינג'ינרינג.
חו... זה גם... זה... שומעים קצת פחות מ-AI אבל מי שפותח עיניים...
(10:02):
מי שפותח עיניים, אוזניים, שומע כל היום פרומפט אינג'ינרינג.
לא יודע, אם הנדס תוכניו, אתה מהנדס פרומפטים?
בעתיד אני חושב שזה אנחנו נהיה כולנו כנראה מהנדסי פרומפטים בצורה...
בין אם אנחנו יודעים את זה ובין אם לא. זה נראה לי שזה לשם הולך הכיוון.
כמו שאתה יודע, מחפשים בסטאק אוברפלו, אתה מהנדס סטאק אוברפלו?
לא, אבל פה זה קצת יותר משמעותי.
אני אקח רגע את איזה משהו שאוהד ענף לוי שיתארח אצלנו באחד מהפרקים אמר לי,
(10:28):
במה שנקרא בשיחת קפה,
הוא אמר לי ש... אמרתי לו, תשמע, זה הופך להיות סקיל מהותי?
אז הוא אמר לי, כן, זה כמו שבשנות האלפיים,
היו כאלה שידעו לחפש בגוגל והיו כאלה שלא ידעו לחפש בגוגל, נכון?
זה היה איזה מין כזה חצי סקיל כזה שהיית צריך לדעת איך לכתוב את המילים,
באיזה צורה,
וגם יהיו כל מיני סינטקסים כאלה ואחרים.
(10:48):
פומפט אינג'ינירינג זה אותו רעיון.
אז מה זה בעצם פומפט אינג'ינירינג?
ה-LLM בסוף זה כמו דג. אין לו זיכרון.
כאילו המודל עצמו, המודל הבסיסי,
אני כרגע לא מדבר עם כל העטיפות של UI כזה או אחר,
אבל המודל עצמו... אגב, היה לך פה אילוזינשן,
אני במקרה,
הייתי בחופש של לפני כמה זמן,
(11:09):
באקווריום בירושלים,
לדגים יש זיכרון.
זה סתם הוציאו להם שם רע.
יש הרבה דגים שיש להם זיכרון.
אני מתבסס על הסרט "מוצאים את נמו",
יש שם את הדג הזה עם השלוש שניות שהוא זוכר.
יש פה אילוזינשן.
ה-LLLM הוא...
הוא נקרא ככה.
עכשיו,
אתה יודע מה,
פתאום אני...
חצר לי איזה משהו שבאמת ל-NVIDIA יש מודל שנקרא "נימו",
(11:32):
או ככה הם כפחות קוראים לו המודל שלהם,
אז אולי בגלל זה באמת.
אז פרומפט אינג'ינירינג...
רגע, נחזור לזה.
מה בא לפתור הפרומפט אינג'ינירינג?
בעצם,
אלה-LLM אין לו שום זיכרון ובעצם אנחנו צריכים תמיד לדאוג לתת לו איזשהו קונטקסט מסוים,
אוקיי?
צריך לספק לו קונטקסט וכשאנחנו מדברים על קונטקסט הזה,
יכול להיות בכמה צורות (11:52):
אחד,
זה מי השואל או למי אני רוצה לענות,
בסדר?
ותכף אני...
יש לנו דוגמה יפה שהכנו.
שתיים, איך אני רוצה...
בעצם על מבנה השאלה, מה ההיגיון מאחורי השאלה?
למשל, אחת מהשיטות של פרומפט אינג'ינירינג,
נקראת few shots,
אני מספק כמה דוגמאות לאיך נראית שאלה ותשובה ואז בעצם ככה...
(12:17):
ככה המודל לומד איך לענות, אוקיי?
זאת אומרת, מה...
איך אני מצפה?
למשל,
אני אתן לו ארבעה משפטים,
אני אומר לו אחד נגטיב ואחד פוזיטיב ואחד נגטיב ואחד פוזיטיב,
אני שואל אותו את המשפט החמישי,
הוא ידע עכשיו להגיד לי אם זה נגטיב או פוזיטיב לפי ההיגיון שלי.
זאת אומרת,
עימדתי אותו איזשהו היגיון כלשהו, סיפקתי לו את הקונטקסט.
ודבר אחרון שגם ראיתי הרבה ספריות משתמשות בו,
(12:40):
זה בעצם,
נניח עכשיו שאלתי שאלה,
אבל מה שמעניין אותי זה לא התשובה,
זאת אומרת,
לא הטקסט,
אלא אני רוצה עכשיו לקבל איזשהו מספור מאחד עד עשר.
אני רוצה שהוא ייתן לי evaluation,
אז אני נותן למודל איזשהו guidelines כאלה ואחרים,
על איך אני רוצה לקבל את הציון ואז אני אשאל אותו איזושהי שאלה תעריך לי את
(13:02):
הטקסט הזה והזה נניח יש לי תקציר לסרט אני רוצה שהוא יעריך לי תקציר הסרט איך הסרט.
אז אז ואני אגיד לו מאחד עד עשר ואני אתן לו את הפרמטרים
כדי לקבוע מה זה אחד ומה זה עשר בסדר כל הרעיון בעצם זה לנסות,
לתת את הקונטקסט ולהסיר כמה שיותר אי-דיוקים שכל מיני מילים או קונטקסטים כאלה ואחרים יותר נהירים כן,
(13:25):
מה שהיא עושה לבן אדם אם אתה שואל אותו שלוש אותיות מה זה אומר ואתה לא אומר לו לאיזה תחום זה קשור אז הוא לא ידע כן.
זה הרעיון בגדול.
אם אני זוכר נכון גם איזה אפשר בפרנטיקינינג להגיד לו גם לשלוט לו על
ה-illusination גם להגיד לו אם הוא יהיה יותר דעתן או פחות דעתן כל מיני...
(13:46):
לשלוט ב-illusination יש פרמטר שנקרא temperature יש כמה פרמטרים שיותר שולטים בדבר הזה אבל כן אפשר כמו
שאמרת להגיד לו תהיה דעתן תהיה...
תהיה מצחיק תהיה יותר זה כן כאלה דברים אפשר להגיד לו.
בוא נתן לך דוגמה למשל ליפה שהכנו מראש.
זהו אילן.
יש לך במקרה דוגמה להציג לנו...
(14:08):
במקרה במקרה.
אז דוגמה שככה באמת תמחיש את העניין הזה?
רק לפני זה דוגמה אמיתית אנחנו עכשיו אנשים לא רואים את זה היא אמיתית.
בסטיידשוטס אנחנו מקריאים משהו שהיה באמת ובתרגילים לעברית.
נכון.
האמת שהייתי יכול לשאול את זה גם בעברית ולראות איך זה נותן אבל שאלתי את זה באינטרנט.
אז לקחתי למשל את השאלה הכי פשוטה שאנחנו,
(14:32):
אני וג'וש בטח מכירים,
אני רוצה להסביר מה זה קוברנטיס, אוקיי?
השאלה פשוטה זה מה מזג האוויר בחוץ היום.
קוברנטיס...
השאלה פשוטה, התשובה מסובכת.
התשובה מסובכת.
אז בגלל שהתשובה מסובכת אז אמרתי לו אוקיי,
בקונטקסט, תסביר לילד בכיתה א' עם הפרעות קשב וריכוז,
מה זה קוברנטיס, אוקיי?
(14:53):
יפה.
מה קיבלתי כתשובה?
קודם כל, מחולק לשתי בולטים מקסימום, כן?
לא קיבל...
זאת אומרת, לא יותר מדי...
לא יותר מדי מלל, זה בסך הכל יש פה, אני לא יודע, זה 5-6 שורות.
צ'אט ג'יפיטי לקח את זה וכמובן נתתי לו קצת אינסטרקשן לפני זה,
כאילו איך להסביר לילד אם הייתי את זה, זאת אומרת,
(15:13):
אמרתי לו שזה צריך להיות קצר.
דבר שני, אמרתי לו, תשתמש בדמיון.
אז מה הוא עשה?
הוא לקח ודימה את זה לגן ילדים,
ואמר שבגן ילדים...
גן משחקים.
פליי גראונט.
בסדר.
ובגן משחקים הזה יש טויזנד גיימס ולכל משחק יש משמעות,
(15:37):
ואז הוא אמר קוברנטיס הוא כמו העוזר שבגן משחקים,
שעוזר לכל משחק להיות במקום הנכון, בזמן הנכון,
כדי שיהיה לכולם כיף.
והוא דואג שכל הזמן יהיה לכל ילד משחק אחד,
ושכל ילד לא מחכה יותר מדי למשחק הבא, אוקיי?
מטפל בבעיות אם יש למשל עכשיו קונפליקט בין שני ילדים על משחק.
(16:03):
יפה.
דימוי נחמד, לא?
וגם שאם משחק נשבר אז הוא מתקן אותו, או זה...
גם את זה הוא אמר.
דימוי מאוד מאוד מאוד יפה,
אני חייב לציין שאם היו מבקשים ממני להסביר את זה לילד עם...
בכיתה א',
לא בטוח שהייתי מגיע לדימוי כל כך מוצלח.
כן, ושוב,
זה נעשה בצורה קצרה,
(16:23):
והסיבה היא בגלל שהוא קיבל אינסטרקשן,
זאת אומרת,
אם תשאל אותו סתם,
מה זה קוברנטיס,
אתה תקבל הסבר מאוד מאוד ארוך ומאוד מורכב.
עכשיו,
עלינו רמה, שאלה שנייה,
והפעם, שאלנו אותו שיסביר מה זה קוברנטיס, אבל הפעם,
לסטודנט למדעי המחשב,
שרוצה תשובה מפורטת עם הסבר על כל החלקים השונים.
(16:45):
עכשיו, פה קיבלתי תשובה של...
לא צילמתי את כל המסך, אבל יש פה הרבה שורות, אוקיי?
קיבלתי, נראה לדעתי, כמעט את המקסימום, עם פירוק ופירוט של מה זה קלאסטר,
ומה זה נוד,
ומה זה קונטרול פליין,
וכל החלקים של הקונטרול פליין,
ומה כל אחד עושה ומה כל אחד חושף,
ואי צידי, והקיצר באמת את כל החבילה.
(17:09):
ושוב, ההבדל בין שני השאלות היה באמת הפרומפט אינג'ינרינג,
זאת אומרת, ההנחיות של איך לפתור את זה.
מאוד מעניין, אבל איך זה קשור לראג? מה... אנחנו התחלנו לדבר על ראג, לא על פרומפט אינג'ינרינג.
יפה, אז בשביל להסביר את זה,
אנחנו נצטרך להסביר איך נראה תהליך של ראג, אוקיי?
אמרתי, רטריוול אוגמנטי ג'נריישן, עכשיו בוא נפרק את זה.
(17:32):
תהליך ראשון,
לפני בעצם שאני מתחיל עם הראג, זה שאני אוסף את המידע הרלוונטי,
שאותו אני רוצה אחר כך להכניס לתוך המודל בשביל להשאיר את המידע, אוקיי?
זה יכול להיות דוקומנטציה שיש לי, זה יכול להיות מידע באינטרנט,
זה יכול להיות כל סוג של דאטה סט,
ואני בעצם צריך להכין אותו בצורה כזאת,
(17:53):
שאחר כך אני אוכל לשאול עליה שאלות, בסדר?
אני אקח דוגמה הכי פשוטה,
דוקומנטציה שיש אצלי ואני רוצה להכניס אותה לתוך הראג,
אז אני מכין אותה לתוך איזשהו פורמט שילאי אחר כך יותר קל לצרוך אותה,
ומעביר אותה בתהליך שנקרא אימבדינג, אוקיי?
מה זה התהליך הזה אימבדינג?
אני לוקח בעצם את הטקסט הזה,
(18:15):
שובר אותו לחלקים,
ומקודד אותו באמצעות מודל שפה, יהודי לקח,
יש כמה מודלי שפה שהם מותאמים לזה,
שבעצם אחר כך יאפשרו לי לעשות שליפה של המידע,
באמצעות similarity search משמעותי, אוקיי?
similarity search בעצם אומר,
(18:35):
יש לי עכשיו איזשהו טקסט מסוים, אם אני עכשיו אשאל,
what is קוברנטיס, הקידוד שנעשה יידע לתת לי,
כשאני אבצע את החיפוש אחר כך מחדש,
מה שנקרא את ה-reattribal,
הוא יידע לתת לי את ה-chunk או קבוצת צ'אנקים הכי קרובה שמכילה את התשובה לשאלה ששאלתי, בסדר?
זה לא LLM, אני לא מקבל תשובה של LLM, אלא אני מקבל את החתיכת טקסט הכי רלוונטית לשאלה ששאלתי, בסדר?
(19:04):
זה האיכודיות של התהליך אימבדינג,
ותהליך אימבדינג בעצם, הצ'אנקים האלה נשמרים בתוך...
אתה מהנדקס את הדאטה בצורה כזאת שמתאימה לא לחיפוש רגיל,
אלא לחיפוש LLM, שזה חיפוש similarity search, שהוא שונה לגמרי.
(19:24):
נכון מאוד.
שוב, יכול להיות שיש דאטה בייסים שעושים את זה,
אני יודע למשל ש-redis, למשל, ו-elastic shots search,
מציעים שירות דומה אבל הם עושים את זה,
שוב,
על בסיס אימבדינג ובצורה שונה מוקטור...
סליחה, מ-דאטה בייס רגיל.
הסגמנט הזה של הדאטה בייסים נקרא VectorDB, בסדר?
כן.
כי הצורות חיפוש...
שגם הוא נעשה מאוד מודרני,
(19:46):
אני יודע שיש היום ב-Postgrass כבר נצאים גם VectorDB,
הרבה יצרנים, יש מוצרים יהודיים והרבה יצרנים רצים לכיוון הזה.
זה ממש טופיק בפני עצמו, אבל ממש, אתה יודע,
כל היצרנים הגדולים נכנסים לשם,
יש כמה שמות מובילים,
כמו milvisDB וכרומהDB וכאלה,
(20:08):
יש להם לפחות נכון להיום,
עדיין קצת מה שנקרא,
הבעיות של חוסר maturity לאנטרפריז כי הם עדיין לא נותנים את כל השירותים,
אתה יודע,
אקספורט,
אימפורט ומולטי קלאסטר ורזיליאסים וכל הדברים האלה הם עדיין לא לגמרי שמה,
אבל מבחינת ביצועים אנחנו מדברים פה על יכולות ביצועיות מאוד מאוד
מאוד גבוהות ואינדוקס מותאם לדבר הזה מאוד מאוד-מאוד טוב.
(20:32):
אז זה החלק הראשון.
אז בחלק הראשון לקחנו, עשינו אימבדינג ואז בעצם יש לנו רטריבר.
בעצם יש שתי שפות,
סליחה,
הפרמוקים של פייתון,
לנגצ'יין ולמה אינדקס שהן מאוד מאוד חופפות ביכולות שלהם,
אולי יש עוד אבל בוא נגיד שאלה כרגע מובילות.
והמינטיינרים שלהם בחיים.
זה מינטיינרים גדולים,
(20:53):
אני לא זוכר איזה מהם,
אני חושב אבל שאחד מוחזק על ידי פייסבוק לדעתי.
מין הסתם למה אינדקס אבל אני צריך לבדוק את זה עוד פעם.
אבל כן,
קהילות מאוד מאוד פעילות וכל שאלה שיש לך אתה פונה בדיסקורד והם מונים
לך באמת ברמה של דקות,
ממש.
והספריות האלה גם מתעדכנות ברמה מאוד מאוד מאוד גבוהה.
(21:15):
ובעצם את כל הרג אתה יכול גם לנהל דרכם ואחד מהשירותים שהם נותנים לך זה בעצם הרטריבר.
הרטריבר זה איזושהי פונקציה שאני יכול להגדיר.
אגב,
אני יכול להשתמש גם ברטריבר בסיסי שכבר מציעים,
שבעצם אני מגדיר בו איך אני רוצה לשלוף את המידע, אוקיי?
כשאני שואל עכשיו, אני רוצה עכשיו לשלוף מתוך הוקטור DB,
(21:37):
מאיפה אני רוצה לשלוף?
לשלוף.
נניח עכשיו יש לי,
כמו שאמרתי קודם, לקחתי דוקומנטציה של כמה מוצרים,
אז הרטריבר ידע לשלוף מהאינדקס הרלוונטי כי בכל אינדקס,
כל אינדקס מוכוון למוצר אז הוא ידע ללכת ולשלוף מהאינדקס הרלוונטי,
בסדר?
אז עד עכשיו דיברנו על הסטפ הראשון שזה הרטריבר.
(22:00):
רטריבר.
זאת אומרת עד עכשיו אנחנו רק אספנו את הנתונים ושמנו אותם
באיזה צורה שנוכל לגשת אליהם מהר כשאנחנו צריכים.
נכון, עכשיו יש לנו את השלב של האוגמנטל.
אז אמרנו יש לנו פרום, נכון?
עכשיו אנחנו רוצים להשאיר את הפרומטט הזה במידע שקיבלנו.
מה שאנחנו נעשה, ניקח למשל,
לנקצ'יין למשל,
מאוד מאוד מאפשר,
(22:21):
מאוד מאוד עשיר בצד הזה של האוגמנטיישן,
הוא מאפשר לי לקחת את הטקסט הזה,
להכניס אותו לתוך השאלה שלי במקום מסוים שאחרי זה זה יישלח, אוקיי?
עכשיו,
כשאנחנו מדברים על האוגמנטיישן הזה,
תחשוב שזה שקוף מבחינת היוזר, הוא לא יודע.
הוא עכשיו שאלה מאוד פשוטה, מה זה קוברנטיס?
(22:43):
אני הלכתי לדוקומנטציה של קוברנטיס,
ויכול להיות שהלכתי לכמה אזורים של דאטה,
ואולי גם הלכתי ואספתי מידע על הלקוח, אוקיי?
אני יודע שזה לקוח מתחיל, אז אני אכניס לתוך הפרומט שאני עכשיו אשלח,
תענה כאילו אתה עכשיו מומחה DevOps עם ניסיון של שלוש שנים, אוקיי?
(23:04):
קונטקסט.
עכשיו אני אומר לו, הלקוח הזה, השואל הוא בעצם לקוח של אופן שיפט.
זאת אומרת שאתה צריך גם לענות לו בקונטקסט של אופן שיפט,
והשאלה שהוא שואל היא רלוונטית לטקסט הזה והזה והזה.
עכשיו, כל הדבר הזה, הוא נעשה, הוא בשליטתך,
או ש-Once עשית כבר את ה-Retrival,
(23:26):
זה מה שזורק לך ה-Retriver,
מה שאתה מקבל מה-VectorDB, ו...
שליטת מין?
השואל?
לא השואל, שליטתך כמי שבונת את הרג.
כאילו אתה מכניס פה עוד לוגיקה,
ממש אתה כותב קוד שאומר, תביא את זה,
תפנה קודם לדאטאבייס הזה או לדאטאז...
(23:47):
ורק אם זה לא שם,
תלכתבים משם,
ורק אם זה לא שם,
תלכתבים משם,
דברים כאלה?
כן, כן, זה עולם שלם של לוגיקות שאתה יכול לאסוף,
למשל אתה יכול, וזה שהוא ברג מתקדמים יותר,
יכול להיות שעכשיו קיבלתי תשובה מה...
מה... מה...
מה...
מה...
מה תהליך של הרג,
והתשובה הארוכה.
שלבתי עכשיו מסמך של א-1500 תווים,
אני לא צריך את כל זה, אז אני יכול לקחת את ה...
(24:10):
את החלק הזה,
אשלוח אותו ל-Summeriser, ל-LLM של Summeriser,
ואומר לו,
תשמע,
תמצת לי את זה,
יש פה 1,500 שורות,
תמצת לי את זה לשתי משפטים.
או תן...
תן לי ציון ל...
לרלוונטיות של ה...
של הטקסט הזה, לשאלה שנשאלה.
ואז את זה אני אצרף, ואני קוראה כמה איתרציות כאלה.
כל זה חלק מהתהליך,
זה קוד שכתוב בפייתון שמקסתם את התהליך עוד פי.
(24:33):
נכון.
בעצם כשאנחנו מדברים על תהליך של בנייה של רג,
זה בדיוק חלק מהתהליכים שצריך לעשות, נכון? זאת אומרת לראות איך...
איך בונים את הפרומט הזה באמצעות כל המידע עכשיו שקיים לי,
אוקיי?
והחלק האחרון זה ה...
ה-GENERATION שזה בעצם השליחה ל-LLM.
כמו שאמרתי בתחילת השיחה,
בעצם אני יכול לשלוח את זה לעשות כמה איתרציות כאלה.
(24:56):
זאת אומרת,
אני לא חייב לשלוח את זה ישר ל-End user,
אלא אני יכול לקחת את הפרומט הסופי שיצא לי,
אני יכול לשלוח אותו לאיזשהו LLM, למודל אחד, ולראות מה התוצאה.
לא אהבתי את התוצאה,
אז אני אשלח את זה עוד פעם, אני אעשה פיינטיון,
זאת אומרת אני אשנה את הפרומט,
יוסיף מילה, יוריד מילה, אולי אשתמש בטקסט טיפה שונה,
(25:18):
אשלח את זה עוד פעם.
לא אהבתי את השאלה, את התשובה, אולי עכשיו אני מחליט
לשלוח את זה בכלל למודל שלישי, כאילו למודל אחר, אוקיי?
הכל הכל נמצא בשליטה עד שאני בעצם מגיע לתשובה אידיאלית. עוד משהו יפה למשל
שמשתמשים בו בראג לדעתי כי אין לי די בטוח,
(25:38):
זה בשביל להגביל, סליחה, בפרומט אינג'ינירינג, לא בראג, סליחה,
בפרומט אינג'ינירינג,
זה בשביל להגביל תשובות.
למשל אם אני עכשיו נמצא במדינה באזור המפרץ הפרסי,
ואני עכשיו רוצה לשאול איך בונית הצצת אטום,
איך ננסה לשאול את זה בצ'ט ג'י פי טי,
זה ייחסם, אתה לא תקבל תשובה, אוקיי? למה? כי צ'ט ג'י פי טי יודע
(26:01):
מאיפה, איפה אתה נמצא, או יכול לפי איי פי לנחש איפה אתה נמצא,
או יכול להיות שיש לו איזה הנחיות כאלה ואחרות,
לא לענות לשאלות מסוימות,
זה נכנס לתוך הפרומט ולכן לא תקבל תשובה לשאלה כזאתי,
או לא תקבל תשובה לקללות או יש כל מיני דברים כאלה ואחרים,
שאמצעות פרומט אינג'ינרינג חכם מונעים ממני כיוזר לקבל תשובה.
(26:23):
אם כבר נכנסת לזה אז יש גם כל מיני סיפורים אני לא יודע אם אגדות אורבניות או לא,
שכשאתה מצליח לפרוץ את הדבר הזה ולתת למודל פרומפטים שלא יתכוונו שתיתן,
אתה יכול לקבל תוצאות מאוד מאוד מעניינות כמו לשכנע את ה...
סוכן את ה...
סוכן מסר האוטומטי שיש לך למכור לך בהנחות מאוד גדולות או דברים מהסוג הזה.
(26:48):
זה מה שנקרא פורט פויזנינג זאת אומרת כשאני מכניס הרי מידע כשאני כותב שאלה.
למודל ללם כזה או אחר באיזשהו שלב מוקדם או מאוחר יתבצע אימון על השאלה ותשובה שלי.
כנראה אם לא יעשו ניציון על זה אז כנראה שזה ייכנס אם אני מספיק
מתוחכם בשביל להכניס איזשהו משהו שנראה תמים אבל כשהוא ייכנס לתוך ה...
(27:13):
תשפיע על כל ה... ל... אם אני אשפיע על איזשהו גוף מסוים אז אני יכול
לבצע פה איזשהו אקספלויט אוקיי וזה נורא קשה לעלות על הדברים האלה מאוד מאוד קשה.
שוב, זה אחד מהדברים שהצטרך להתפתח.
איך אני עכשיו מונע מהאקרים או כל גוף כזה או אחר לזבל לי או
(27:35):
להכניס לי איזשהו מידע לא טוב לתוך ה... ל...
שלי? לא, זה שני דברים. גם מידע וגם פרומפט. אתה יכול
עכשיו להגיד, אלה, להם, שוב, זה מאגדות אורבניות,
הוא מוכר של מכוניות, בוא נשחק עכשיו משחק.
אני אומר משהו ואתה חוזר אחריי ואז אתה אומר,
(27:55):
טוב, אני מוכר לך מכונית ב-20 דולר.
יש פה הקטע שבגלל שהממשק שלך מאפשר גם תכנות המודל ומרכאות,
זה חור של סקיוריטי, כמו שאנחנו מכירים מכל ה...
כל ה... SQL Injection וכל הדברים האלה.
(28:15):
מהרגע שיש לך איזה משהו שעובר מהמודל שלך לתוך תוכנה,
מהאינטרסט שלך לתוך תוכנה,
אתה צריך לעשות שם סניטייזינג ברמה המטורפת כי בסוף מי שמצא איך להפניח שם זמן.
נכון.
דרך אגב,
זה גם עובד לכיוון מהצד השני של לחשוף מידע,
לא רב,
שאתה רוצה לשמור.
(28:37):
הרבה מפתחים לוקחים קוד מהעבודה שלהם,
מכניסים אותו לתוך ה-ChipT,
או לא משנה, לתוך מודל כזה או אחר,
ואומרים לו,
תתקן לי את זה,
תכתוב לי את זה בצורה טובה יותר.
מה הבעיה?
שזה באיזשהו שלב להיכנס לתוך המודל,
ואם זה מידע שופרופייטר...
זה יכול לצאת למישהו אחר כך בפרום...
(28:57):
כן,
עם המידע,
עם החלק הרלוונטי שהיה...
אסור לך לחשוף ולכן זה מסוכן וצריך להיזהר עם זה.
כן, בוא נחזור רגע לראג.
יש עוד שאלות על ראג, אז באמת יצאה פה שיחה כי באמת פרמפט אינג'ינרינג הוא מעניין,
והוא נושא אחר.
איך למשל אתה עושה...
(29:19):
עושים בקרת איכות על הנתונים שאתה אוסף לראג?
איך אתה...
בסך הכול,
אני מניח שגם ב...
אם אתה מאמן את המודל מתוך הקייסים שיש לך של support של רבית.
אני חושב שגם אם אתה תתאמץ,
תמצא זבלים,
יש שמה דברים שלא ניצחו נכון,
(29:39):
לא עשו נכון,
אז איך אתה יודע לעשות מקרת איכות לדברים האלה?
כי בסך הכולל על כמויות דאטה מאוד גדולות ואתה לא חושב שבן אדם יעבור על כל...
אז אחד מהדרכים היצירתיות לעשות את זה זה באמת לשלוח את הטקסטים ל-LLM,
ולתת לו אינסטרקשינס של מה אתה רוצה שיהיה בתוך הטקסט הזה ומה לא.
(30:00):
זה לא...
זה אף פעם לדעתי לא...
לא תוכל למנוע מצב שבו העין אנושית לא מסתכלת על זה,
בטח לא בכלים של היום,
ובטח לא כשזה מידע רגיש.
אבל שוב,
צריך להביא את המידע ממקורות אמינים,
ממקורות שמבחינה לגאלית מותר לך לחשוף,
אפשר להעביר את זה תהליך של ריפיינמנט,
(30:20):
באמצעות כלים שאנחנו כבר מכירים,
מעולמות הדאטה אינג'ינירינג ומעולמות...
ומעולמות אחרים.
להשתמש כמובן ב-LLMים ייעודיים בשביל הדברים האלה ויש,
יש לו מעט,
האגינג פייס מלא בכאלה,
סאמרייזרים וכל מיני כאלה,
גם צריך לפעמים להלבין,
נכון?
יש לי עכשיו מידע והוא מכיל מידע של...
(30:41):
כאילו יש לי טקסט אבל הוא מכיל מידע של לקוח.
אני לא יכול לשים את השם שלו עכשיו.
אני רוצה רק את התשובה, לך תלבין את זה עכשיו.
זה גם עבודה, אוקיי?
אז זה עולם, זה עולם ש...
בפני עצמו,
שוב,
הרבה,
בשלב הזה מאוד מאוד דומה לדאטה אינג'ינירינג.
זאת אומרת, עוד אין שם בשורות,
אבל אני מניח שיעלצו לעבוד על זה מאוד קשה כי בסך הכל,
אה...
(31:01):
זה א' ב', אם אתה רוצה לעשות...
ככל שאתה תרצה יותר להסתמך על...
על מודלים כאן שעבור רק,
אתה תצטרך לוודא שהקווליטי שלהם יותר ויותר טוב.
גם הרבה אנטרפרייזים, איך שאנחנו רואים את זה, הולכים לכיוון הזה של...
של רג.
כי זה, כמו שאמרתי, זה זול, זה זמין, יחסית.
(31:22):
אני לא רוצה להגיד קל, כי זה כן יש בזה עבודה, אבל זה לא עכשיו אה...
איזשהו דאטה סיינטיסט שיושב ומנתח את זה לעומק.
מהנדס בק-אנט טוב,
עם ראש פתוח, שעושה הסבה קטנה,
יכול להיכנס לזה די בקלות.
לא, זה ברור, רק אומר, אנחנו רואים את זה,
(31:43):
אנחנו רגילים כבר לצ'טבוטס כאלה,
לא יודע כמה זמן,
אבל זה צ'טבוטס שנכתבו כפלואים,
כלוגיקה,
כשהיה לך שליטה מלאה על מה שהם עושים.
ברגע שצ'טבוט מבוסס אליהם,
אתה צריך לוודא בצורה אחרת את האיכות שלו ואיך הוא עובד,
וזה שאתה באמת לא יכול לעבוד עליו וזה.
(32:06):
יש לך להגיד משהו על הקשר של זה ל-Instruct Lab, למשל?
כן, לא יודע למה,
זאת שאלה שבאמת חוזרת על עצמה הרבה פעמים אם יש קשר,
אז אין,
אין קשר.
Instruct Lab נמצא בעולמות הפיינטיונינג.
הוא בא יותר לעזור, לעשות פיינטיונינג בצורה קלה יותר.
שוב, לא לאנשים שמתמחים ב-Machine Learning,
(32:29):
לאנשים שלא באו לעולם הזה,
ומאפשר בעצם לתרום את הפיינטיונינג שלי לתוך מודל,
פה אני מזכיר,
אנחנו לא מייצרים מודל,
אנחנו מייצרים בסוף,
מייצרים,
מעשירים את המודל,
אבל המידע שאנחנו מייצרים התווסף לתוך מודל קיים,
אנחנו לא מייצרים מודל חדש,
אם צריכה כלל מייצר מודל,
אז הם משלימים אחד את השני באיזשהו מקום,
(32:51):
אבל לא,
אולי קצת מתחרים אחד עם השני, אבל הם שונים, זה לא, זה שתי...
מבחוץ זה נשמע די דומה, זה נשמע כמו לייצר את המידע שאתה שם ברגע.
אתה אומר, לפנים זה משלולים אחרים לגמרי.
חדמים אחרים, ואני אתן לך דוגמה, כאילו אולי את ההבדל הכי משמעותי.
כשאני משתמש ברג,
זו תשובה חד-חד ערכית, נכון?
כאילו שאלתי שאלה, מה שיש בטקסט זה מה שיופיע.
(33:13):
כשאתה מכניס מידע לתוך פיינטיונינג, לתוך אינסטרקט-לאב,
כי אינסטרקט-לאב הרי מייקר,
אני אקח עכשיו טקסט,
אני אגיד לאינסטרקט-לאב מה לעשות עם הטקסט הזה,
אני אספק לו כמה דוגמאות,
הוא ייצר המון סינתטיק דאטה בשביל ללמוד איך לעשות את זה.
כשאני אשאל אחר כך את השאלה מסוימת,
את המודל שעבר פיינטיונינג באמצעות אינסטרקט-לאב,
(33:33):
הוא יהיה לי יותר יצירתי, אוקיי?
הוא לא יכול ללכת לכיוונים אחרים,
כאילו,
סליחה,
הוא יכול ללכת לכל מיני כיוונים,
כי בסוף הוא השתמש ביכולות הסטטיסטיות האמיתיות של LLM,
לעומת רעג שבעצם הוא רק משתמש ב...
הוא השתמש בטקסט ששלחתי לו.
שולח לך את השאלה עם התשובה כבר,
או לפחות עם איפה למצוא את התשובה. כאילו אחד נותן לך ממש תשובה ואחד הוא...
(33:55):
באינסטרקט-לאב אתה יותר נותן לו דרך חשיבה,
כאילו אתה משקיע לו על ה...
נכון מאוד, זה הדימוי הכי טוב, נכון, זה דמיד דימוי מצויה.
אז עכשיו משהו שאתה באמת יכול לענות הרבה הרבה יותר טוב ממני,
כי אתה עבדת כבר בזה ואני הרבה פחות מחובר,
אחד הדברים שהכי מטרידים היום את...
(34:17):
הנדסי תוכנה בכל הזה, זה...
וקופיילוט יחליף אותי.
אני יותר לא אצטרכו עם הנדסי תוכנה,
אני אכתוב קומנט והקופיילוט יכתוב לי קוד והעולם...
המקצוע יעלה מהעולם.
אז מה...
מה המסקנות שלך לפחות נכון לאמצע 2024?
(34:39):
אתה מכיר מקצוע שנעלם מהעולם לגמרי?
לגמרי אבל.
לא, יש.
יש מקצועות שנעלמו מהעולם, זה לא...
סנודרים עדיין יש, נכון?
אה, אני יודע מה, נהגי מרכבות.
נהגי מרכבות,
ינאה,
סוסים הפכו להיות משהו תיירותי יותר.
תראה, להלם לגמרי אני לא חושב, מהנדסת תוכנה תמידה.
(35:00):
מהנדס תוכנה שהוא לא תיירותי, נקרא, לא...
שהוא אמית...
לא, כשעושים עבודה אמיתית.
יש דברים ש...
אני, אם מסתכלים...
שוב, אם אני מסתכל ככה על מה...
לפחות מה שאני נחשפתי ואני, אתה יודע,
גם מנסה להסתכל כאילו רגע טיפה קדימה,
אוקיי?
כאילו בסוף,
כשאנחנו מדברים על כל העולם הזה של ה-LLM,
(35:20):
הוא קצת דומה גם לדברים שהיה לנו בעבר, נכון?
וזה...
וה...
מהנדסי התוכנה אף פעם לא נעלמו.
פשוט הסקילסט משתנה והמידע שאתה צריך לדעת, אז הוא...
זאת אומרת, הידע והסקיל משתנה, אוקיי?
למשל, אם פעם מהנדס טוב,
היה מהנדס ג'אבה שמכיר את כל הניואנסים הקטנים של השפה ואת כל המודלים ואת כל היכולות,
(35:48):
ואת ה...
ויודע לעשות פיינטיונינג ופרפורמנס ופרופילינג וכולי וכולי,
אתה יודע מה אני מתכוון,
כנראה שבעתיד זה פחות נצטרך מהנדסים כאלה, אוקיי?
למה?
כי כנראה שאתה תוכל לבוא ולהיכנס למודל יהודי בג'אבה,
תגיד לו מה אתה רוצה והוא יספק לך את הפונקציונליות בצורה הכי גבוהה שיש.
(36:11):
אתה כנראה תצטרך לדעת לקרוא את זה,
אבל בוא נגיד שזה גם יהיה כנראה מספיק מתקדם בשביל גם לעשות את האבליואציה בעצמו.
זאת אומרת, אתה תשאל משהו, אתה תגיד אני רוצה פרפורמנס מסוים,
המודל יבוא וידע לתת לך את החתיכת קוד ביכולת מסוימת.
וזה בעצם אומר שהמהנדס העתידי יצטרך לדעת ולבוא ולשאול את השאלה בצורה המדויקת והנכונה ביותר.
(36:37):
זאת אומרת, הרבה יותר יכולת ארכיטקטונית,
יכולת הבנה של high level,
פחות הבנה של low level של details.
כמו למשל היום, אף אחד לא צריך לכתוב באסמבלי, נכון?
אתה אף אחד לא כותב 0 ו-1.
התווספו עוד ועוד שפות מעל שמפשטות את זה.
אני עוד כתבתי קצת באסמבלי, אז אני עוד זוכר, לא יודע, לא, אני רק ראיתי את זה ב...אתה יודע, במצגות,
(36:59):
זה המקסימום, לא היה לנו את זה.
אז אני חושב שזה דומה ושונה,
אז אני יכול להגיד שאני בקרה שלי ראיתי כמה מעברים, כאילו אחד,
הייתי כבר אחרי, אבל עוד היה קרוב, זה מאסמבלי לשפות...
לשפות...
דור שני, או לא יודע, C.
היה הפעם מה שקראו 4G, שזה המחוללי יישומים, שזה מסגנון,
(37:26):
אפליקציות שעובדות ישירות מעל דאטאבייס, access, דברים כאלה.
SQL עשה מהפכה דרמטית באיך מחזיקים דאטאבייס,
אני עוד...
כידדתי קוד שעושה שאילתות לדאטאבייס ב-C,
לא משהו שהוא...
סטרינג ב-SQL שזה שני עמודים ב-C,
כי אתה צריך מיליון אובייקטים לפתוח ולבדוק ואין נהלים ויש נהלים,
(37:50):
ולנהל את התיקורת, וכל הדברים האלה.
כן, כן, דברים מטורפים.
והמסקנה שלי עד היום הייתה,
שבעצם בגלל מה ההבדל בין מהנדסי תוכנה למהנדסים אחרים,
ההבדל שבגלל שתוכנה היא כלי מאוד מאוד אקספרסיבי,
אתה יכול לוותר הרבה דברים,
אתה פותר בעיות הרבה יותר נרחבות,
הרבה יותר גדולות,
(38:11):
כי הכלי שלך הוא יכול לעשות הרבה יותר דברים,
אתה משקיע שנה בכלי שעושה הרבה דברים,
אתה עושה משהו יותר גדול משנה בכלי שעושה מעט דברים.
אתה עובד שנה עם האדר או שנה עם קומפרסור,
אתה עושה דברים שונים.
אבל אני חושב שיש פה משהו שהוא עדיין טיפה שונה,
אולי פוטנציאלית,
כי אני מסכים,
(38:31):
כל מה שאמרת,
הבעיה שאם אתה מסתכל היום,
ואולי צריך לשנות את זה,
כמות האנשים שצריך,
הארכיטקטים שמבינים בזה,
היא משמעותית הרבה יותר קטנה מכמות המתכנתים.
והשאלה היא, האם יצטרכו את כמות האנשי תוכנה,
או זה,
ואין לי תשובה למרות שאני הייתי מאוד אוהב אותך.
(38:53):
אני לא אכפת אותך.
זה רק היה סקיל אחד מתוך סדרה של סקילים.
למשל,
כל מה שדיברנו עליו בעצם בשיחה הזאת,
כל מה שקשור לבנייה ואיסוף,
בנייה ואיסוף של דאטה, אינדקסינג בצורה נכונה,
מוכוון אמבדינג, פיתוח של...
רומט אינג'ינירינג.
פרומט אינג'ינירינג ודאי, גם כמשתמש וגם כצרכן.
זאת אומרת, אם אני היום אכתוב אפליקציה או איזשהו שירות,
(39:16):
אני אדע גם לייצר את הפרומט אינג'ינירינג שלו בצורה חמה ואת כל החיבור של הפרומט אינג'ינירינג.
לא דיברנו על ארצה של מודלים ומאינטננס של מודלים ואינטגרציה בין מודלים,
שזה עולם שלם שלדעתי עוד מעטים נוגעים בו,
בטח אפליקציות מתקדמות.
(39:38):
כמו אם עד היום היית צריך לדבג בעיות של קוד, אוקיי?
עכשיו צריך להתחיל לדבג גם בעיות של אתיקה.
איך מדבגים בעיות של אתיקה?
אני לא יודע, זה עוד לא חושב שהתחלנו עם זה בכלל.
איך אתה בכלל מוצא בעיות של אתיקה בצורה אוטומטית?
נכון, נכון, נכון.
אבל שוב,
זה יהיה איזשהו משהו שמהנדסי העתיד יצטרכו לתת על זה את הדעת.
(39:59):
היום רוב האפליקציות שלנו לא מתעסקות בזה,
הן נותנות מידע,
כן,
כן,
לא,
לא,
אבל פה עכשיו יש לך קצת חשיבה,
אתה צריך להתערב בתוך החשיבה הזאת.
ועוד נושא שקם טיפה, נגענו בו פה, אבל זה נושא המדידה והאיכות.
פרפורמנס, אבל כל נושא האיכות,
(40:20):
איכות התשובה של מודל כזה או אחר,
שהיום כבר מתעסקים בו כמובן,
אבל הוא בטח הולך ומתפתח והתפתח. אז בגדול,
אני לא יודע אם הצלחתי להעביר את התמונה,
אבל זה פשוט סט שונה לגמרי של יכולות שמי שלא יתפתח לתוכם ומי שלא יתחיל היום,
(40:41):
יהיה לו יותר קשה.
אבל ודאי שזה משנה את כל התמונה,
ואני אגיד במעמה מוסגרה,
ודאי שיהיו גם כאלה שייצאו,
זאת אומרת שיהיו תפקידים שכבר לא קיימים כי פחות יצטרכו אותם,
כי יוכלו לעשות אותם בצורה כזאת או אחרת,
וזה ואנשים האלה יצטרכו לעבור אבולושן.
לא רבולושן אלא אבולושן. זה זה במרבית המקרים.
(41:03):
אני חייב לציין שזה נושא מאוד מעניין.
כל המהפכות שראיתי היא הגדולה ביותר,
והיא זזה מהר.
ואחד הדברים הכי מדהימים זה אני ה-Introduction של צ'טי פיתי עד היום,
כמה הדבר הזה טס קדימה.
טס זה טס במהירויות... אני גם... אני רוצה לציין אותך בקצת,
(41:27):
ואני גם, אני רואה את הקצבים של השפות, של המודלים, של השירותים החדשים,
של התחרות שנכנסת, של החומרה. אין...
אתה יודע מה? אפילו בשוק המניות אתה יכול לראות את החברות האלה טסות למעלה.
כולם, זה לא רק אינווידיה, כן?
כולם מדברים על אינווידיה, אבל זה לא רק אינווידיה.
אנחנו מדברים פה על ARM, Qualcomm, כל החברות האלה,
(41:49):
פשוט כולם טסות קדימה, וזה רק בצד של הצ'יפים,
עוד מעט יגיעו גם לצד של האפליקציה, וגם הם יטוסו כולם למעלה.
זה לא המלצה להשקעה דרך כלל. -כן,
יש נושא קטן שלא דיברנו עליו, נושא אופן-סורס.
אני יודע שאייב-אם סעמה את
מודלים שלה, חלק מהמודלים שלה,
באופן-סורס.
מה, אתה רואה משהו גם בתחום הזה, ב...?
(42:13):
כן, כל הכלים כמעט הם אופן-סורס,
לאנג-צ'יין, למה אינדקס, אופן-סורס,
כרום הדיבי לדעתי הוא אופן-סורס ופייס,
פייס הוא גם כן וקטור דיבי, הרבה מהווקטורי דיבים
מציעים משהו בתחום האופן-סורס.
הרצה של מודלים, גם אתה יכול לראות כל מיני שירותים כאלה ואחרים,
(42:38):
כמו למשל, VLLM, עולם ה... שגם מאפשרים בצורה כזאת או אחרת...
שוב, אני לא מדבר רגע על הרישיונות, כן?
הרישיונות...
זה אופן-סורס, אבל עם רישיונות יכולות להיות בעייתיות,
אבל כן, קיצר, כל האקו-סיסטם הזה רווי באופן-סורס.
ומודלים עצמם.
אופן-איי-איי הייתה אמורה להיות אופן במקור,
(43:01):
היום לא כל כך ברור לי איפה היא נמצאת, אבל...
שוב, באגינג פייס יש לך גם, יש לך הכל. ההגדרה,
מה זה אופן-סורס,
כשאנחנו מדברים על מודלים,
היא נורא-נורא פלואידית.
אני לא חושב שהיא מאוד סגורה עדיין,
אבל כן, אפשר למצוא הרבה מודלים שאתה יכול להשתמש בהם,
בוא נגיד, גם לשירות פרודקשן, באגינג פייס.
(43:24):
אגינג פייס, למי שלא מכיר, זה פשוט ה...
זה ה-Git של המודלים, ה-Git-אפ של המודלים,
ובאמת אפשר למצוא שם הכול.
גם ביותר סקיוריטי דרך. אתה מכיר על מודלים שה...
קוד של הטריימינג שלהם נמצא באופן-סורס שאני יכול להריץ ולבנות את המודל הזה,
את המודל כולו,
לא רק על הדת השני, או ש... או מאוד לא הושן.
(43:46):
GROC, GROC זה באמת היחיד שיש את כל ה...
את כל המשקולות שלו בחוץ.
אתה יכול להוריד את GROC,
בהינתן ויש לך מספיק חומרה,
אז אתה יכול להוריד אותו.
חומרה, קצף וזמן. וזמן, הרבה זמן. GROC זה של אילון, אילון מאסק.
אז הוא הבטיח וקיים, הוציא את זה החוצה.
(44:07):
אני לא חושב שיש עוד אחד ב... בוא נגיד, בקוואליטי הזה שנמצא בחוץ,
אבל פחות התחום שלי, בוא נגיד ככה. אני יותר...
אתה יודע, רדאט, בוא נגיד ככה, אנחנו פחות מכוונים בשביל לבנות מודל,
אנחנו רוצים כן לעזור לחברות Enterprise להיכנס לעולמות של ה-AI בצורה קלה,
(44:28):
ואני חושב שכלים ל...רק כלים ל...
כמו Instruct Lab של פיינטיונינג, זה באמת, לדעתי,
נקרא לזה המג'ורטי של עולם האפליקציות,
שם צריך להתמקד, כי LLM'ים,
חברות בודדות לדעתי ישקיעו את הכסף בשבילם.
לא,
זה ברור לי וגם IBM עושה את זה ואנחנו משתמשים עוד אין של IBM,
(44:52):
אבל השאלה שלי הייתה רק בשביל לנסות...
עוד פעם, זה ה-open source, לנסות, להבין איך...
איך הדבר הזה הוא ביחס לעולם ה-open source. טוב?
איך היה להיות המרואיין? אני מקווה שסבלת,
שיותר לא תעשה פרקים בלעדיי.
אני לא אקרא יותר, לא.
(45:13):
מחכה, אני אשים אותך גם על הגריל,
אבל באמת אני מקווה ש...
התוכן יעזור לאנשים ושוב, What seen it for me?
למי ששומע,
זה ההבנה שהעולם הולך להשתנות, אוקיי?
ועכשיו צריך להתחיל לשים,
לפחות בוהן במים אם לא את כל הרגל כי זה המהירות שזה טס,
(45:36):
שלא תמצאו את עצמכם מאחור.
אני רוצה...
העולם זז כל כך מהר שאני...
שתי רגליים נשים. צריך להיות מוכנים ואנחנו לא יודעים בדיוק לאיזה
כיוון הדברים זזים, אבל צריך להיות מוכנים, אני ממש מסכים איתך.
היה תענוג לראיין אותך.
כיף.
או כל יום.
(45:57):
סך הכל, נרצה או לא נרצה, העתיד שם.
זאת אומרת, זה לא משהו שאפשר להילחם בו.
אנחנו כולנו נהיה מוקפי איי איי אם נרצה או לא,
אם נבוא בטענות לסוכן הנסיעות שלנו או הממוחשב או...
הכול יקיפ אותנו, אז כדאי להבין מה קורה שם.
(46:21):
זהו, נגמר עוד פרק והפעם אהיה עם אילן פינטו, המרואיין.
תודה רבה.
אז אנחנו נפגש בשבוע הבאה, בפרק הבא, סליחה, בפרק הבאה.
כישורים של דברים שדיברנו עליהם יופיעו בתיאור הפרק,
ואם יש לכם שאלות,
מוזמנים כמובן לפנות אליי או אל ג'וש,
רעיונות,
סתם גם על התוכן של הפרק שדיברנו, בכיף.
(46:43):
מוזמנים תמיד.
אז תודה רבה ולהתראות בפרק הבא.
להתראות בפרק הבא.
ברוכים הבאים להעונה השנייה של פודקאסט הטכנולוגיה מדברים פתוח.
אני ג'וש סלומון ואני אילן פינטו.
יחד אנחנו מדברים על כל מה שחדש בעולם הפיתוח והקלאוד,
וקשור ישירות או על הדרך לקוד פתוח.
ככה זה, אחרי שעובדים שנים באופן סורס, חייבים להעביר את זה הלאה.
בין לבין,
נזכיר גם עוד כמה באזורות כדי שנוכל לסגור פינה ולדון בכל מה שחשוב באמת.
(00:23):
אז שימו אוזניות,
תגבירו את הווליום ותעשו מקום למקצועניות
והמקצוענים שבאו לדבר איתנו פתוח ולעניין.
מדברים פתוח! מתחילים!
בוקר טוב, אילן.
בוקר טוב, ג'וש.
מה שלומך היום?
הגעגעתי.
כן, הייתה סיבה להתגעגע.
שמעתי שבהדרי אתה הקלטת פרק לבד עם לירן טל,
(00:46):
אז הגיע הזמן הנקמה והיום אני מראיין לבד.
אז מה אני עושה פה היום?
היום אתה יושב על הגריל ועונה לשאלות שלי.
וואלה,
מה תרצה לדבר היום, ג'וש?
אז לא יודע אם שהקשבת לפודקאסט שלנו,
אז בדרך כלל אנחנו מתחילים,
אנחנו מבקשים מהמרואיין שיציג את עצמו,
אז תציג את עצמך, אילן.
(01:08):
אני אציג את עצמי, אוקיי.
אז אני אילן פינטו, מנהל פיתוח ברדאט,
קרוב לשלוש וחצי שנים,
בקבוצת האקוסיסטם אינג'ינירינג,
מתעסק בהמון המון תחומים,
אבל בוא נגיד שהמשותף לכולם זה עבודה עם פרטנרים,
ממש כל השמות הגדולים בתעשייה,
(01:29):
כמעט מכל התחומים,
כמובן טכנולוגיים, בין אם זה מייקרוסופט וחברות הענן,
אינבידיה,
וגם לקוחות פנימיים.
זאת אומרת, יש לנו אינטגרציה כצוות אקוסיסטם אינג'ינירינג,
לעזור לצוותים פנימיים בשביל לקדם את המוצרים שלהם.
ולאחרונה יצאנו באמת הרבה מאוד לעבוד על עולמות
ה-AI ואני מניח שעל זה בדחה אתה רוצה לשאול אותי.
(01:52):
כן, האמת היא שקשה היום לעבור על פודקאסט, אימייל,
טוויט בלי לראות AI בפנים, אז...
שקל על כל פעם, פרם AI.
כן.
אז מה תספר, מה אתה עשית, עושה בתחום
AI ולמה בכלל אנחנו רוצים לדבר על זה? אז אחד מהדברים שככה איזשהו קונספט שנתקלתי בו,
(02:17):
חשבנו שזה שווה לדבר עליו,
נקרא רג.
שמעת עליו?
האמת ששמעתי, הוא ממך, אבל...
אבל כן, אז בוא תספר לנו מה זה בדיוק רג,
איזה בעיות זה בא לפתור ואיך אנחנו כחברה שלא מייצרת מודלים,
(02:39):
איך אנחנו בכלל מתחברים לדבר.
אז ככה, זוכר שבאזור שנות... בוא נגיד, אמצע שנות אלפיים,
היה מונח שקראו לו ETL,
Extract Transfer Load, נכון? אף אחד לא יודע מה זה.
פתאום יצא מונח כזה שנקרא ETL, נכנס לתוך העולמות של הדאטה אינג'נירי.
באיזשהו מקום אפשר לחשוב על רג, כן,
באנקדוטה, למשהו שהוא מאוד דומה ל-ATL.
(03:02):
רג זה ראשי תיבות של Retrieval Augmented Generation,
שזה בעצם שלושה פרקטיקות, שלושה סטפים אפשר לקרוא להם,
כן, כל אחד מהם כמובן מכיל עוד הרבה סאב-סאב-טאסקס,
אבל בסוף הפרקטיקה הזאת מאפשרת לנו לייצר LLM,
כן, היא בעצם המודל של מה שכולם, מודל AI בשפה הפשוטה,
(03:25):
שמאפשר לנו להוציא תשובות הרבה יותר מדויקות מתוך ה-LLM.
תכף אנחנו נדבר לעומת מה זה עומד.
LLM, בוא נרק נגיד, LLM זה מודל השפה, זה המודל שמדברת כאן.
לרדש-לנגווג' מודל,
כשאנחנו אומרים למשל ChatGPT3 זה סוג של מודל,
כשאתה מדבר עם ChatGPT,
(03:46):
זה אפליקציה שיושבת מעל ChatGPT3 שיודעת לדבר עם המודל ובעצם
לחשוף עבורנו את יכולות ה-NLP של המודל,
אבל את ChatGPT3 לצורך העניין,
יש עוד יכולות של תמונה וניתוח תמונה ודברים אחרים,
ואנחנו דרך ChatGPT3, לצורך העניין, כשאנחנו באתר,
(04:08):
פחות נחשפים או פחות יכולים להשתמש בזה.
אבל אם אנחנו הוריד את המודל LLM אלינו ונעשה לו איזשהו פיינטיונינג,
יהיה אפשר להשתמש ביכולות האלה.
הראג בעצם עוזר לנו יותר באזורים של ה-NLP,
ואם אני אפרק אותו רגע לשלוש,
אז בעצם יש step 1 שנקרא את RIVAL,
שזה בעצם חיפוש מידע רלוונטי,
(04:30):
Augmentation,
שזה בעצם ההעשרה של השאילתא שאני רוצה לשאול,
ו-GENeration שזה בעצם כבר יצירת השאלה.
יצירת התשובה.
סליחה, לא.
אוקיי, זה גם וגם, אוקיי?
כי אפשר גם לייצר שאלה באמצעות AI ולשלוח אותה,
ואפשר גם ללכת ישר וליצור תשובה.
זאת אומרת, יש פה איזה פיינטיונים,
אנחנו נדבר על זה כשאנחנו נגיע לרג קצת יותר מתקדם.
(04:54):
ושאלת בעצם איזה בעיה זה בא לפתור, אוקיי?
שזה באמת כאילו הבסיס בשביל בכלל להתחיל את הדיון.
אז כשאנחנו מדברים על מודלים של LLM,
Foundation Models,
הם נורא נורא נורא גדולים ולוקח המון המון זמן בשביל לבנות אותם.
נכון להיום,
אם אנחנו מדברים למשל על ChatGPT 4-O,
(05:17):
אני חושב שהוא מעודכן עד 2022. אם אנחנו מדברים על
ג'מיני, ג'מיניים הוא מעודכן באמת ל-2024 ואני חושב ינואר,
אולי עדכנו אותו,
אולי עד שתשמעו את ההקלטה הזאת,
עדכנו אותו טיפה יותר.
והעלות של יצירה של LLM היא גם מאוד מאוד מאוד יקרה.
ודבר אחרון, אם אני עכשיו ארגון שמכיל מידע,
(05:38):
בוא נקרא לזה רגיש,
או מידע שלא הייתי רוצה לחשוף למודל שהוא אצל כולם,
אלא רק ללקוחות שלי,
כרגע אם אני אשתמש במודל בלמה שלוש או משהו כזה זה פחות מתאפשר.
אבל אני כן רוצה שהמודל או שהתשובות שאני מספק ללקוח באמצעות
הצ'אט שלי יכיל גם את המידע הזה.
אתן דוגמה, למשל, ברדאטט, אחד מהמוצרים שעבדנו עליו,
(05:59):
זה איזשהו צ'אט מסדרת light speed, מה שנקרא,
שאני עכשיו רוצה לקבל מידע על open-shift,
גרסה מסוימת,
ואנחנו בעצם רוצים לתת לך תשובות, אבל תשובות מאוד מדויקות.
עכשיו, יש את מה שנמצא ברשת, רדאט שמה המון מידע ברשת,
שכל אחד יכול לבוא ולקחת,
(06:19):
ויש גם מידע שהוא ספציפי שלנו,
שנבנה על בסיס באגים שפתרנו או בעיות ספציפיות שפתרנו ללקוח מסוים,
מה שנקרא knowledge base פנימי.
אנחנו לא מפרסמים אותו,
זאת אומרת הוא מפורסם ללקוחות שיש להם subscription,
אבל הוא לא מפורסם באינטרנט,
אבל כן היינו רוצים לתת אותו,
למשל,
למישהו שהוא משתמש ב-OLS,
(06:39):
ב-chat GPT שלנו.
אז איך אנחנו מאשירים אותו?
באמצעות תהליך של רג, אנחנו יכולים להוסיף את המידע הזה.
אז אם אני אחזור רגע ליתרונות, אחד,
מודלים לא צריך לאמן בעצם את מודל הבסיס,
יש פה עלויות הרבה הרבה יותר זולות,
המידע לא חייב להיות זמין לכולם,
ודבר אחרון שלא דיברתי עליו,
(07:00):
ואולי זה היתרון הכי משמעותי של תהליך של רג,
זה כל מה שקשור להזיות, אוקיי?
מה שנקרא באנגלית הילוסיניישנס.
אבל לפעמים אתה שואל שאלה את ה-chat GPT,
מקבל תשובה בביטחון עצמי מאוד מאוד גבוה,
ובסוף,
כשאתה בודק את זה באמצעים אחרים,
או שאולי אתה בעצמך יודע את התשובה,
אתה רואה שבעצם chat GPT הנהה לך,
(07:21):
היה שטות גמורה,
והיה מה שנקרא בשפה...
מחרטט בביטחון.
איך?
משקר בביטחון או אילו ש...
מחרטט בביטחון.
עוזר, עוזר, המודל עוזר.
זאת אומרת, זאת דרך לקחת את ההשקעה שהשקיעו כל מיני גופים במודלים,
באימון של מודלים גדולים,
ולתאים את המודל הזה לצרכים שלנו במשירים ובזמנים הרבה יותר קצרים.
(07:45):
אני מניח שאת הרג אפשר להדכן הרבה יותר מהר ממה ש...
כן, ממש הרבה יותר מהר.
אנחנו מדברים פה על...
קודם כול,
יש שתי שיטות מרכזיות בשביל להדכן מודל.
אחת נקראת פיינטיונינג,
שהיא גם יכולה לעדכן את המודל בטווחים קצרים יחסית,
אבל עלות שלה ייקרה.
(08:05):
והרג, כשאנחנו מדברים על רג,
אם תלוי שוב בכמויות מידע שיש לך,
אבל אנחנו מדברים פה על עניין של שעות עד דקות בשביל לייצר עדכון.
אם מישהו משתמש ב-chat gpt 4o,
ב-המנועים,
מה שנקרא,
אז כבר היום,
אם אתם שואלים שאלה את chat gpt לגבי משהו שהוא עדכני,
(08:27):
ממש על 2024,
אז הוא ילך,
יחפש באינטרנט,
יביא לכם את המידע עדכני,
הוא יעשה איזשהו פעולת רג פנימית וככה הוא יציג לכם מידע.
אנקדוטה, אני עבדתי למשל עם איזושהי ספריית פייתון.
מה שקרה זה שהמנטיינר של הספרייה הזאת נפטר באופן מפתיע לפני שלושה שבועות או ארבעה שבועות,
(08:52):
משהו כזה,
אחד מהילדים שלו אני חושב העלה לרידמי את זה שהאבא נפטר ושכאילו,
כרגע הספרייה הזאת לא מתוחזקת וכל מיני...
נתן את הפרטים האלה.
אז שאלתי שאלה על הספרייה הזאת,
את chat gpt,
שוב בידיעה שהמיינטיינר נפטר,
וקיבלתי תשובה על הספרייה וגם קיבלתי את הפידבק הזה שהמיינטיינר נפטר והוא
(09:17):
אולי שווה לנסות ספרייה אחרת זאת אומרת שהוא ידע לי תדקן,
ללכת ולהביא איזשהו מידע, מידע משלים מהאינטרנט ושוב,
הוא עושה את זה כנראה באמצעות רג או כלי כזה או אחר.
אז בואו... בואו... זה... הכול נשמע כזה מאוד גדול ומופשט.
אתה יכול לתת לנו איזה דוגמה,
(09:40):
להראות לנו איך... מה... איך אנחנו עושים את זה, מה אנחנו מקבלים מזה.
אז אני חושב שלפני שאנחנו ניגש לדוגמה אולי בעצם צריך רגע לשים פה איזשהו מונח בסיס שהוא הבסיס לכל... לכל הדבר הזה.
כל היכולת הזאתי וזה פרומפט אינג'ינרינג.
חו... זה גם... זה... שומעים קצת פחות מ-AI אבל מי שפותח עיניים...
(10:02):
מי שפותח עיניים, אוזניים, שומע כל היום פרומפט אינג'ינרינג.
לא יודע, אם הנדס תוכניו, אתה מהנדס פרומפטים?
בעתיד אני חושב שזה אנחנו נהיה כולנו כנראה מהנדסי פרומפטים בצורה...
בין אם אנחנו יודעים את זה ובין אם לא. זה נראה לי שזה לשם הולך הכיוון.
כמו שאתה יודע, מחפשים בסטאק אוברפלו, אתה מהנדס סטאק אוברפלו?
לא, אבל פה זה קצת יותר משמעותי.
אני אקח רגע את איזה משהו שאוהד ענף לוי שיתארח אצלנו באחד מהפרקים אמר לי,
(10:28):
במה שנקרא בשיחת קפה,
הוא אמר לי ש... אמרתי לו, תשמע, זה הופך להיות סקיל מהותי?
אז הוא אמר לי, כן, זה כמו שבשנות האלפיים,
היו כאלה שידעו לחפש בגוגל והיו כאלה שלא ידעו לחפש בגוגל, נכון?
זה היה איזה מין כזה חצי סקיל כזה שהיית צריך לדעת איך לכתוב את המילים,
באיזה צורה,
וגם יהיו כל מיני סינטקסים כאלה ואחרים.
(10:48):
פומפט אינג'ינירינג זה אותו רעיון.
אז מה זה בעצם פומפט אינג'ינירינג?
ה-LLM בסוף זה כמו דג. אין לו זיכרון.
כאילו המודל עצמו, המודל הבסיסי,
אני כרגע לא מדבר עם כל העטיפות של UI כזה או אחר,
אבל המודל עצמו... אגב, היה לך פה אילוזינשן,
אני במקרה,
הייתי בחופש של לפני כמה זמן,
(11:09):
באקווריום בירושלים,
לדגים יש זיכרון.
זה סתם הוציאו להם שם רע.
יש הרבה דגים שיש להם זיכרון.
אני מתבסס על הסרט "מוצאים את נמו",
יש שם את הדג הזה עם השלוש שניות שהוא זוכר.
יש פה אילוזינשן.
ה-LLLM הוא...
הוא נקרא ככה.
עכשיו,
אתה יודע מה,
פתאום אני...
חצר לי איזה משהו שבאמת ל-NVIDIA יש מודל שנקרא "נימו",
(11:32):
או ככה הם כפחות קוראים לו המודל שלהם,
אז אולי בגלל זה באמת.
אז פרומפט אינג'ינירינג...
רגע, נחזור לזה.
מה בא לפתור הפרומפט אינג'ינירינג?
בעצם,
אלה-LLM אין לו שום זיכרון ובעצם אנחנו צריכים תמיד לדאוג לתת לו איזשהו קונטקסט מסוים,
אוקיי?
צריך לספק לו קונטקסט וכשאנחנו מדברים על קונטקסט הזה,
יכול להיות בכמה צורות (11:52):
אחד,
זה מי השואל או למי אני רוצה לענות,
בסדר?
ותכף אני...
יש לנו דוגמה יפה שהכנו.
שתיים, איך אני רוצה...
בעצם על מבנה השאלה, מה ההיגיון מאחורי השאלה?
למשל, אחת מהשיטות של פרומפט אינג'ינירינג,
נקראת few shots,
אני מספק כמה דוגמאות לאיך נראית שאלה ותשובה ואז בעצם ככה...
(12:17):
ככה המודל לומד איך לענות, אוקיי?
זאת אומרת, מה...
איך אני מצפה?
למשל,
אני אתן לו ארבעה משפטים,
אני אומר לו אחד נגטיב ואחד פוזיטיב ואחד נגטיב ואחד פוזיטיב,
אני שואל אותו את המשפט החמישי,
הוא ידע עכשיו להגיד לי אם זה נגטיב או פוזיטיב לפי ההיגיון שלי.
זאת אומרת,
עימדתי אותו איזשהו היגיון כלשהו, סיפקתי לו את הקונטקסט.
ודבר אחרון שגם ראיתי הרבה ספריות משתמשות בו,
(12:40):
זה בעצם,
נניח עכשיו שאלתי שאלה,
אבל מה שמעניין אותי זה לא התשובה,
זאת אומרת,
לא הטקסט,
אלא אני רוצה עכשיו לקבל איזשהו מספור מאחד עד עשר.
אני רוצה שהוא ייתן לי evaluation,
אז אני נותן למודל איזשהו guidelines כאלה ואחרים,
על איך אני רוצה לקבל את הציון ואז אני אשאל אותו איזושהי שאלה תעריך לי את
(13:02):
הטקסט הזה והזה נניח יש לי תקציר לסרט אני רוצה שהוא יעריך לי תקציר הסרט איך הסרט.
אז אז ואני אגיד לו מאחד עד עשר ואני אתן לו את הפרמטרים
כדי לקבוע מה זה אחד ומה זה עשר בסדר כל הרעיון בעצם זה לנסות,
לתת את הקונטקסט ולהסיר כמה שיותר אי-דיוקים שכל מיני מילים או קונטקסטים כאלה ואחרים יותר נהירים כן,
(13:25):
מה שהיא עושה לבן אדם אם אתה שואל אותו שלוש אותיות מה זה אומר ואתה לא אומר לו לאיזה תחום זה קשור אז הוא לא ידע כן.
זה הרעיון בגדול.
אם אני זוכר נכון גם איזה אפשר בפרנטיקינינג להגיד לו גם לשלוט לו על
ה-illusination גם להגיד לו אם הוא יהיה יותר דעתן או פחות דעתן כל מיני...
(13:46):
לשלוט ב-illusination יש פרמטר שנקרא temperature יש כמה פרמטרים שיותר שולטים בדבר הזה אבל כן אפשר כמו
שאמרת להגיד לו תהיה דעתן תהיה...
תהיה מצחיק תהיה יותר זה כן כאלה דברים אפשר להגיד לו.
בוא נתן לך דוגמה למשל ליפה שהכנו מראש.
זהו אילן.
יש לך במקרה דוגמה להציג לנו...
(14:08):
במקרה במקרה.
אז דוגמה שככה באמת תמחיש את העניין הזה?
רק לפני זה דוגמה אמיתית אנחנו עכשיו אנשים לא רואים את זה היא אמיתית.
בסטיידשוטס אנחנו מקריאים משהו שהיה באמת ובתרגילים לעברית.
נכון.
האמת שהייתי יכול לשאול את זה גם בעברית ולראות איך זה נותן אבל שאלתי את זה באינטרנט.
אז לקחתי למשל את השאלה הכי פשוטה שאנחנו,
(14:32):
אני וג'וש בטח מכירים,
אני רוצה להסביר מה זה קוברנטיס, אוקיי?
השאלה פשוטה זה מה מזג האוויר בחוץ היום.
קוברנטיס...
השאלה פשוטה, התשובה מסובכת.
התשובה מסובכת.
אז בגלל שהתשובה מסובכת אז אמרתי לו אוקיי,
בקונטקסט, תסביר לילד בכיתה א' עם הפרעות קשב וריכוז,
מה זה קוברנטיס, אוקיי?
(14:53):
יפה.
מה קיבלתי כתשובה?
קודם כל, מחולק לשתי בולטים מקסימום, כן?
לא קיבל...
זאת אומרת, לא יותר מדי...
לא יותר מדי מלל, זה בסך הכל יש פה, אני לא יודע, זה 5-6 שורות.
צ'אט ג'יפיטי לקח את זה וכמובן נתתי לו קצת אינסטרקשן לפני זה,
כאילו איך להסביר לילד אם הייתי את זה, זאת אומרת,
(15:13):
אמרתי לו שזה צריך להיות קצר.
דבר שני, אמרתי לו, תשתמש בדמיון.
אז מה הוא עשה?
הוא לקח ודימה את זה לגן ילדים,
ואמר שבגן ילדים...
גן משחקים.
פליי גראונט.
בסדר.
ובגן משחקים הזה יש טויזנד גיימס ולכל משחק יש משמעות,
(15:37):
ואז הוא אמר קוברנטיס הוא כמו העוזר שבגן משחקים,
שעוזר לכל משחק להיות במקום הנכון, בזמן הנכון,
כדי שיהיה לכולם כיף.
והוא דואג שכל הזמן יהיה לכל ילד משחק אחד,
ושכל ילד לא מחכה יותר מדי למשחק הבא, אוקיי?
מטפל בבעיות אם יש למשל עכשיו קונפליקט בין שני ילדים על משחק.
(16:03):
יפה.
דימוי נחמד, לא?
וגם שאם משחק נשבר אז הוא מתקן אותו, או זה...
גם את זה הוא אמר.
דימוי מאוד מאוד מאוד יפה,
אני חייב לציין שאם היו מבקשים ממני להסביר את זה לילד עם...
בכיתה א',
לא בטוח שהייתי מגיע לדימוי כל כך מוצלח.
כן, ושוב,
זה נעשה בצורה קצרה,
(16:23):
והסיבה היא בגלל שהוא קיבל אינסטרקשן,
זאת אומרת,
אם תשאל אותו סתם,
מה זה קוברנטיס,
אתה תקבל הסבר מאוד מאוד ארוך ומאוד מורכב.
עכשיו,
עלינו רמה, שאלה שנייה,
והפעם, שאלנו אותו שיסביר מה זה קוברנטיס, אבל הפעם,
לסטודנט למדעי המחשב,
שרוצה תשובה מפורטת עם הסבר על כל החלקים השונים.
(16:45):
עכשיו, פה קיבלתי תשובה של...
לא צילמתי את כל המסך, אבל יש פה הרבה שורות, אוקיי?
קיבלתי, נראה לדעתי, כמעט את המקסימום, עם פירוק ופירוט של מה זה קלאסטר,
ומה זה נוד,
ומה זה קונטרול פליין,
וכל החלקים של הקונטרול פליין,
ומה כל אחד עושה ומה כל אחד חושף,
ואי צידי, והקיצר באמת את כל החבילה.
(17:09):
ושוב, ההבדל בין שני השאלות היה באמת הפרומפט אינג'ינרינג,
זאת אומרת, ההנחיות של איך לפתור את זה.
מאוד מעניין, אבל איך זה קשור לראג? מה... אנחנו התחלנו לדבר על ראג, לא על פרומפט אינג'ינרינג.
יפה, אז בשביל להסביר את זה,
אנחנו נצטרך להסביר איך נראה תהליך של ראג, אוקיי?
אמרתי, רטריוול אוגמנטי ג'נריישן, עכשיו בוא נפרק את זה.
(17:32):
תהליך ראשון,
לפני בעצם שאני מתחיל עם הראג, זה שאני אוסף את המידע הרלוונטי,
שאותו אני רוצה אחר כך להכניס לתוך המודל בשביל להשאיר את המידע, אוקיי?
זה יכול להיות דוקומנטציה שיש לי, זה יכול להיות מידע באינטרנט,
זה יכול להיות כל סוג של דאטה סט,
ואני בעצם צריך להכין אותו בצורה כזאת,
(17:53):
שאחר כך אני אוכל לשאול עליה שאלות, בסדר?
אני אקח דוגמה הכי פשוטה,
דוקומנטציה שיש אצלי ואני רוצה להכניס אותה לתוך הראג,
אז אני מכין אותה לתוך איזשהו פורמט שילאי אחר כך יותר קל לצרוך אותה,
ומעביר אותה בתהליך שנקרא אימבדינג, אוקיי?
מה זה התהליך הזה אימבדינג?
אני לוקח בעצם את הטקסט הזה,
(18:15):
שובר אותו לחלקים,
ומקודד אותו באמצעות מודל שפה, יהודי לקח,
יש כמה מודלי שפה שהם מותאמים לזה,
שבעצם אחר כך יאפשרו לי לעשות שליפה של המידע,
באמצעות similarity search משמעותי, אוקיי?
similarity search בעצם אומר,
(18:35):
יש לי עכשיו איזשהו טקסט מסוים, אם אני עכשיו אשאל,
what is קוברנטיס, הקידוד שנעשה יידע לתת לי,
כשאני אבצע את החיפוש אחר כך מחדש,
מה שנקרא את ה-reattribal,
הוא יידע לתת לי את ה-chunk או קבוצת צ'אנקים הכי קרובה שמכילה את התשובה לשאלה ששאלתי, בסדר?
זה לא LLM, אני לא מקבל תשובה של LLM, אלא אני מקבל את החתיכת טקסט הכי רלוונטית לשאלה ששאלתי, בסדר?
(19:04):
זה האיכודיות של התהליך אימבדינג,
ותהליך אימבדינג בעצם, הצ'אנקים האלה נשמרים בתוך...
אתה מהנדקס את הדאטה בצורה כזאת שמתאימה לא לחיפוש רגיל,
אלא לחיפוש LLM, שזה חיפוש similarity search, שהוא שונה לגמרי.
(19:24):
נכון מאוד.
שוב, יכול להיות שיש דאטה בייסים שעושים את זה,
אני יודע למשל ש-redis, למשל, ו-elastic shots search,
מציעים שירות דומה אבל הם עושים את זה,
שוב,
על בסיס אימבדינג ובצורה שונה מוקטור...
סליחה, מ-דאטה בייס רגיל.
הסגמנט הזה של הדאטה בייסים נקרא VectorDB, בסדר?
כן.
כי הצורות חיפוש...
שגם הוא נעשה מאוד מודרני,
(19:46):
אני יודע שיש היום ב-Postgrass כבר נצאים גם VectorDB,
הרבה יצרנים, יש מוצרים יהודיים והרבה יצרנים רצים לכיוון הזה.
זה ממש טופיק בפני עצמו, אבל ממש, אתה יודע,
כל היצרנים הגדולים נכנסים לשם,
יש כמה שמות מובילים,
כמו milvisDB וכרומהDB וכאלה,
(20:08):
יש להם לפחות נכון להיום,
עדיין קצת מה שנקרא,
הבעיות של חוסר maturity לאנטרפריז כי הם עדיין לא נותנים את כל השירותים,
אתה יודע,
אקספורט,
אימפורט ומולטי קלאסטר ורזיליאסים וכל הדברים האלה הם עדיין לא לגמרי שמה,
אבל מבחינת ביצועים אנחנו מדברים פה על יכולות ביצועיות מאוד מאוד
מאוד גבוהות ואינדוקס מותאם לדבר הזה מאוד מאוד-מאוד טוב.
(20:32):
אז זה החלק הראשון.
אז בחלק הראשון לקחנו, עשינו אימבדינג ואז בעצם יש לנו רטריבר.
בעצם יש שתי שפות,
סליחה,
הפרמוקים של פייתון,
לנגצ'יין ולמה אינדקס שהן מאוד מאוד חופפות ביכולות שלהם,
אולי יש עוד אבל בוא נגיד שאלה כרגע מובילות.
והמינטיינרים שלהם בחיים.
זה מינטיינרים גדולים,
(20:53):
אני לא זוכר איזה מהם,
אני חושב אבל שאחד מוחזק על ידי פייסבוק לדעתי.
מין הסתם למה אינדקס אבל אני צריך לבדוק את זה עוד פעם.
אבל כן,
קהילות מאוד מאוד פעילות וכל שאלה שיש לך אתה פונה בדיסקורד והם מונים
לך באמת ברמה של דקות,
ממש.
והספריות האלה גם מתעדכנות ברמה מאוד מאוד מאוד גבוהה.
(21:15):
ובעצם את כל הרג אתה יכול גם לנהל דרכם ואחד מהשירותים שהם נותנים לך זה בעצם הרטריבר.
הרטריבר זה איזושהי פונקציה שאני יכול להגדיר.
אגב,
אני יכול להשתמש גם ברטריבר בסיסי שכבר מציעים,
שבעצם אני מגדיר בו איך אני רוצה לשלוף את המידע, אוקיי?
כשאני שואל עכשיו, אני רוצה עכשיו לשלוף מתוך הוקטור DB,
(21:37):
מאיפה אני רוצה לשלוף?
לשלוף.
נניח עכשיו יש לי,
כמו שאמרתי קודם, לקחתי דוקומנטציה של כמה מוצרים,
אז הרטריבר ידע לשלוף מהאינדקס הרלוונטי כי בכל אינדקס,
כל אינדקס מוכוון למוצר אז הוא ידע ללכת ולשלוף מהאינדקס הרלוונטי,
בסדר?
אז עד עכשיו דיברנו על הסטפ הראשון שזה הרטריבר.
(22:00):
רטריבר.
זאת אומרת עד עכשיו אנחנו רק אספנו את הנתונים ושמנו אותם
באיזה צורה שנוכל לגשת אליהם מהר כשאנחנו צריכים.
נכון, עכשיו יש לנו את השלב של האוגמנטל.
אז אמרנו יש לנו פרום, נכון?
עכשיו אנחנו רוצים להשאיר את הפרומטט הזה במידע שקיבלנו.
מה שאנחנו נעשה, ניקח למשל,
לנקצ'יין למשל,
מאוד מאוד מאפשר,
(22:21):
מאוד מאוד עשיר בצד הזה של האוגמנטיישן,
הוא מאפשר לי לקחת את הטקסט הזה,
להכניס אותו לתוך השאלה שלי במקום מסוים שאחרי זה זה יישלח, אוקיי?
עכשיו,
כשאנחנו מדברים על האוגמנטיישן הזה,
תחשוב שזה שקוף מבחינת היוזר, הוא לא יודע.
הוא עכשיו שאלה מאוד פשוטה, מה זה קוברנטיס?
(22:43):
אני הלכתי לדוקומנטציה של קוברנטיס,
ויכול להיות שהלכתי לכמה אזורים של דאטה,
ואולי גם הלכתי ואספתי מידע על הלקוח, אוקיי?
אני יודע שזה לקוח מתחיל, אז אני אכניס לתוך הפרומט שאני עכשיו אשלח,
תענה כאילו אתה עכשיו מומחה DevOps עם ניסיון של שלוש שנים, אוקיי?
(23:04):
קונטקסט.
עכשיו אני אומר לו, הלקוח הזה, השואל הוא בעצם לקוח של אופן שיפט.
זאת אומרת שאתה צריך גם לענות לו בקונטקסט של אופן שיפט,
והשאלה שהוא שואל היא רלוונטית לטקסט הזה והזה והזה.
עכשיו, כל הדבר הזה, הוא נעשה, הוא בשליטתך,
או ש-Once עשית כבר את ה-Retrival,
(23:26):
זה מה שזורק לך ה-Retriver,
מה שאתה מקבל מה-VectorDB, ו...
שליטת מין?
השואל?
לא השואל, שליטתך כמי שבונת את הרג.
כאילו אתה מכניס פה עוד לוגיקה,
ממש אתה כותב קוד שאומר, תביא את זה,
תפנה קודם לדאטאבייס הזה או לדאטאז...
(23:47):
ורק אם זה לא שם,
תלכתבים משם,
ורק אם זה לא שם,
תלכתבים משם,
דברים כאלה?
כן, כן, זה עולם שלם של לוגיקות שאתה יכול לאסוף,
למשל אתה יכול, וזה שהוא ברג מתקדמים יותר,
יכול להיות שעכשיו קיבלתי תשובה מה...
מה... מה...
מה...
מה...
מה תהליך של הרג,
והתשובה הארוכה.
שלבתי עכשיו מסמך של א-1500 תווים,
אני לא צריך את כל זה, אז אני יכול לקחת את ה...
(24:10):
את החלק הזה,
אשלוח אותו ל-Summeriser, ל-LLM של Summeriser,
ואומר לו,
תשמע,
תמצת לי את זה,
יש פה 1,500 שורות,
תמצת לי את זה לשתי משפטים.
או תן...
תן לי ציון ל...
לרלוונטיות של ה...
של הטקסט הזה, לשאלה שנשאלה.
ואז את זה אני אצרף, ואני קוראה כמה איתרציות כאלה.
כל זה חלק מהתהליך,
זה קוד שכתוב בפייתון שמקסתם את התהליך עוד פי.
(24:33):
נכון.
בעצם כשאנחנו מדברים על תהליך של בנייה של רג,
זה בדיוק חלק מהתהליכים שצריך לעשות, נכון? זאת אומרת לראות איך...
איך בונים את הפרומט הזה באמצעות כל המידע עכשיו שקיים לי,
אוקיי?
והחלק האחרון זה ה...
ה-GENERATION שזה בעצם השליחה ל-LLM.
כמו שאמרתי בתחילת השיחה,
בעצם אני יכול לשלוח את זה לעשות כמה איתרציות כאלה.
(24:56):
זאת אומרת,
אני לא חייב לשלוח את זה ישר ל-End user,
אלא אני יכול לקחת את הפרומט הסופי שיצא לי,
אני יכול לשלוח אותו לאיזשהו LLM, למודל אחד, ולראות מה התוצאה.
לא אהבתי את התוצאה,
אז אני אשלח את זה עוד פעם, אני אעשה פיינטיון,
זאת אומרת אני אשנה את הפרומט,
יוסיף מילה, יוריד מילה, אולי אשתמש בטקסט טיפה שונה,
(25:18):
אשלח את זה עוד פעם.
לא אהבתי את השאלה, את התשובה, אולי עכשיו אני מחליט
לשלוח את זה בכלל למודל שלישי, כאילו למודל אחר, אוקיי?
הכל הכל נמצא בשליטה עד שאני בעצם מגיע לתשובה אידיאלית. עוד משהו יפה למשל
שמשתמשים בו בראג לדעתי כי אין לי די בטוח,
(25:38):
זה בשביל להגביל, סליחה, בפרומט אינג'ינירינג, לא בראג, סליחה,
בפרומט אינג'ינירינג,
זה בשביל להגביל תשובות.
למשל אם אני עכשיו נמצא במדינה באזור המפרץ הפרסי,
ואני עכשיו רוצה לשאול איך בונית הצצת אטום,
איך ננסה לשאול את זה בצ'ט ג'י פי טי,
זה ייחסם, אתה לא תקבל תשובה, אוקיי? למה? כי צ'ט ג'י פי טי יודע
(26:01):
מאיפה, איפה אתה נמצא, או יכול לפי איי פי לנחש איפה אתה נמצא,
או יכול להיות שיש לו איזה הנחיות כאלה ואחרות,
לא לענות לשאלות מסוימות,
זה נכנס לתוך הפרומט ולכן לא תקבל תשובה לשאלה כזאתי,
או לא תקבל תשובה לקללות או יש כל מיני דברים כאלה ואחרים,
שאמצעות פרומט אינג'ינרינג חכם מונעים ממני כיוזר לקבל תשובה.
(26:23):
אם כבר נכנסת לזה אז יש גם כל מיני סיפורים אני לא יודע אם אגדות אורבניות או לא,
שכשאתה מצליח לפרוץ את הדבר הזה ולתת למודל פרומפטים שלא יתכוונו שתיתן,
אתה יכול לקבל תוצאות מאוד מאוד מעניינות כמו לשכנע את ה...
סוכן את ה...
סוכן מסר האוטומטי שיש לך למכור לך בהנחות מאוד גדולות או דברים מהסוג הזה.
(26:48):
זה מה שנקרא פורט פויזנינג זאת אומרת כשאני מכניס הרי מידע כשאני כותב שאלה.
למודל ללם כזה או אחר באיזשהו שלב מוקדם או מאוחר יתבצע אימון על השאלה ותשובה שלי.
כנראה אם לא יעשו ניציון על זה אז כנראה שזה ייכנס אם אני מספיק
מתוחכם בשביל להכניס איזשהו משהו שנראה תמים אבל כשהוא ייכנס לתוך ה...
(27:13):
תשפיע על כל ה... ל... אם אני אשפיע על איזשהו גוף מסוים אז אני יכול
לבצע פה איזשהו אקספלויט אוקיי וזה נורא קשה לעלות על הדברים האלה מאוד מאוד קשה.
שוב, זה אחד מהדברים שהצטרך להתפתח.
איך אני עכשיו מונע מהאקרים או כל גוף כזה או אחר לזבל לי או
(27:35):
להכניס לי איזשהו מידע לא טוב לתוך ה... ל...
שלי? לא, זה שני דברים. גם מידע וגם פרומפט. אתה יכול
עכשיו להגיד, אלה, להם, שוב, זה מאגדות אורבניות,
הוא מוכר של מכוניות, בוא נשחק עכשיו משחק.
אני אומר משהו ואתה חוזר אחריי ואז אתה אומר,
(27:55):
טוב, אני מוכר לך מכונית ב-20 דולר.
יש פה הקטע שבגלל שהממשק שלך מאפשר גם תכנות המודל ומרכאות,
זה חור של סקיוריטי, כמו שאנחנו מכירים מכל ה...
כל ה... SQL Injection וכל הדברים האלה.
(28:15):
מהרגע שיש לך איזה משהו שעובר מהמודל שלך לתוך תוכנה,
מהאינטרסט שלך לתוך תוכנה,
אתה צריך לעשות שם סניטייזינג ברמה המטורפת כי בסוף מי שמצא איך להפניח שם זמן.
נכון.
דרך אגב,
זה גם עובד לכיוון מהצד השני של לחשוף מידע,
לא רב,
שאתה רוצה לשמור.
(28:37):
הרבה מפתחים לוקחים קוד מהעבודה שלהם,
מכניסים אותו לתוך ה-ChipT,
או לא משנה, לתוך מודל כזה או אחר,
ואומרים לו,
תתקן לי את זה,
תכתוב לי את זה בצורה טובה יותר.
מה הבעיה?
שזה באיזשהו שלב להיכנס לתוך המודל,
ואם זה מידע שופרופייטר...
זה יכול לצאת למישהו אחר כך בפרום...
(28:57):
כן,
עם המידע,
עם החלק הרלוונטי שהיה...
אסור לך לחשוף ולכן זה מסוכן וצריך להיזהר עם זה.
כן, בוא נחזור רגע לראג.
יש עוד שאלות על ראג, אז באמת יצאה פה שיחה כי באמת פרמפט אינג'ינרינג הוא מעניין,
והוא נושא אחר.
איך למשל אתה עושה...
(29:19):
עושים בקרת איכות על הנתונים שאתה אוסף לראג?
איך אתה...
בסך הכול,
אני מניח שגם ב...
אם אתה מאמן את המודל מתוך הקייסים שיש לך של support של רבית.
אני חושב שגם אם אתה תתאמץ,
תמצא זבלים,
יש שמה דברים שלא ניצחו נכון,
(29:39):
לא עשו נכון,
אז איך אתה יודע לעשות מקרת איכות לדברים האלה?
כי בסך הכולל על כמויות דאטה מאוד גדולות ואתה לא חושב שבן אדם יעבור על כל...
אז אחד מהדרכים היצירתיות לעשות את זה זה באמת לשלוח את הטקסטים ל-LLM,
ולתת לו אינסטרקשינס של מה אתה רוצה שיהיה בתוך הטקסט הזה ומה לא.
(30:00):
זה לא...
זה אף פעם לדעתי לא...
לא תוכל למנוע מצב שבו העין אנושית לא מסתכלת על זה,
בטח לא בכלים של היום,
ובטח לא כשזה מידע רגיש.
אבל שוב,
צריך להביא את המידע ממקורות אמינים,
ממקורות שמבחינה לגאלית מותר לך לחשוף,
אפשר להעביר את זה תהליך של ריפיינמנט,
(30:20):
באמצעות כלים שאנחנו כבר מכירים,
מעולמות הדאטה אינג'ינירינג ומעולמות...
ומעולמות אחרים.
להשתמש כמובן ב-LLMים ייעודיים בשביל הדברים האלה ויש,
יש לו מעט,
האגינג פייס מלא בכאלה,
סאמרייזרים וכל מיני כאלה,
גם צריך לפעמים להלבין,
נכון?
יש לי עכשיו מידע והוא מכיל מידע של...
(30:41):
כאילו יש לי טקסט אבל הוא מכיל מידע של לקוח.
אני לא יכול לשים את השם שלו עכשיו.
אני רוצה רק את התשובה, לך תלבין את זה עכשיו.
זה גם עבודה, אוקיי?
אז זה עולם, זה עולם ש...
בפני עצמו,
שוב,
הרבה,
בשלב הזה מאוד מאוד דומה לדאטה אינג'ינירינג.
זאת אומרת, עוד אין שם בשורות,
אבל אני מניח שיעלצו לעבוד על זה מאוד קשה כי בסך הכל,
אה...
(31:01):
זה א' ב', אם אתה רוצה לעשות...
ככל שאתה תרצה יותר להסתמך על...
על מודלים כאן שעבור רק,
אתה תצטרך לוודא שהקווליטי שלהם יותר ויותר טוב.
גם הרבה אנטרפרייזים, איך שאנחנו רואים את זה, הולכים לכיוון הזה של...
של רג.
כי זה, כמו שאמרתי, זה זול, זה זמין, יחסית.
(31:22):
אני לא רוצה להגיד קל, כי זה כן יש בזה עבודה, אבל זה לא עכשיו אה...
איזשהו דאטה סיינטיסט שיושב ומנתח את זה לעומק.
מהנדס בק-אנט טוב,
עם ראש פתוח, שעושה הסבה קטנה,
יכול להיכנס לזה די בקלות.
לא, זה ברור, רק אומר, אנחנו רואים את זה,
(31:43):
אנחנו רגילים כבר לצ'טבוטס כאלה,
לא יודע כמה זמן,
אבל זה צ'טבוטס שנכתבו כפלואים,
כלוגיקה,
כשהיה לך שליטה מלאה על מה שהם עושים.
ברגע שצ'טבוט מבוסס אליהם,
אתה צריך לוודא בצורה אחרת את האיכות שלו ואיך הוא עובד,
וזה שאתה באמת לא יכול לעבוד עליו וזה.
(32:06):
יש לך להגיד משהו על הקשר של זה ל-Instruct Lab, למשל?
כן, לא יודע למה,
זאת שאלה שבאמת חוזרת על עצמה הרבה פעמים אם יש קשר,
אז אין,
אין קשר.
Instruct Lab נמצא בעולמות הפיינטיונינג.
הוא בא יותר לעזור, לעשות פיינטיונינג בצורה קלה יותר.
שוב, לא לאנשים שמתמחים ב-Machine Learning,
(32:29):
לאנשים שלא באו לעולם הזה,
ומאפשר בעצם לתרום את הפיינטיונינג שלי לתוך מודל,
פה אני מזכיר,
אנחנו לא מייצרים מודל,
אנחנו מייצרים בסוף,
מייצרים,
מעשירים את המודל,
אבל המידע שאנחנו מייצרים התווסף לתוך מודל קיים,
אנחנו לא מייצרים מודל חדש,
אם צריכה כלל מייצר מודל,
אז הם משלימים אחד את השני באיזשהו מקום,
(32:51):
אבל לא,
אולי קצת מתחרים אחד עם השני, אבל הם שונים, זה לא, זה שתי...
מבחוץ זה נשמע די דומה, זה נשמע כמו לייצר את המידע שאתה שם ברגע.
אתה אומר, לפנים זה משלולים אחרים לגמרי.
חדמים אחרים, ואני אתן לך דוגמה, כאילו אולי את ההבדל הכי משמעותי.
כשאני משתמש ברג,
זו תשובה חד-חד ערכית, נכון?
כאילו שאלתי שאלה, מה שיש בטקסט זה מה שיופיע.
(33:13):
כשאתה מכניס מידע לתוך פיינטיונינג, לתוך אינסטרקט-לאב,
כי אינסטרקט-לאב הרי מייקר,
אני אקח עכשיו טקסט,
אני אגיד לאינסטרקט-לאב מה לעשות עם הטקסט הזה,
אני אספק לו כמה דוגמאות,
הוא ייצר המון סינתטיק דאטה בשביל ללמוד איך לעשות את זה.
כשאני אשאל אחר כך את השאלה מסוימת,
את המודל שעבר פיינטיונינג באמצעות אינסטרקט-לאב,
(33:33):
הוא יהיה לי יותר יצירתי, אוקיי?
הוא לא יכול ללכת לכיוונים אחרים,
כאילו,
סליחה,
הוא יכול ללכת לכל מיני כיוונים,
כי בסוף הוא השתמש ביכולות הסטטיסטיות האמיתיות של LLM,
לעומת רעג שבעצם הוא רק משתמש ב...
הוא השתמש בטקסט ששלחתי לו.
שולח לך את השאלה עם התשובה כבר,
או לפחות עם איפה למצוא את התשובה. כאילו אחד נותן לך ממש תשובה ואחד הוא...
(33:55):
באינסטרקט-לאב אתה יותר נותן לו דרך חשיבה,
כאילו אתה משקיע לו על ה...
נכון מאוד, זה הדימוי הכי טוב, נכון, זה דמיד דימוי מצויה.
אז עכשיו משהו שאתה באמת יכול לענות הרבה הרבה יותר טוב ממני,
כי אתה עבדת כבר בזה ואני הרבה פחות מחובר,
אחד הדברים שהכי מטרידים היום את...
(34:17):
הנדסי תוכנה בכל הזה, זה...
וקופיילוט יחליף אותי.
אני יותר לא אצטרכו עם הנדסי תוכנה,
אני אכתוב קומנט והקופיילוט יכתוב לי קוד והעולם...
המקצוע יעלה מהעולם.
אז מה...
מה המסקנות שלך לפחות נכון לאמצע 2024?
(34:39):
אתה מכיר מקצוע שנעלם מהעולם לגמרי?
לגמרי אבל.
לא, יש.
יש מקצועות שנעלמו מהעולם, זה לא...
סנודרים עדיין יש, נכון?
אה, אני יודע מה, נהגי מרכבות.
נהגי מרכבות,
ינאה,
סוסים הפכו להיות משהו תיירותי יותר.
תראה, להלם לגמרי אני לא חושב, מהנדסת תוכנה תמידה.
(35:00):
מהנדס תוכנה שהוא לא תיירותי, נקרא, לא...
שהוא אמית...
לא, כשעושים עבודה אמיתית.
יש דברים ש...
אני, אם מסתכלים...
שוב, אם אני מסתכל ככה על מה...
לפחות מה שאני נחשפתי ואני, אתה יודע,
גם מנסה להסתכל כאילו רגע טיפה קדימה,
אוקיי?
כאילו בסוף,
כשאנחנו מדברים על כל העולם הזה של ה-LLM,
(35:20):
הוא קצת דומה גם לדברים שהיה לנו בעבר, נכון?
וזה...
וה...
מהנדסי התוכנה אף פעם לא נעלמו.
פשוט הסקילסט משתנה והמידע שאתה צריך לדעת, אז הוא...
זאת אומרת, הידע והסקיל משתנה, אוקיי?
למשל, אם פעם מהנדס טוב,
היה מהנדס ג'אבה שמכיר את כל הניואנסים הקטנים של השפה ואת כל המודלים ואת כל היכולות,
(35:48):
ואת ה...
ויודע לעשות פיינטיונינג ופרפורמנס ופרופילינג וכולי וכולי,
אתה יודע מה אני מתכוון,
כנראה שבעתיד זה פחות נצטרך מהנדסים כאלה, אוקיי?
למה?
כי כנראה שאתה תוכל לבוא ולהיכנס למודל יהודי בג'אבה,
תגיד לו מה אתה רוצה והוא יספק לך את הפונקציונליות בצורה הכי גבוהה שיש.
(36:11):
אתה כנראה תצטרך לדעת לקרוא את זה,
אבל בוא נגיד שזה גם יהיה כנראה מספיק מתקדם בשביל גם לעשות את האבליואציה בעצמו.
זאת אומרת, אתה תשאל משהו, אתה תגיד אני רוצה פרפורמנס מסוים,
המודל יבוא וידע לתת לך את החתיכת קוד ביכולת מסוימת.
וזה בעצם אומר שהמהנדס העתידי יצטרך לדעת ולבוא ולשאול את השאלה בצורה המדויקת והנכונה ביותר.
(36:37):
זאת אומרת, הרבה יותר יכולת ארכיטקטונית,
יכולת הבנה של high level,
פחות הבנה של low level של details.
כמו למשל היום, אף אחד לא צריך לכתוב באסמבלי, נכון?
אתה אף אחד לא כותב 0 ו-1.
התווספו עוד ועוד שפות מעל שמפשטות את זה.
אני עוד כתבתי קצת באסמבלי, אז אני עוד זוכר, לא יודע, לא, אני רק ראיתי את זה ב...אתה יודע, במצגות,
(36:59):
זה המקסימום, לא היה לנו את זה.
אז אני חושב שזה דומה ושונה,
אז אני יכול להגיד שאני בקרה שלי ראיתי כמה מעברים, כאילו אחד,
הייתי כבר אחרי, אבל עוד היה קרוב, זה מאסמבלי לשפות...
לשפות...
דור שני, או לא יודע, C.
היה הפעם מה שקראו 4G, שזה המחוללי יישומים, שזה מסגנון,
(37:26):
אפליקציות שעובדות ישירות מעל דאטאבייס, access, דברים כאלה.
SQL עשה מהפכה דרמטית באיך מחזיקים דאטאבייס,
אני עוד...
כידדתי קוד שעושה שאילתות לדאטאבייס ב-C,
לא משהו שהוא...
סטרינג ב-SQL שזה שני עמודים ב-C,
כי אתה צריך מיליון אובייקטים לפתוח ולבדוק ואין נהלים ויש נהלים,
(37:50):
ולנהל את התיקורת, וכל הדברים האלה.
כן, כן, דברים מטורפים.
והמסקנה שלי עד היום הייתה,
שבעצם בגלל מה ההבדל בין מהנדסי תוכנה למהנדסים אחרים,
ההבדל שבגלל שתוכנה היא כלי מאוד מאוד אקספרסיבי,
אתה יכול לוותר הרבה דברים,
אתה פותר בעיות הרבה יותר נרחבות,
הרבה יותר גדולות,
(38:11):
כי הכלי שלך הוא יכול לעשות הרבה יותר דברים,
אתה משקיע שנה בכלי שעושה הרבה דברים,
אתה עושה משהו יותר גדול משנה בכלי שעושה מעט דברים.
אתה עובד שנה עם האדר או שנה עם קומפרסור,
אתה עושה דברים שונים.
אבל אני חושב שיש פה משהו שהוא עדיין טיפה שונה,
אולי פוטנציאלית,
כי אני מסכים,
(38:31):
כל מה שאמרת,
הבעיה שאם אתה מסתכל היום,
ואולי צריך לשנות את זה,
כמות האנשים שצריך,
הארכיטקטים שמבינים בזה,
היא משמעותית הרבה יותר קטנה מכמות המתכנתים.
והשאלה היא, האם יצטרכו את כמות האנשי תוכנה,
או זה,
ואין לי תשובה למרות שאני הייתי מאוד אוהב אותך.
(38:53):
אני לא אכפת אותך.
זה רק היה סקיל אחד מתוך סדרה של סקילים.
למשל,
כל מה שדיברנו עליו בעצם בשיחה הזאת,
כל מה שקשור לבנייה ואיסוף,
בנייה ואיסוף של דאטה, אינדקסינג בצורה נכונה,
מוכוון אמבדינג, פיתוח של...
רומט אינג'ינירינג.
פרומט אינג'ינירינג ודאי, גם כמשתמש וגם כצרכן.
זאת אומרת, אם אני היום אכתוב אפליקציה או איזשהו שירות,
(39:16):
אני אדע גם לייצר את הפרומט אינג'ינירינג שלו בצורה חמה ואת כל החיבור של הפרומט אינג'ינירינג.
לא דיברנו על ארצה של מודלים ומאינטננס של מודלים ואינטגרציה בין מודלים,
שזה עולם שלם שלדעתי עוד מעטים נוגעים בו,
בטח אפליקציות מתקדמות.
(39:38):
כמו אם עד היום היית צריך לדבג בעיות של קוד, אוקיי?
עכשיו צריך להתחיל לדבג גם בעיות של אתיקה.
איך מדבגים בעיות של אתיקה?
אני לא יודע, זה עוד לא חושב שהתחלנו עם זה בכלל.
איך אתה בכלל מוצא בעיות של אתיקה בצורה אוטומטית?
נכון, נכון, נכון.
אבל שוב,
זה יהיה איזשהו משהו שמהנדסי העתיד יצטרכו לתת על זה את הדעת.
(39:59):
היום רוב האפליקציות שלנו לא מתעסקות בזה,
הן נותנות מידע,
כן,
כן,
לא,
לא,
אבל פה עכשיו יש לך קצת חשיבה,
אתה צריך להתערב בתוך החשיבה הזאת.
ועוד נושא שקם טיפה, נגענו בו פה, אבל זה נושא המדידה והאיכות.
פרפורמנס, אבל כל נושא האיכות,
(40:20):
איכות התשובה של מודל כזה או אחר,
שהיום כבר מתעסקים בו כמובן,
אבל הוא בטח הולך ומתפתח והתפתח. אז בגדול,
אני לא יודע אם הצלחתי להעביר את התמונה,
אבל זה פשוט סט שונה לגמרי של יכולות שמי שלא יתפתח לתוכם ומי שלא יתחיל היום,
(40:41):
יהיה לו יותר קשה.
אבל ודאי שזה משנה את כל התמונה,
ואני אגיד במעמה מוסגרה,
ודאי שיהיו גם כאלה שייצאו,
זאת אומרת שיהיו תפקידים שכבר לא קיימים כי פחות יצטרכו אותם,
כי יוכלו לעשות אותם בצורה כזאת או אחרת,
וזה ואנשים האלה יצטרכו לעבור אבולושן.
לא רבולושן אלא אבולושן. זה זה במרבית המקרים.
(41:03):
אני חייב לציין שזה נושא מאוד מעניין.
כל המהפכות שראיתי היא הגדולה ביותר,
והיא זזה מהר.
ואחד הדברים הכי מדהימים זה אני ה-Introduction של צ'טי פיתי עד היום,
כמה הדבר הזה טס קדימה.
טס זה טס במהירויות... אני גם... אני רוצה לציין אותך בקצת,
(41:27):
ואני גם, אני רואה את הקצבים של השפות, של המודלים, של השירותים החדשים,
של התחרות שנכנסת, של החומרה. אין...
אתה יודע מה? אפילו בשוק המניות אתה יכול לראות את החברות האלה טסות למעלה.
כולם, זה לא רק אינווידיה, כן?
כולם מדברים על אינווידיה, אבל זה לא רק אינווידיה.
אנחנו מדברים פה על ARM, Qualcomm, כל החברות האלה,
(41:49):
פשוט כולם טסות קדימה, וזה רק בצד של הצ'יפים,
עוד מעט יגיעו גם לצד של האפליקציה, וגם הם יטוסו כולם למעלה.
זה לא המלצה להשקעה דרך כלל. -כן,
יש נושא קטן שלא דיברנו עליו, נושא אופן-סורס.
אני יודע שאייב-אם סעמה את
מודלים שלה, חלק מהמודלים שלה,
באופן-סורס.
מה, אתה רואה משהו גם בתחום הזה, ב...?
(42:13):
כן, כל הכלים כמעט הם אופן-סורס,
לאנג-צ'יין, למה אינדקס, אופן-סורס,
כרום הדיבי לדעתי הוא אופן-סורס ופייס,
פייס הוא גם כן וקטור דיבי, הרבה מהווקטורי דיבים
מציעים משהו בתחום האופן-סורס.
הרצה של מודלים, גם אתה יכול לראות כל מיני שירותים כאלה ואחרים,
(42:38):
כמו למשל, VLLM, עולם ה... שגם מאפשרים בצורה כזאת או אחרת...
שוב, אני לא מדבר רגע על הרישיונות, כן?
הרישיונות...
זה אופן-סורס, אבל עם רישיונות יכולות להיות בעייתיות,
אבל כן, קיצר, כל האקו-סיסטם הזה רווי באופן-סורס.
ומודלים עצמם.
אופן-איי-איי הייתה אמורה להיות אופן במקור,
(43:01):
היום לא כל כך ברור לי איפה היא נמצאת, אבל...
שוב, באגינג פייס יש לך גם, יש לך הכל. ההגדרה,
מה זה אופן-סורס,
כשאנחנו מדברים על מודלים,
היא נורא-נורא פלואידית.
אני לא חושב שהיא מאוד סגורה עדיין,
אבל כן, אפשר למצוא הרבה מודלים שאתה יכול להשתמש בהם,
בוא נגיד, גם לשירות פרודקשן, באגינג פייס.
(43:24):
אגינג פייס, למי שלא מכיר, זה פשוט ה...
זה ה-Git של המודלים, ה-Git-אפ של המודלים,
ובאמת אפשר למצוא שם הכול.
גם ביותר סקיוריטי דרך. אתה מכיר על מודלים שה...
קוד של הטריימינג שלהם נמצא באופן-סורס שאני יכול להריץ ולבנות את המודל הזה,
את המודל כולו,
לא רק על הדת השני, או ש... או מאוד לא הושן.
(43:46):
GROC, GROC זה באמת היחיד שיש את כל ה...
את כל המשקולות שלו בחוץ.
אתה יכול להוריד את GROC,
בהינתן ויש לך מספיק חומרה,
אז אתה יכול להוריד אותו.
חומרה, קצף וזמן. וזמן, הרבה זמן. GROC זה של אילון, אילון מאסק.
אז הוא הבטיח וקיים, הוציא את זה החוצה.
(44:07):
אני לא חושב שיש עוד אחד ב... בוא נגיד, בקוואליטי הזה שנמצא בחוץ,
אבל פחות התחום שלי, בוא נגיד ככה. אני יותר...
אתה יודע, רדאט, בוא נגיד ככה, אנחנו פחות מכוונים בשביל לבנות מודל,
אנחנו רוצים כן לעזור לחברות Enterprise להיכנס לעולמות של ה-AI בצורה קלה,
(44:28):
ואני חושב שכלים ל...רק כלים ל...
כמו Instruct Lab של פיינטיונינג, זה באמת, לדעתי,
נקרא לזה המג'ורטי של עולם האפליקציות,
שם צריך להתמקד, כי LLM'ים,
חברות בודדות לדעתי ישקיעו את הכסף בשבילם.
לא,
זה ברור לי וגם IBM עושה את זה ואנחנו משתמשים עוד אין של IBM,
(44:52):
אבל השאלה שלי הייתה רק בשביל לנסות...
עוד פעם, זה ה-open source, לנסות, להבין איך...
איך הדבר הזה הוא ביחס לעולם ה-open source. טוב?
איך היה להיות המרואיין? אני מקווה שסבלת,
שיותר לא תעשה פרקים בלעדיי.
אני לא אקרא יותר, לא.
(45:13):
מחכה, אני אשים אותך גם על הגריל,
אבל באמת אני מקווה ש...
התוכן יעזור לאנשים ושוב, What seen it for me?
למי ששומע,
זה ההבנה שהעולם הולך להשתנות, אוקיי?
ועכשיו צריך להתחיל לשים,
לפחות בוהן במים אם לא את כל הרגל כי זה המהירות שזה טס,
(45:36):
שלא תמצאו את עצמכם מאחור.
אני רוצה...
העולם זז כל כך מהר שאני...
שתי רגליים נשים. צריך להיות מוכנים ואנחנו לא יודעים בדיוק לאיזה
כיוון הדברים זזים, אבל צריך להיות מוכנים, אני ממש מסכים איתך.
היה תענוג לראיין אותך.
כיף.
או כל יום.
(45:57):
סך הכל, נרצה או לא נרצה, העתיד שם.
זאת אומרת, זה לא משהו שאפשר להילחם בו.
אנחנו כולנו נהיה מוקפי איי איי אם נרצה או לא,
אם נבוא בטענות לסוכן הנסיעות שלנו או הממוחשב או...
הכול יקיפ אותנו, אז כדאי להבין מה קורה שם.
(46:21):
זהו, נגמר עוד פרק והפעם אהיה עם אילן פינטו, המרואיין.
תודה רבה.
אז אנחנו נפגש בשבוע הבאה, בפרק הבא, סליחה, בפרק הבאה.
כישורים של דברים שדיברנו עליהם יופיעו בתיאור הפרק,
ואם יש לכם שאלות,
מוזמנים כמובן לפנות אליי או אל ג'וש,
רעיונות,
סתם גם על התוכן של הפרק שדיברנו, בכיף.
(46:43):
מוזמנים תמיד.
אז תודה רבה ולהתראות בפרק הבא.
להתראות בפרק הבא.
Popular Podcasts
Crime Junkie
Does hearing about a true crime case always leave you scouring the internet for the truth behind the story? Dive into your next mystery with Crime Junkie. Every Monday, join your host Ashley Flowers as she unravels all the details of infamous and underreported true crime cases with her best friend Brit Prawat. From cold cases to missing persons and heroes in our community who seek justice, Crime Junkie is your destination for theories and stories you won’t hear anywhere else. Whether you're a seasoned true crime enthusiast or new to the genre, you'll find yourself on the edge of your seat awaiting a new episode every Monday. If you can never get enough true crime... Congratulations, you’ve found your people. Follow to join a community of Crime Junkies! Crime Junkie is presented by audiochuck Media Company.
24/7 News: The Latest
The latest news in 4 minutes updated every hour, every day.
Stuff You Should Know
If you've ever wanted to know about champagne, satanism, the Stonewall Uprising, chaos theory, LSD, El Nino, true crime and Rosa Parks, then look no further. Josh and Chuck have you covered.