February 9, 2025 • 46 mins
בפרק זה אירחנו את שרון דשת, ארכיטקטית AI and Data מרד האט המתמחה בתחום הבינה המלאכותית. שוחחנו על סוגים שונים של סוכנים חכמים, המטרות שלהם, והבעיות שהם נועדו לפתור.
links:
- Andrew Ng Explores The Rise Of AI Agents And Agentic Reasoning | SnowFlake BUILD 2024 Keynote
- https://www.geeksforgeeks.org/what-is-agentic-ai/
- https://research.ibm.com/blog/ibm-swe-agents
- https://microsoft.github.io/autogen/0.2/
- https://www.crewai.com/
Mark as Played
Transcript
Episode Transcript
Available transcripts are automatically generated. Complete accuracy is not guaranteed.
(00:00):
ברוכים הבאים לפודקאסט הטכנולוגיה מדברים פתוח.
אני ג'וש סלומון.
ואני אילן פינטו.
יחד אנחנו מדברים על כל מה שחדש בעולם הפיתוח.
הבינה מלאכותית והקלאוד מקשור ישירות,
או על הדרך לפוד פתוח.
וככה זה אחרי שעובדים שנים באופן סורס חייבים להעביר את זה הלאה.
בין לבין נזכיר גם עוד כמה באז וורדס כדי שנוכל לסגור פינה ולדסקס על כל מה שחשוב באמת.
(00:24):
תחזימו אוזניות, תדבירו את הווליום ותעשו מקום למקצועניות והמקצוענים שבאו לדבר איתנו פתוח ולעניין.
מדברים פתוח, מתחילים.
בוקר טוב, אילן.
בוקר טוב, ג'וש.
מה שלומך?
קול שלי נשמע כאילו אני מגיע מ-200 מטר מתחת לים.
כן.
אגב, אני מתאושש ממחלה.
(00:46):
בסדר.
כל עוד אתה מתאושש ולא מדביק אותנו בקורונה או בזן אחר של שפעת,
בי-סי-די...
אני יודע מה יש עכשיו?
אז מצוין.
זה נראה עוד שבועיים.
כן, אנחנו נגלה את זה בפרק הבא, אם הדבקת אותנו או לא.
עד אז.
יופי.
אז טוב, יש לנו פרק מאוד מאוד מעניין היום.
(01:08):
הבאתי את ה-Budy שלי לענייני AI, כן?
אז אולי תציג את עצמיך, שרון?
היי, שלום, אילן וג'וש.
תודה שהזמנתם אותי לפודקאסט המעניין שלכם.
מי שרון דשת, אני עובדת ב-RedHat, בקבוצת הנדסה מאוד מעניינת,
שמתמקדת ב-Ecosystem של מוצרי RedHat.
(01:30):
אני ארכיטקטית AI, אבל ההתמחות המקורית שלי זה מערכות Analytics,
Data, Big Data.
אני התחלתי...
שזה קשור אחד לשני בסוף, לא?
בהחלט.
יש פה קשר ממש הדוק.
העניין שלי ב-Generative AI התחיל, כמו כולם, אי-שם,
(01:51):
בעבר הרחוק של נובמבר 2022.
אני מתעניינת בתחום בעיקר מהאזורים של הפלטפורמות.
בעצם איך זה מזיז לנו את הפלטפורמות הישנות,
איזה דברים חדשים נוצרים,
מה קשרים בין הפלטפורמות,
ובכלל,
האג'נטיקה זה תחום מטורף.
(02:11):
אני התחלתי בכלל את הקריירה שלי,
אני חושפת פה את הגיל שלי,
סליחה, אי-שם בסוף שנות ה-90 של המילניום הקודם,
כן,
זה עכשיו התפקיד שלך להגיד שלא רואים.
ג'וז' לא אמר, אני לא רוצה להפיל אותה, אבל הוא לא אמר.
עכשיו, בעצם למה אני מזכירה את זה?
כי אני זכיתי, באמת זכיתי לראות הרבה מהפכות טכנולוגיות.
(02:33):
כלומר, כשאני התחלתי לעבוד, אז הייתה מהפכת האינטרנט,
אבל ראיתי גם את המובייל, את ה-social, את ה-big data.
מעולם לא ראיתי כזה מרקט disruption כמו AII,
והיום בעצם אנחנו נדבר על ה-Agentic AII,
וזה מעניין כי זה נוגע לא רק לטכנולוגיה, לא רק לארגונים,
(02:53):
זה נוגע לכל אחד ואיך הוא מתממשק עם העולם האמיתי והדיגיטלי,
אז אני שמחה להיות פה.
כן,
דיברת על disruption,
ובדיוק ה-dys disruption נהיה אפילו עוד יותר רציני.
מה קרה?
מה קרה?
לא,
כלום, סתם איזה משהו סיני,
אבל באמת הרשת מלאה בשתי דברים שקורים,
שתי מקומות שמעניינים את כולם ברשת,
(03:15):
אחד זה סין והשני זה יבנה.
אז אני לא יכולה להגיד על זה.
לא הייתי משווה ביניהם, כן?
לא, אבל שתי המקומות שבאמת אין את זה,
ובאמת,
אז פנינו אלייך בשביל לדבר איתך ולעשות לנו סדר בכל מה שקשור ל-AI-Agent,
מה זה agentic AII,
כל המושגים האלה שבעצם קצת מתערבבים ויש בהם המון-המון חפיפה?
(03:37):
אז אולי באמת נתחיל מההתחלה, מה זה בעצם AI-Agent?
AI-Agent, אז בעצם,
כשיש מושגים מאוד מורכבים בעיצומה של מהפכה טכנולוגית,
אני ספציפית,
כדי לפשט,
אוהבת להסתכל על זה מכמה כיוונים.
אז בואו נסתכל על שני כיוונים.
(03:58):
אז ההגדרה הפשוטה של AI-Agent זה מערכת AII,
שיודעת לפתור בעיות מורכבות בצורה כמעט אוטונומית,
ותכף נבין למה זה כמעט ולא אוטונומית לגמרי.
בעצם ומדמה את הצורה שבה אנחנו, בני אדם, פותרים בעיות.
(04:18):
זו הגדרה מגובה אפילו לא 30,000 רגל, אלא 100,000 רגל,
הגדרה שנייה אפשר להסתכל על AI-Agent כאבולוציה של אותו
chat gpt שאנחנו מכירים מאז נובמבר 2022. יש לו מאפיינים קצת יותר מתקדמים,
והוא בעצם הוביל אותנו לדבר היותר מתקדם שזה ה-agentic AI ועל זה אנחנו נדבר מן הסתם.
(04:42):
כן.
אז מה יכולות בעצם שיש ב-AI agent שאין היום,
בעצם במה שאנחנו צורכים היום,
שזה ה-chat gpt או במודל האלה למרגיל,
מה התוספת פה בעצם?
אז בואו באמת נסתכל מה היה באמת בהתחלה.
אז היה בעצם אינטרפייס של שיחה עם LLM, עם מודל,
(05:03):
שבו אנחנו מבקשים משהו בצורה טבעית,
נגיד תן לי איזה סיכום של משהו מהאינטרנט.
אנחנו מקבלים תוצר שהוא creation של AI,
אבל בסך הכול זה היה די מוגבל,
אני בתור בן אדם צריכה להנחות את ה-LLM עד שאני מקבלת בדיוק מה שאני רוצה,
(05:25):
בהמשך יתווספו טולים כמו אינטרנט,
כמו קלקולטור,
קצת קוד,
אבל בסך הכול היה פה הרבה הנחיה של הבני אדם.
ב-AI agent אנחנו מדברים יותר על אוטומציה, על אוטונומיה, בעצם גם אוטומציה וגם אוטונומיה.
AI agent הוא צריך פחות הכוונה,
(05:48):
וזה בגלל כל מיני מאפיינים שלו שאין בצ'ט הרגיל.
בוא נדבר עליהם.
אבל בסוף אני כצרכן של המודל,
האם אני יודע אם עכשיו אני מדבר עם AI agent או עם מודל רגיל,
זאת אומרת אם הצורה הישנה יותר?
זו שאלה מצוינת.
אתם יכולים לראות את זה מה שקרה באפליקציות של Cloud וצ'ט ג'יפיטי,
(06:15):
אז המודלים הראשונים,
השלוש וחצי,
הארבע,
היו יותר באמת question and answers,
והיום שאתה מדבר עם 4O או 4O1,
אז אתה בעצם מרגיש שהוא חושב.
אתה מרגיש שהוא, AII הוא יותר מתנהג כמו בן אדם בתהליכי קבלת ההחלטות.
(06:37):
אז זה מתחבר למושגים של ריזנינג,
ריפלקשן,
כל מיני דברים שאנחנו בטח ניכנס אליהם תכף.
שאנחנו שומעים הרבה.
זאת אומרת, ריזנינג אנחנו שומעים הרבה, במיוחד עכשיו,
אם זה מתפוצץ עם כל העולם של הדיפסיק,
שזה כאילו אחד מהיתרונות שהוא יודע לעשות ריזנינג בעלות יותר נמוכה והכל.
יש אפילו יגידו overthinking כי לפעמים אני שואלת משהו פשוט ואני מקבלת בליל של מחשבות,
(07:01):
שזה באמת בדיפסיק אתה רואה את זה בopen AII הוא רק אומר לך שהוא חושב.
נכון.
הוא אומר לך ואם אתה צריך לחוץ כזה למעלה ואז אתה בעצם רואה פחות או יותר מהם המחשבות,
אבל לא בדיטייל.
ו-deepseיק ב-default הוא כאילו זורק לך את זה.
נכון.
גם open AII נותנים לך מודלים שונים ל-reasoning ולא ל-reasoning.
(07:27):
חושב שדיפסיק גם הוציאו עכשיו עוד מודל חדה של reasoning.
זאת אומרת הם הוציאו שתי מודלים,
הוציאו משפחה אחת שזאת הייתה הראשונה שעשתה רעש,
הר אחד,
ומיד אחר כך הם הוציאו עוד משפחה לפני כמה ימים,
שהיא מתעסקת בתמונות קצת יותר וגם שם נותנת איזשהו סוג של...
אז טוב שאמרת תמונות כי באמת עוד מאפיינת של ה-AI agent שהוא הופך להיות יותר מולטימודלי.
(07:48):
כלומר,
בגרסאות הראשונות אז היה דלי שנותן לך את הוויז'ן והיה לך את ה-LLM,
language model,
שנותן לך את השפה,
אבל עכשיו אתה רואה שבעצם המודלים הם מולטימודל ב-definition.
אז זה נורא יפה,
אני לא יודעת אם יצא לכם לשמור או לראות את ההכרזה של ה-Operator.
(08:12):
כן.
אותו AII agent של OpenAI,
והוא בעצם כבר יודע לפתוח לך בראוזר באינטרנט,
להשתבש ב...
במקלדת ועכבר כדי לעשות לך קניות ברשת.
אז האופרטור בעצם מולטימודלי.
הרי אני נותנת לו איזו רשימת קניות באיזה צאת הלך,
כן,
(08:32):
איזה מילה של סקנים,
סליחה,
ואז הוא בעצם מפעיל את המודל ויז'ן,
יודע לעשות אותו CRR ומתחיל לחפש לי באינטרנט את הרשימת קניות ומשלב פה את כל היכולות ה...
בעצם מביא אותך למצב שעושה לך את כל העבודה,
ורק אומר לך, בוא, רק תכניס את הכרטיס אשראי.
כן, והכרטיס...
הוא לא עושה את כל העבודה,
(08:52):
הוא לא רושם לך את הפתק של מה שאתה רוצה לקנות.
לא, לא.
ברור, הוא לא יודע מה אתה חושב.
אבל זה הדבר הבא, הוא כן...
אז אתם מרימים לי כל פעם להנחתה,
אז המאפיין השלישי הוא בעצם זיכרון לטווח ארוך.
כי בעצם ככל שהאייג'נטים האלו יודעים יותר עליך,
(09:13):
אז יש יותר פרסונליזציה ועל מה אתה מעדיף,
הם גם יידעו לחזות את הרשימת קניות הבאה.
מאפיין נוסף של האייג'נט לעומת הצ'ט הפשוט זה השימוש בכלים.
כלומר, אם אנחנו נגיד את זה בצורה פשוטה,
הם חשים את הסביבה בעזרת כלים של דאטה,
איי, API, הם יכולים להפעיל predictive AI, הם יכולים להפעיל API
(09:37):
כדי למקן כל מיני דברים,
הם יכולים להפעיל שליפה בדאטה בייס,
אבל הרבה הרבה יותר כלים.
הרבה הרבה יותר כלים,
ולכן הם מתנהגים יותר כמו דיג'יטל יומנט.
זאת אומרת, ה-AIL-A, פשוט, שמה שאנחנו התחלנו איתו,
היה יותר שיחה, תשאל אותי שאלה, אני אענה, ופה בעצם
(09:58):
נוצר איזשהו סוג של מערך של פעולות.
שמדמות כבר יותר בן אדם,
הוא יכול לראות, ראיתי למשל איזושהי דוגמה כזאת,
אני לא יודע אם זה דוגמה ל-Agentic AI,
אבל שיש לך באנדרואיד אפשרות בעצם לעשות מין כזה טראבל שוטינג באמצעות הפלאפון.
זאת אומרת, אתה שואל אותו איך אני עושה איזשהו סטינג מסוים,
(10:20):
אז הוא אומר לך איפה ללחוץ ואז אתה אומר לו אני לא מוצא,
אז הוא אומר לך, לו בפינה למעלה הימנית אתה צריך ללחוץ.
הוא לא עושה לך את הפעולה, ובגלל שהוא רואה את המסך וקורא אותו,
זה עוד אינפוט שיש לו לתוך התהליך אז בצורת voice הוא מחזיר לך את התשובה על מה לבצע.
אז זה כבר,
זה agent, נכון?
זה עדיין.
כן, זה agent, ואז בעצם מה זה agentic AI?
(10:42):
-זהו בדיוק, זו הייתה השאלה הבאה.
אז עכשיו דיברנו על agent, על agent, עכשיו מה זה בעצם agentic, איפה השכלול פה?
אז זה פשוט תכפיל, תכף תיקח agent ותחפיל.
מה זה אומר?
ב-agentic AI אנחנו מדברים כבר על גולים, על מטרות,
על משימות שהן הרבה הרבה יותר מורכבות,
ואותה מערכת AII, שתבין,
שתכף נבין למה היא נקראת agentic AI ולא agent,
(11:05):
היא יודעת לפתור באופן עוד יותר אוטונומי ובצורה יותר משוכללת,
בעיות יותר מורכבות מקצה לקצה,
בין היתר בגלל שיש לי יותר מ-agent אחד.
כלומר,
אנחנו כבר מדברים על כמה agentic-ים שכל אחד לוקח חלק מהבעיה,
כמו שאנחנו מתנהלים, אנחנו עובדים בצוותים קרובים,
אנחנו עושים קולברציה כדי לפתור בעיות מורכבות ופרויקטים מורכבים,
(11:29):
אז בעצם agentic AI זה אותו דבר,
זה פותר בעיה שיש לה יותר dependencies,
היא יותר,
בקונטקסט יותר רחב,
על ידי זה שיש לי יותר מודלים, יותר agentic, יותר קולברציה.
וכל מודל מתמקצע בעולם תוכן אחר.
זאת אומרת,
יש לך עכשיו צוות של אנשים שכל אחד מביא את הסכיל שלו?
כן, אז בוא ניקח דוגמה כדי להמחיש את זה, IBM,
(11:53):
בעצם הוציאה מעין DEMO,
אני לא יודעת אם זה עוד production ready,
כנראה שלא,
אבל של משהו שנקרא software engineer 1.0. אז זה בעצם כמה agentic-ים שיודעים
לפתור בעיה בגיט מקצה לקצה,
כולל הלוקליזציה של הבעיה,
נגיד זה agentic-1,
הרי אתם מכירים את זה שפותחים לכם גיט-האבי שוב וכותבים איזה משהו קצר ואתה לא
(12:17):
לא יודע בכלל איפה זה.
אז ה-Tקסט לא מספיק ברור בשביל להבין מה הבעיה.
בדיוק,
ואיפה למצוא אותה?
יש לך אלפי שורות קוד,
באיזה פונקציה זה,
באיזה שורה,
באיזה קלאס?
אז בעצם agent אחד יודע בעצם לעשות לוקליזציה של האישו,
agent שני כבר יודע לחפש את התיקונים המתאימים,
(12:38):
agent של שישי כותב את הקוד,
אחד כותב את הטסטים,
אחד עושה הצעה ל-merge,
ועד שבן אדם מאשר את זה בסוף,
לפני המרge למאסטר,
הכל נעשה על ידי agentים.
ואפשר לראות דוגמאות כאלה של Andrew Heng, אתם מכירים את Andrew Heng?
לא.
אז מאושיות ה-AI הכי מדוברות בתחום ה-Agentic AI זה ה-co-founder של
(13:03):
Google brains,
שבעצם אחרי זה הקים את ה-AI ב-BiDo,
בענק הסיני,
ועכשיו יש לו המון מיזמים והמון חברות והשקעות בתחום ה-Agentic AI.
אז Andrew Heng גירה גם agentic AI שיודע לקחת וידאו,
(13:23):
ובעצם לנתח אותו,
לעשות דיטקט של אובייקטים,
לשים אותו בתוך דאטאבייס והכל בצורה אוטונומית.
אפשר לחשוב על המון שימושים לדבר הזה,
אבל היה שם יותר מ-agent 1, יותר ממודל 1, מערכת מאוד מורכבת.
(13:44):
אז זה בעצם, זה agentic AI.
agentic AI זה גם מכונית אוטונומית,
זה גם רובוטים משוכללים.
ומה הנגזרות הטכנולוגיות שיש לנו מהכיוון,
מהכיוון הזה, מהם אם הוא של agentic AI?
מה זה, מה השפעה על הטכנולוגיה?
מה זה עושה לנו?
(14:05):
אנחנו רואים שבסוף אנחנו פה אנשי תוכנה,
אנחנו גם מפתחים את המערכות, מה אנחנו נצטרך?
יותר gpu עם פחות gpu עם, לא יודע, תלוי אם אתה משתמש בדיפסיק או לא.
אבל מה נגזרות הטכנולוגיות של המעבר מ...
כמה שעות יש לנו?
(14:27):
ל-IA agentic AI.
בקצרה, בקצרה, שרות.
בקצרה.
בוא נתחיל, אפשר להסתכל על זה מכמה חתכים, אבל
מעצם ההגדרה שיש לנו הרבה agentic AI והרבה מודלים, אז
באמת אנחנו צריכים פה כבר יותר compute,
אנחנו צריכים פה יותר ריסורסים,
אז אנחנו צריכים גם לדעת לנהל את הריסורסים האלו.
מעצם ההגדרה גם של הארכיטקטורה,
(14:49):
שיש פה כבר agentic שעושים קולברציה,
אנחנו צריכים גם ארכיטקטורה מתאימה,
שהיא כבר יותר דומה למערכות שהן distributed.
בעצם איך אנחנו מנהלים את ה-shared state?
איפה אנחנו שומרים את זה?
זה כבר לא מקרו-סרוויסים רגילים,
שאנחנו מכירים מהעולמות שלנו מקוברנטיס,
שהן state-less לרוב...
(15:11):
אנחנו כבר מדברים פה על מערכת מורכבת מאוד, פרויקט בעצם.
קודם כול, בהגדרה אני חושב שכבר,
מהכמות הללמים וכמות התקשורת וכמות ה-GPUs,
זאת אומרת,
בהגדרה זה כבר עולה יותר ואני חושב שגם סאם אלטמן אמר שכל קריאה ב-O1,
למשל,
היא הפסדית ל...
(15:32):
-נכון.
איך קוראים להם?
ל-open AI, זאת אומרת בהגדרה היא הפסדית.
-נכון.
אז כשאנחנו נגיע ל-agientic AI שהוא זמין באופן כזה או אחר,
זאת אומרת,
כרגע,
איך שזה נראה,
אם הטכנולוגיה הקיימת היום,
כל קריאה איזה 20 קריאות מתורגמת ל... -נכון, אז הרבה יותר קריאות. -סידי לגמרי. -נכון.
יש פה עוד נקודה אבל לכיוון השני,
(15:54):
שאם אתה משתמש במודלים שהם ספיישליז,
אתה יכול להשתמש על במודלים יותר קטנים לחלק מהדברים ולא במודלים המאוד מאוד גדולים.
-זה נכון.
-זה לא מעולה, ג'ורד.
-אז זהו, אני שמעתי משהו מעניין.
הנושא של המודלים זה עניין של מלחמה שכרגע יש איזה 5 ענקיות שנלחמות על הנושא הזה, כן?
(16:16):
-הכולל הסינית.
-כולל הסינית, כולל היפנית, כולל הצרפתים, כל העולם נלחם בדבר הזה,
וזה באמת עולם שמאוד קשה להיכנס אליו.
אבל הנושא של ה-inference הוא עדיין נשאר.
זאת אומרת,
גם אם יש לך מודל גדול בינוני 32-70,
עדיין אתה צריך inference,
ופה זה יש פה מלחמה עולם אחר.
אז יש לך את העלות של ה-inference, אוקיי?
(16:36):
גם אם זה לא קל לי,
גם אם זה בענן,
אשבוד לדבר על מה שאנחנו עושים פה ברדת על אופן סורס.
אז יש לנו את ה...
על ההלחשה של הVLM,
אבל שניור על...
גם, גם, אבל בעיקר יש לנו את הנושא של כלכלת התוקנים.
מה זה אומר?
כשאני עכשיו בתחילת ה-generative AI כולם התלהבו ובננו לopen AI ולמודלים שהם
(17:01):
סאסים ועומסים וקיבלו אז את החשבונות בדואר והבינו שלשלם לפי
תוקנים לדקה,
לשנייה,
זה משהו לא הכי משתלם ובעצם מה נותן לי אופן סורס.
אופן סורס נותן לי תגמישות לקחת מודלים מהאופן סורס כמו למה ומיסטרל,
(17:21):
ולהריץ אותם בסביבות שלי אם יש לי קוברנטיס משלי,
בין אם זה אופן שיפט או לא אופן שיפט.
אני יכולה יותר לשלוט בעלויות בנושא הזה.
ובפרייביסי.
או, או, אז בעצם אני לפני כמה חודשים נדרשתי לנושא הזה והסתכלתי על כל
מיני דוחות של אנליסטים, IDC, גרטנר,
(17:44):
ששאלו חברות
Enterprise מה מדאיג אותם בנושא של ה-generative AI.
מה האתגרים?
הרי גם היום פחות מעשרה אחוז מהחברות,
באמת יש להם בפרודקשן Generative AI,
צריך לשקור את הנתון הזה.
כמה יש לו בפרודקשן?
זה נתון שאנחנו יודעים?
אני לא יודעת, אני יודעת שזה בצעדים מאוד איטיים,
(18:08):
כולם מדברים על זה,
כולם עושים POCs,
כולם משקיעים בזה,
אבל לפני שאנחנו מדברים על אג'נטיק AI,
כמה באמת יש להם
סמי-אייג'נט או אפילו לפני כן את אותם צ'טבוץ בפרודקשן עם כל האובזרויבליטי והכול.
אני רוצה להזכיר שעשינו פה פרק בפודקאסט עם מכבי,
(18:28):
מאוד מאוד מעניין ומאוד מאוד זה שהוא ממש אחורה,
לא שהוא רק היה בלהביא לך נתונים ממסמכים והפניה למסמך,
זה הכול.
הרבה הרבה וזה פרויקט שהוא בחזית.
כן, ותחשוב שפרויקט כזה, 80% ממנו זה הדברים שאנחנו רגילים מעלה לפרודקשן,
(18:48):
אבל כשעכשיו אתה תעלה AI-AIGENT או אג'נטיק AI לפרודקשן,
יש תשתיות שאנחנו עוד לא יודעים איך הם ייראו.
אז בכל מקרה,
כשבדקתי את ה-IDC וגרטנר וכל החבר'ה האלו מה הם אומרים על ה-concerning,
על ה-challenging,
אז תסלחו לי על העירוף של אנגלית,
ואני באה מחברות גלובליות והקטע הזה של העברית,
(19:09):
למרות שאני צברית,
קצת קשה לי,
אז הארגונים אמרו שהדבר הראשון שמדאיג אותם זה הנושא של הסקיורטי,
של האבטחת מידע,
ומדובר פה לא רק על אבטחת מידע קלאסי, צייבר,
אבטחת מידע, פרטיות מידע, אלא גם AI,
(19:30):
בגלל שהוא מייצר דברים חדשים,
זו הרי נקרא בינה מלאכותית יוצרת,
אז איך אנחנו שומרים שהוא לא ייצר דברים פוגעניים?
איך אנחנו שומרים שהוא לא ייצר לנו דברים שמפרים את הנהלים של החברה?
שזה מתעצם בעולם האג'נטס והאזינטיק?
בהחלט! בגלל שהם יותר אוטונומיים, יש להם תהליכי החלטה כביכול עצמאיים,
(19:51):
אני לא שולטת בפלוא כבר,
אז זה הרבה יותר מסוכן.
-וואו, כן, זה כבר נשמע...
זאת אומרת, סתם אני חושב על איזה חברת ביטוח שפתאום עכשיו,
אתה יודע,
מחליט איזה אייג'נט שמתפרע,
רוק דייג'נט לחלק להעמיתים כסף, אני ראיתי אתמול באיזה קבוצת פייסבוק של
משתמשי לינוקס את השאלה האם היית נותן ל-generative AI כזה לגעת לך בדסקטופ שלך של
(20:18):
הלינוקס ואתה יכול לנחש מה היו התשובות.
אבל כמו כל דבר, אני חושב שזה משהו שאנחנו לא רגילים אליו,
ובאיזשהו שלב אנחנו נתרגל אליו וכנראה שזה יהיה יותר פתור.
אני חושב שזה יהיה מודל קצת יותר קרוב למה שאופן AIR הוא באופרטור שזה יהיה יצטרך אישור.
כן, שזה לא יהיה...
-מידל מידל.
-כן, שזה לא יהיה...
(20:38):
-מנידה מידל.
-כן, לא יהיה איזה...
-מנידה מידל.
סליחה, פחות...
-מנידה מידל זה פחות...
-אז בוא נסגור...
-לפחות בשלבים הראשונים.
-נכון.
יצטרך, עדיין מישהו יצטרך לתת אישור כדי לבר שלא קרה משהו...
-גם בה...
-מה של האופרטור, ג'ו, שהסיבה העיקרית שהבן אדם מתערב זה בגלל שהוא צריך להכניס פרטים של כרטיס אשראי.
ומה שהם יראו באופרטור, שהם בעצם פותחים רימות בראוזר.
(21:00):
אתה לא היית רוצה לתת את הפרטים שלך לרימות בראוזר,
ולכן מערבים פה את הבן אדם,
אז באמת מדברים על ה-Isentic AI בקטע של ממשק של אדם מכונה.
כלומר, לא מדברים רק על מכונות שיקומו ויקו אותנו,
אלא יותר על איך אנחנו בתור בני אדם נתחיל לדבר עם המכונות כדי לפתור בעיות ביחד.
(21:21):
וזה מוביל אותנו לעוד אמירה של סאם אלטמן,
שהוא מדבר על 2025,
כשנה שבה ה-EIGENTIK AI ייכנס לשוק העבודה,
ממש כעובדים דיגיטליים.
זה מפחיד הרבה אנשים, אבל מצד שני,
אנחנו יודעים מהמהפכות הקודמות של הביג דאטה.
אני, לדוגמה, בעידן הביג דאטה, אני ניהלתי צוות backend,
(21:43):
אמרו שלא יצטרכו DBA'ים ולא יצטרכו SQL ולא יצטרכו אנשי BI ולא יצטרכו אנליסטים,
ולא יצטרכו והנה תראו אותנו היום כמה ביקושת ל-SQL.
אז אני לא חושבת שזה...
יש לי דוגמה מעולמות אחרים.
יש לי חבר שאבא שלו,
הוא היה סמנכ"ל כספים בחברת נייר מאוד גדולה, מוכרת,
ואז כשהתחיל כל העידן של האינטרנט וזה,
(22:05):
אז החברה ירדה וחשבו שבעצם יפסיקו להשתמש בנייר.
צורה תחתונה, שנה אחר כך הם היו צריכים להרחיב את המפעל בכמעט פי 2 או 3,
לקנות מכשירים מאוד מאוד יקרים.
מי שמכיר ככה את התחום הזה, זה לא...
זה לא שאתה...
זה לא כמו קוברנטיסט שאתה מביא עוד קונטיינר והכל...
זה לא סקאל.
זה לא סקאל.
שמה בשביל להביא עוד מכונה זה סיפור,
(22:26):
והם היו צריכים להשקיע פעמיים-שלוש בשביל להגדיל את המפעל כי כמותה נהיה רק גדלה.
אני לא רוצה להיות, אתה יודע, אני לא רוצה לחרב את המסיבה,
אבל אני, אם אני הייתי מחפש יום עבודה, לא הייתי מחפש עבודה בתור נהג למשל.
למה?
כי...
כי נהגים בקרוב...
(22:46):
לא, לא יהיה תפקיד לבני אדם.
תראה, קח למשל כטב"מים, אוקיי?
כטב"מים באיזשהו מקום החליפו מטוסים,
אז זה החליף את הטייסים?
לא,
יש לך יותר מפעילי כטב"מים פשוט ויש לך הכשרה,
יותר כנראה,
יותר נמוכרת.
רכב אוטונומי זה לא אותו דבר.
רכב אוטונומי ינהג בלי נהג.
יהיה מפקח?
לא.
יהיה מפקח על, אולי הוא יפקח על עשרה מכוניות במקום הלכה.
(23:08):
זה אומר ש...
אבל...
אגב, גם היום טייסים,
טייס חלק גדול מאוד מזמן הטיסה שלו,
טייסים אזרחיים,
עסוקים במשימות מאוד מאוד קשות ומורכבות,
דורשות הרבה הרבה לימוד וזה כמו להזיז את התדר של הרדיו כשאתה עובר מתחנה לתחנה.
היום יש טייסים על מטוסים,
(23:29):
בגלל אלמנט הסייפטי,
תהיה תקלה.
כן.
עם טיסה נורמלית, הטייס לא צריך לעשות כלום.
כלום.
הוא יושב ומסתכל על המערכת,
הוא עושה,
הוא אומר,
וואלה,
טוב לי,
זה נמצא שם למקרה שהמערכות כושלות.
ברכבים כנראה זה לא יהיה.
אז רגע, אני מנסה לחזור לעולם האינטרנטס.
רק היולא, אז אני אומר, יש...
יהיה זה שהאינטרנט לא הוריד את הנייר, לא אומר...
(23:52):
שלא יהיו
מקצועות שיפגעו, אז אנחנו כן צריכים...
-היו מקצועות, אבל אנחנו בתור בני אדם,
אנחנו מי שחווה מהפכות קודמות,
אנחנו צריכים לא לפחד,
להתחדש ולהיות מה שנקרא קצת מילת השראה.
אדג'ייל.
-ההד אוף דה קירב.
אדג'ייל, אדג'ייל.
-כן.
אוקיי, אז אני רגע רוצה עוד פעם לחזור.
(24:12):
אז דיברנו על ה...
אלה להם הפשוט,
דיברנו על ה-AIG,
ובעצם הבנו שעכשיו האג'נטיק-AI הוא בעצם צוות של אייג'נס, אוקיי?
שיש להם יכולת לדבר ולתקשר אחד עם השני,
אני חושב שגם קצת הבנו את המורכבויות שבין לבין,
עוד אבל מורכבות שככה צצא,
שבעצם היא לא נפטרה עד היום,
זה הנושא של הטרייסים.
-נכון?
-נכון.
(24:33):
אז אולי זה כאילו גם איזה...
יש עכשיו איזשהו סגווי לפתרונות,
איך היום הם ממשים?
מה קיים היום בשוק?
יש איזה פלטפורמות היום שאני יכול להתנסות ולראות,
אני מדבר על כמפתח, אני מפתח היום,
אני יודע מה זה LLM, דיברתי עם ChatGPT,
אייג'נס,
אנחנו מדברים פחות או יותר על לנגצ'יין,
לחבר אותו עם טול,
כל מי ששיחק עם זה ככה יודע...
(24:55):
-לנגצ'יין ומעבר.
-לנגצ'יין ודומיו, מה שנקרא, אחים שלו,
אז אייג'נס עוד איכשהו אנחנו יכולים לשחק עם זה.
אולי קצנט שווה להגיד פה כמה Buzzwords,
כמה פרמורק שפופולריים בעולם של ה-Agent,
אז כמובן יש לנו את השכבת בסיס שזה LLMGRAPH,
זה הופך להיות בעצם ספרי,
(25:15):
כמו ספריית בסיס בפייתון כמו O.S. -LMGRAPH או LLMGRAPH?
-LMGRAPH, סליחה.
LMGRAPH, תודה על התיקון,
אז זה בעצם הופך להיות כמו שאתה עכשיו כותב קוד בפייתון ועושה אימפורט ל-Response,
אז זה הופך להיות משהו כל כך בסיסי,
אבל ל-LMGRAPH לוקח את זה צעד קדימה שיש שם כבר workflow קצת יותר מורכבים,
וזה גם אפילו תומך במולטי-Agent.
(25:38):
יש לנו אפילו פרמורקים מיוחדים ל-Agentic AI,
כמו אוטו-ג'ן של Microsoft,
כמו B,
זה פרמורק חדש של IBM. -שהוא אופן-סורס, נכון?
אופן-סורס, זה כל מה ש... -של Microsoft אוטו-ג'ן הוא גם אופן-סורס.
וגם יש את קרו-איי-איי, שהוא גם אופן-סורס.
(26:00):
אז כל הפרמורקים האלו בונים נטבח על נטבח.
זה שאני משתמש ב-Crew-איי-איי,
זה לא אומר שאני לא אשתמש באותו קוד,
גם ב-Langraph וב-Lank Change. -אה,
זאת אומרת,
הקוד בסיס הוא Lang Chame בשביל לייצר את ה-Engine,
וה-Framworking מעל, הם מיוצרים את הגלו בין ה... -זה אבסטרקציה על אבסטרקציה,
שכבה על שכבה, והם כולם מיקס א'נד מאץ'.
(26:22):
לגבי פרמורק של Observability ו-Tracing,
אז יש לנו בעצם את ה-Ecosystem של Langraph, אז מי שהתנסה...
-Lang Stack, זה נקרא כבר.
-כן, Lang Stack, Lang Studio, אז יש לנו את ה-Lang Smith,
שאפשר לראות שם כבר הרבה מטריקות של ה...
בעצם של ה-Observability של הדבר הזה.
(26:44):
אם אתה תלך לעננים, כל העננים הגדולים,
יש לך טרייסים מאוד יפים,
אין-טו-אנד, לגבי טרייסים אין-טו-אנד של מולטי-אייג'נט,
אני לא חושבת שיש עוד סטנדרט לדבר הזה.
כי זה די מסובך,
עכשיו אם יש לי המון אייג'נטים שלא כולם נמצאים אפילו באותו...
(27:04):
מבוזרים, נגיד.
הם לא כולם נמצאים אפילו באותו דאטה-סנטר,
ויש לי גם איזה אורקסטרייטר שמנהל את הסטייט,
ויש לי מערכת איוונטים,
אז איך אני עושה את ה...
טרייס אין-טו-אנט של כל הדבר הזה?
אני לא חושבת שיש עוד סטנדרט או אמזון הוציאו משהו שנקרא בדרוק מולטי-אייג'נט,
שמנסה להידרש לחלק מהנושאים האלו,
(27:26):
אבל הכי קרוב שראיתי למה שאתה מתאר זה בעננים.
זה?
בעננים,
בגוגל ובאמזון ובמייקרוסופט ובאייבי.
יכול להיות אבל שאנחנו נישאר במצב שבו...
אנחנו נשאיר את זה כקופסה שחורה?
זאת אומרת, אנחנו נגיד, אוקיי,
שהוא יעשה מה שהוא רוצה וייתן לי בסוף,
אנחנו מה שאנחנו יכולים להבין נבין, אבל...
(27:47):
לא נרד לסוף דעתו עד...
לא.
אני מקביל את זה לניור ה-network.
רק בגלל ה-safety אנחנו לא יכולים לעשות את זה.
כי אנחנו נידרש למה שנקרא אקספלנבילטי.
בעצם חלק מה...
אני מבינה שיש לכם אורח מכובד בהמשך,
אז הנושא של ה-Risponsible-אייב ו-Safety,
אקספלנבילטי,
(28:08):
ביאס,
כל הדברים האלה הופכים להיות עוד יותר חשובים מעולמות הפרדיקטיב-איי-איי.
כי ב-Predicative-איי-איי, כשאני עשיתי אימון,
אני ידעתי בדיוק מה הפיצ'רים שנכנסים,
מה החתימה של המודל,
ואיזה לייבל אני רוצה to predict.
לא היה פה יותר מדי הפתעות,
כן,
יש תשתיות בתחום הבייס וה-Explanability וה-feature importance,
(28:30):
אבל הם היו די...
straight forward, מה שנקרא, עד כדי,
אבל בעולמות האלה של ה-Eigentic AI אנחנו נידרש להרבה יותר תשתיות,
של Evaluation, של GARD Rails, Observability, Tracing,
וגם Shift-Left לכיוון ה-Supply Chain של הסופטוור.
איך אנחנו בעצם מרכיבים אסבום של הדבר הזה,
(28:51):
איך אנחנו בודקים שהמודל אין בו נוסקות וכל הדברים האלו.
אני חייבת, רגע, סותר רגע.
-כן.
-אני לקחתי את ה-Langraph
ועשיתי איזשהו משהו מאוד מאוד מעניין ששילבתי בו גם את היכולות של לדבר עם LLM,
אבל גם הכנסתי פונקציות רגילות.
-נכון, זה ה-Tools.
(29:12):
-לא, לא, לא tools.
זאת אומרת,
בעצם קריאה שהיא לא AII שמבצעת
הבאה של מידע, קריאות של SQL'ים ודברים כאלה.
רק מה?
Decision making של אם ללכת לפעולה מסוימת,
היא מתבצעת על ידי AII, אוקיי?
ואז בעצם אני חושב שבאיזשהו מקום אפשר להסתכל על כל העולם הזה של ה-IGentics,
(29:33):
בהקבלה כמובן, כמו לעולם המיקרוסרוויסס.
אני כל פעם אומר את זה שזה כאילו האג'נט יכול להחליף מיקרוסרויס, כן?
-זה agent ומיקרוסרוויס שהוא קצת יותר מורכב כי...
-זהו, זה לא...
agent זה לא בדיוק מיקרוסרוויס, זה יותר כי אנחנו מדברים על עוד דברים, אבל...
זה סרוויס בוא נקרע לו.
(29:54):
-סרוויס, בדיוק.
-זה מעבר מסרוויס למיקרוסרויס.
-נכון.
-את הסרוויס והפלואו דינמי ואתה מחליט על הפלואו-בייסט און-AI,
וזה מתקשר ללכת למה ששרון ארבע קודם,
אם לא יהיה לך אקספלנביליטי ואתה תבוא לחברה,
יהיה משהו מסחרי ותקבל תשובה ואחר כך ימכרו לך רכב ב-90% הנחה,
(30:15):
ואתה אחר כך תצטרך...
-להסביר למה.
-להסביר למה זה קרה ואיך זה קרה,
אם לא יהיה לך את האקספלנביליטי ואת כל הריזנינג ואת כל הדברים האלה,
אז אתה בחיים לא תוכל לעשות את זה, אז בעצם מה שהולך,
זה בלי זה אי אפשר יהיה לייצר מערכות פרודקשן אמיתיות.
בלי זה, זה...
-אני חושבת על זה גם האתגר של התשתיות,
(30:37):
שאם יש משהו שעוד לא פיצחנו בעולם הפלטפורמות,
זה ה-end-to-end, observability,
explainability,
tracing של המערכות האלה.
יש המון טולים כבר והמון open source ולא open source שמטפלים בדבר הזה,
גם רדאטי שחקנית בתחום הזה.
אבל אנחנו עוד לא הגענו למיצוי של הדבר הזה.
(31:00):
-גם התחום זז מאוד מהר,
אני לא יודע,
כל הדברים על האובזרויבליטי זה רודף קצת אחרי הדברים,
אבל הדברים זזים כל כך מהר ואתה צריך לרדוף אחרי,
יש פה איזה מין...
-אולי שווה להגיד שאנחנו עוד לא לפני המהפכה הבאה.
כלומר,
מדברים על ה-generative AI כדור השלישי של AI ועל האג'נטיק AI כרביעי,
(31:21):
אבל יש פה איזה מילה גסה עתידנית שנקראת AGI.
-וואו, זה בדיוק השאלה האחרונה לנו, כן.
כאילו לא הספיק לנו מספיק תהפוכות בעולם הזה, בוא נכניס עוד אחד.
-כן, אז בעצם זה מתקשר לדיפסיק.
אז אוקיי.
אז גם דיפסיק וגם טייטנס של גוגל וגם מודלים אחרים,
(31:43):
הם מנסים ללמוד על בעיות חדשות שהם לא אומנו לפתור על סמך כל מיני טכניקות חדשות.
נגיד, לגוגל טייטנס הם יודעים לעשות סימולציה של זיכרון של בני אדם,
מנגנוני שיחה,
מנגנוני זיכרון,
חלק מהמודלים האלו כן משנים את הניורל נטוורק של ה...
(32:08):
שלמדתי בזמן האימון וחלק לא.
אנחנו לא ניכנס לזה, זה מאוד מורכב,
אבל זה כן מוביל אותנו לנושא הזה שהמודלים האלה
לא יצטרכו להתאמן כל פעם שהם נתקלים בבעיה חדשה.
וה-AGI זה אבטחה עוד יותר גדולה,
זה בעצם מערכת שהיא יודעת לפתור בעיות חדשות,
(32:29):
להקל מידע חדש, מבלי צורך להתאמן.
כמו שאנחנו בני אדם יודעים להיכנס לדומיין חדש,
בלי שאנחנו נצטרך לעבור לידה מחדש,
אז ה-AGI מדברים עליו במונחים של סופר אינטליג'נס.
רק מה זה הראשי תיבות ה-AGI?
זה ארטפישל ג'נרל אינטליג'נס,
זה תחום שמגיע מאקדמיה עוד משנות ה-40,
(32:52):
עוד טיורינג התעסק בזה,
באקדמיה בשנות ה-2000 התעסקו עם זה המון,
אבל עכשיו בעיקר אנשים כמו סאם אלטמן ומרק צוקנברג ואלון מאסק וכל ה...
גברדיה.
כל ה...
כל הגברדיה הזאת מתעסקת ב-AGI,
סאם אלטמן אפילו אמר איזה ציטוט די מוגזם,
(33:14):
הייתי אומרת, לפני שנה,
באפריל, לפני קצת פחות משנה, הוא אמר,
לא אכפת לי אם אני אבזבז עכשיו,
נראה לי 50 מיליארד דולר,
אני אבנה AGI,
וכשאני אבנה AGI,
GPT יהיה הדבר הכי מטומטם אי פעם.
המודל הכי טיפש.
אבל אני רוצה להגיד מה שאני חושב שקשור לזה, וזה לדעתי, אנשים...
(33:35):
אני עכשיו פספסו את זה קצת בעניין של דיפסיק,
שאחת הטענות שדיפסיק למד משאלות לצ'אט ג'יפיטי,
ו...
עכשיו, יש פה את העניין,
ואני רוצה לעשות את ההקבה לתוכנות שהן משחקות שחמט,
שפעם זו הייתה דוגמה ל-AI,
ובסוף אחד המודלים של התכנות הזה שהוביל וניצח,
(33:56):
זה תוכנות שמשחקות נגד עצמן, ומשתפות ולומדות...
-להינפורסמנטלים.
-לומדות מעצמן מספיק, עד שהן יותר טובות מכל בן אדם.
הקטע הזה שאתה יכול לבנות מודל עסקה יותר טוב ממודל עסקה קודם,
דרך זה שאתה מתשאל תוכנה, שאתה לא צריך עוד נתונים,
אתה לא צריך עוד בני אדם,
(34:17):
אתה נכנס לספירלה שאתה לא יכול לראות את הסוף שלך.
זה קרוב מאוד לנקודת הסינגולריות שהם מדברים עליה בדבר הזה,
אם אתה תוכל לשפר את המודלים שלך בצורה אוטונומית מכנית,
בלי בני אדם,
אתה תבנה שני מודלים,
תיתן להם לדבר אחד עם השני והם כל הזמן ישפרו את עצמם.
(34:39):
-אז רק פה, בוא נוריד...
-טיפסיק מציעים משהו, הם התחילו את הכיוון הזה,
לא יודעים, הם הגיעו אבל זה עלול להיות... -ג'וש,
בוא נוריד את הדברים לקרקע,
אז לא כולם כמו סם אלטמל מאמינים שאנחנו נשיג AGI בשנים הקרובות.
יש את ביל גייט שאני מאזינה לפודקאסט שלו בנושא טכנולוגיה והיה,
(34:59):
יש לו המון מה להגיד,
אז הוא לא חושב שב-20 שנה הקרובות אנחנו בכלל נגיע ל-AGI,
וגם אם נגיע,
יש פה אספקטים של עקרונות היסוד של החברה,
וזה מגיע לכל מיני ספרי מדע בדיוני שקראנו והחוקים של אסימוב,
שהרובוטים לא יקומו ויקו אותנו,
ואיך אנחנו מגנים על עצמנו.
-יש חוקרת מאוד מוכרת, אנחנו לא נגיד את השם שלה פה כרגע,
(35:23):
אני לא יודע, אבל כשאמרה לי ולך...
-נכון.
-שזה נשמע כמו דמיונות והיא לא מתייחסת לדברים שהם לא ריאליים כרגע.
-נכון, אז בוא נתייחס בינתיים ל-AIGI כמהפכה הבאה,
כמובן, AGI...
-אבל רגע, יש לי משהו שמציק לי כמה דקות כבר, האם זה ב-AGI הוא מהפכה או
המשך של האג'נט-AI או שאנחנו מדברים פה על משהו אחר לגמרי,
(35:44):
צורת למידה אחרת,
אולי אפילו בנושא הניורונים,
זאת אומרת,
זה טכנולוגיה אחרת,
זה סטרים אחר לגמרי או שזה עכשיו עוד אבולוציה על הדברים שאנחנו כבר מכירים?
-להיות דעתי, זה מהפכה חדשה.
-מהפכה רבולוציה.
-כן, כי המודלים האלו שמנסים להיות הטרנספורמר הבא,
לקראים טרנספורמר בריבוע או כל הדיפסיק וסכנז וזה,
(36:07):
אבל זה לא הטכנולוגיה הפורצת דרך שתביא אותנו ל-IGI,
כנראה זה יהיה משהו ברמה של הטרנספורמר.
-זאת אומרת, ברמה הרבה הרבה יותר נמוכה בשרשרת בשביל...
שנוכל לבצע את הדברים האלה.
-כנראה, אתה יודע, אני לא...
אתה יודע למין ניתנה נבואה, אבל ככה זה נראה.
-אוקיי, בסדר.
(36:28):
טוב, אי אפשר בלי לדבר קצת על AI-Safity?
-כן, אז נגענו בזה קצת.
-נגענו בזה קצת קודם.
איך נכנס לתוך העולם הזה הסיפור של ה-A-A-Safity?
-כן, אפשר לפרק את זה אולי לקומפוננטות,
אז אם נגיד עכשיו יש לי קוברנטיס,
בקוברנטיס הזה יש לי מיקרוסרוויסים או
סרוויסים שיש בהם לנגצ'יין או לנגרף או קרו-AI,
(36:51):
מדברים עם איזה LLM שנמצא בפלטפורמות AI,
אז איזה תשתיות אני שמה בדרך?
אז אנחנו מחלקים את זה לעולמות של הפרידיפלומנט,
שזה בעיקר איווליואציות ובנצ'מורקים.
אני בעצם בודקת כל מיני פרמוטציות של מודלים,
ובודקת מי מהם הכי מתאים לי מבחינת safety,
(37:13):
ויש פה כל מיני מטריקות של ground-ness,
אני לא יודעת אפילו להגיד את זה, של כמה המודל הוא רלוונט,
כמה הונה תשובות שהן קונקרטיות, אז יש פה את העניין הזה,
ויש פה את המטריקות של ה- safety,
שהמודל לא עושה abuse,
שהוא לא מוביל לפגיעה עצמית,
(37:35):
שאין לו תכנים מיניים,
אז זה הפרידיפלומנט.
אחרי שאני עושה את ה- deployment,
יש לי את הנושא של ה- guard rails שנגענו בו,
זה בעצם כל מיני פילטרים ו- gateways שבודקים שאין לי משהו בשיחה הזה שמפר את הנהלים של ארגון,
ואני יכולה לעצור אותו באמצע או להחליף את התשובות,
(37:56):
ויש לי את הנושא של ה- observability,
שבעצם אני כל הזמן רוצה לבדוק את המערכת,
גם מבחינה כלכלית,
אבל גם מבחינת הפרפורמנס של המודל,
גם מבחינת התשובות,
וגם מה שדיברנו, ה-shift- left לנושא ה- supply chain,
איך אני בודקת שהמודל הזה לא, אין בו נוסקות,
(38:17):
איך אני בודקת את האסבום שלו, זה תחום שהוא מתפתח מכל הכיוונים,
וכמובן רגולציות.
רגולציות כמו ה-EU אקט של האיחוד האירופי,
רגולציות בכל העולם, בסינגפור, בארה״ב.
יש לי עוד שאלה, אני ראיתי גם, כן, ראיתי באיזה סקרינגשות,
אני לא יודע אם הוא נכון או לא, אבל הוא של עבדה עם דיפסיק.
(38:41):
שמישהו נותן לו את הפרום תחזור אחריי,
ואז הוא אומר לו,
הסקיי,
הוא אומר לו, טיוואניס זה קאנטרי ואומר לו,
טיוואניס פארט אוף צ'יינה.
ניסיתי את זה אתמול, כן.
אז, אז, אז, מה אם, יש פה קטע הרבה יותר עמוק מזה, מהפה.
יש פה קטע של ה...
מישהו שיכתב את ההיסטוריה בדיפסיק, באיזושהי צורה,
(39:03):
זה לא...
זה...
אתה מקבל עולם אחר,
ואם אתה משתמש במודלים שאין לך קונטרול מלא עליהם,
אז זה מוביל אותנו אולי לשני דברים ששווה להזכיר.
אופן סורס, והוא עדיין עושה לך את זה.
אז זה לא אופן סורס אמיתי,
אז זה מוביל אותנו להגדרה של מה זה אופן סורס AI,
(39:24):
שהOSI,
ה-OppenSource Institute,
נסגר עליה רק לפני כמה חודשים,
וגם כל מיני דברים כמו מוף, שזה מודל אופנס פריימורק,
יש המון קונצורציום וארגונים ותנועות בעולם שמנסים באמת לחדד מה זה
באמת אופן סורס אמיתי בתחומי ה-AI וגם על זה שווה לתת את הדעת.
(39:48):
האמת שיהיה לנו פרק יהודי לדבר הזה,
ואנחנו לפני...
בעצם בסוף העונה הקודמת כבר שאלנו את השאלה הזאת ולא היה כלום,
ועכשיו כבר התחום הזה קיבל איזה...
כן, אם תלך לאתר של OSI,
ה-OppenSource Institute, תראה הגדרה מאוד יפה.
היא חדשה, שהיא די חדשה, אולי שווה להגיד משהו אחד על ההגדרה הזאת?
(40:09):
כדי ש-AI יהיה אופן סורס צריך לחשוף את הדאטה,
אבל לא רק את הדאטה-סט שהתאמנתי,
אלא איך השגתי את הדאטה, מאיפה השגתי את הדאטה,
מה-Owner של הדאטה, מה שנקרא ה-Provinance של הדאטה,
וזה גם יהיה חלק מה-S-Bום.
אני אוכל להסתכל על ה-S-Bום ולהגיד, אוקיי,
מפה הגיעה הדאטה ה-third party, מפה הגיעה הדאטה אופן סורס,
(40:31):
ככה אני יכול לשחזר, כמו באופן סורס, ככה אני יכול לשחזר את האימון בעצמי.
ואני לא חושבת שדיפסיק עשו את זה.
לא, זה לא...
הדאטה ותהליך האימון צריך להיות.
תהליך האימון,
תהליך האיווליואציה,
התהליך הטסטים,
הכול,
תהליך האינפרנס.
אני לא חושב שהם עשו את זה כאילו...
אני חושב שזה די ברור היום שהם השתמשו בצ'ט-שיפיטילא,
אימונס דאט, וזה לא כתוב בשום מקום, למרות שזה...
(40:53):
לכן כשאתה אומר אופן סורס למה אתה מתכוון.
לא, זה לא.
זה ברור, אבל אני חושב שזה קטע הזה הוא...
הוא הרבה יותר מורכב מדבר...
אני הודעתי,
אני לא מכיר איך לעשות את זה טוב.
זה הרבה יותר מורכב וזה קטע מאוד מאוד קריטי בכל הדבר הזה שבסוף המודל הוא גם מייצג איזה משהו ש...
טוב לך, שאתה מסכים לו וזה לא מודל שהוא...
(41:17):
סיני שמשך...
אבל שרתי הננמנט לו...
אבל אני אומר רגע כזה דבר, אם עכשיו יש לך מודל סיני או לא משנה,
אנחנו כבר אמרים סיני,
אבל זה גם יכול להיות מודל אמריקאי שיש בו דברים שלא מתאימים למפרץ מקסיקו...
מפרץ מקסיקו...
לא, אפילו, אתה יודע, כאילו...
בעיות שלא קיימות בארץ.
דיברנו על זה גם כן באחד מהפרקים, בארצות הברית יש את הנושא של שחורים ולבנים.
(41:38):
המודלים מותאים או מותאמים לנושאים של שחורים ולבנים?
זה בעייס שלצורך העניין,
יש מדינות שאין את ההבחנה הזאת,
יש מעט מאוד שחורים או מעט מאוד לבנים,
לכן צריך לעשות את השינוי הזה אז אני עכשיו צריך להיות מסוגל גם לקבל את המודל,
ומסוגל לבצע את השינויים האלה ומה שרון אמרה אם אני יודע שהשתמשו בדאטה מסוים ואני יודעת המשקולות.
(42:01):
תיאורטית אם יש לי מספיק כסף...
אתה גם יכול לשלוט באימון או בפיינטיונג.
אבל שזה כבר שאלה אחרת אם יש לי גם מספיק כסף ומספיק gpu ומספיק חומרה בשביל לבצע את הדבר הזה.
יש פה הרבה שאלות...
אם ארגון לא מאוד קטן ומדובר על דיפסי כזה כזה כמה ארגונים...
אבל כמה ארגונים יוכלו לבצע את הדבר הזה?
חמישה מיליון דולר.
חמישה מיליון דולר בשביל העריצה האחרונה.
(42:23):
כמה עריצות היו לפני זה?
זה לא מפרסמים את זה.
אני חושב שזה עוד משהו שהוא די ברור,
כן,
הבאז הזה שאמרו אוקיי הם עשו את זה בעשירית המחיר.
זה, זה...
דרך אגב,
כן,
קצת בדקתי את הנושא הזה קצת כי זה מאוד מאוד ציקלי.
כתבתי איזה מין איזה פוסט...
כמה אמרו שזה עלה להם?
אמרו שזה עלה להם 5 מיליון, זה מה יצא המאמר שהם מציעו...
עכשיו,
בדקתי את הנושא הזה כי זה באמת הטריד אותי ברמה העובדתית.
(42:47):
מה היה שם?
דיפסיקס שייכת לחברה של אג' פאנד,
שהמודל, היצירה של המודל,
הוא כאילו ה...
פט פרוג'קט כזה שלהם.
זה לא היה שום דבר מרכזי,
כנראה יותר בשביל שהם יוכלו לעשות איזה הערכה של שווי חברות ודברים כאלה.
זה עמד על המדף במשך שנה, על כל הנושא הזה של הדיפסטיקס,
(43:10):
זה לא חברה מאוד מאוד חדשה ואז עשו עליהם כתבה ב...
בי בי סי או איזשהו ערוץ אחר.
זה שם אותם בפוקוס והם זרקו את הסיפור הזה,
גם הוציאו איזשהו מאמר ואז הכל התפוצץ.
זאת אומרת, באיזשהו מקום למישהו שכנראה צורך הרבה מאוד gpu's,
ויש אינטרס להוריד את המחיר של הgpu's,
(43:31):
היה גם אינטרס לפרסם את המאמר הזה.
עכשיו זה נשמע כמו קונספירציה,
כשמסתכלים על הסכומים שכמה חברות מאוד גדולות במשק צריכות
לשלם בשביל הgpu'ים למיניהם יכול להיות שיש פה גם אינטרסים שהם לא רק מדעיים בשביל...
לא, יש פה גם את העניין שהם בגלל סין אז הם לא קיבלו את הgpu's
הכי טובים של nvigna אז הם נאלצו לפתח שיטות יותר זולות כביכול.
(43:57):
נכון, אבל החברה הזאת עמדה עשו זאת אומרת כבר שנה,
נמצאת שם ועושה את הדבר.
יש עוד מאמרים אקדמיים ארצות הברית על...
-נכון, אתה שלחת לי אחד.
-כן, על מודל הסקה, לא על המודל ה...
לא על ה...
-כן.
לא על ה-4 או 1,
שאימון במחירים מגוחכים הרבה הרבה פחות.
-כן, אבל האימון זה לא כל העלויות.
יש פה את העלויות של הפרודקשן.
-זה האופן סוף במאה אחוז?
נכון, אבל האימון שם הוא, נאמר, 450 דולר.
(44:21):
אפס.
אבל זה לא משנה, אני עדיין אגב לא קיבלת את זה וריפיקציה למאמר הזה.
ביקשתי שמישהו יסתכל עליו ברצינות...
-זה מברקלי.
-נכון.
אבל אתה צריך להעביר פיקציה לברקלי?
-מישהו צריך לקרוא אותם מאמר ולהגיד שמה שכתוב שם זה הגיוני,
אבל הכל אופן סורס.
במאה אחוז...
-זה על ה...
-בגיטס...
שלחתי לקולגות שלנו, שם הכול ב...
(44:43):
הכול בגיט-האב לגמרי אופן סורס בניגוד לזה,
אבל זה רק המודל הסקה.
-בסדר, טוב, אז היה לנו פרק, הוא סופר מעניין, סופר רלוונטי, כרגיל.
-רק...
נכון להיום, יכול להיות שעוד שבוע יתברר שהוא ישן.
-לך תדעה...
-מה התפוצץ בדיפסי כזה?
כל הפרק הזה, אנחנו צריכים לגנוז אותו.
תשדרו אותו...
(45:03):
כמה שיותר בול, אנחנו צריכים להשתדר אותו אתמול.
-תשדרו אתמול, כן.
אז שרון, תודה רבה.
-תודה לכם.
אני מעריך שיהיה לנו בטח איזה פרק המשך סביב הנסה.
-היה ממש מרתק.
היה באמת מרתק, אנחנו למדנו דברים חדשים, רק בין השיחת הכנה שעשינו לה עכשיו,
שישתחרר טיפסיק והאופרטור.
(45:24):
-כן, כן, כן.
-רק שלבין את הכסף שהדברים זזים.
-דברים זזים, מהר אנחנו נצטרך למצוא פתרון איך...
איזה אייג'נג' שיחליף אותנו,
ייתן לנו להקליט ככה קצת יותר מהר את הפרקים לפני שהדברים יוצרים,
אבל אולי שלנו תעזור לנו עם זה גם.
-יאללה.
-פרויקט.
אז תודה רבה,
תודה רבה לג'ו שבא חולה ולשלום שבא מרחוק ואנחנו נמשיך בפרק הבא יהיה לנו.
(45:52):
נוסעים שוב פעם באזורי ה-AI, אנחנו נעשה ככה קצת יותר להתמקד ויותר להתעמק.
אנחנו ככה נעשה איזה רצף של כמה פרקים כאלה.
מוזמנים לעשות לנו סאבסקרייב בספוטפיי וכמובן לפנות אלינו לנוסעים
שאתם רוצים שאנחנו נדבר עליהם בהקשרים של AI כרגע.
וזהו, ניפגש בשבוע ה... בפרק הבא.
(46:13):
-בפרק הבא.
-בפרק הבא.
-בפרק הבא.
ברוכים הבאים לפודקאסט הטכנולוגיה מדברים פתוח.
אני ג'וש סלומון.
ואני אילן פינטו.
יחד אנחנו מדברים על כל מה שחדש בעולם הפיתוח.
הבינה מלאכותית והקלאוד מקשור ישירות,
או על הדרך לפוד פתוח.
וככה זה אחרי שעובדים שנים באופן סורס חייבים להעביר את זה הלאה.
בין לבין נזכיר גם עוד כמה באז וורדס כדי שנוכל לסגור פינה ולדסקס על כל מה שחשוב באמת.
(00:24):
תחזימו אוזניות, תדבירו את הווליום ותעשו מקום למקצועניות והמקצוענים שבאו לדבר איתנו פתוח ולעניין.
מדברים פתוח, מתחילים.
בוקר טוב, אילן.
בוקר טוב, ג'וש.
מה שלומך?
קול שלי נשמע כאילו אני מגיע מ-200 מטר מתחת לים.
כן.
אגב, אני מתאושש ממחלה.
(00:46):
בסדר.
כל עוד אתה מתאושש ולא מדביק אותנו בקורונה או בזן אחר של שפעת,
בי-סי-די...
אני יודע מה יש עכשיו?
אז מצוין.
זה נראה עוד שבועיים.
כן, אנחנו נגלה את זה בפרק הבא, אם הדבקת אותנו או לא.
עד אז.
יופי.
אז טוב, יש לנו פרק מאוד מאוד מעניין היום.
(01:08):
הבאתי את ה-Budy שלי לענייני AI, כן?
אז אולי תציג את עצמיך, שרון?
היי, שלום, אילן וג'וש.
תודה שהזמנתם אותי לפודקאסט המעניין שלכם.
מי שרון דשת, אני עובדת ב-RedHat, בקבוצת הנדסה מאוד מעניינת,
שמתמקדת ב-Ecosystem של מוצרי RedHat.
(01:30):
אני ארכיטקטית AI, אבל ההתמחות המקורית שלי זה מערכות Analytics,
Data, Big Data.
אני התחלתי...
שזה קשור אחד לשני בסוף, לא?
בהחלט.
יש פה קשר ממש הדוק.
העניין שלי ב-Generative AI התחיל, כמו כולם, אי-שם,
(01:51):
בעבר הרחוק של נובמבר 2022.
אני מתעניינת בתחום בעיקר מהאזורים של הפלטפורמות.
בעצם איך זה מזיז לנו את הפלטפורמות הישנות,
איזה דברים חדשים נוצרים,
מה קשרים בין הפלטפורמות,
ובכלל,
האג'נטיקה זה תחום מטורף.
(02:11):
אני התחלתי בכלל את הקריירה שלי,
אני חושפת פה את הגיל שלי,
סליחה, אי-שם בסוף שנות ה-90 של המילניום הקודם,
כן,
זה עכשיו התפקיד שלך להגיד שלא רואים.
ג'וז' לא אמר, אני לא רוצה להפיל אותה, אבל הוא לא אמר.
עכשיו, בעצם למה אני מזכירה את זה?
כי אני זכיתי, באמת זכיתי לראות הרבה מהפכות טכנולוגיות.
(02:33):
כלומר, כשאני התחלתי לעבוד, אז הייתה מהפכת האינטרנט,
אבל ראיתי גם את המובייל, את ה-social, את ה-big data.
מעולם לא ראיתי כזה מרקט disruption כמו AII,
והיום בעצם אנחנו נדבר על ה-Agentic AII,
וזה מעניין כי זה נוגע לא רק לטכנולוגיה, לא רק לארגונים,
(02:53):
זה נוגע לכל אחד ואיך הוא מתממשק עם העולם האמיתי והדיגיטלי,
אז אני שמחה להיות פה.
כן,
דיברת על disruption,
ובדיוק ה-dys disruption נהיה אפילו עוד יותר רציני.
מה קרה?
מה קרה?
לא,
כלום, סתם איזה משהו סיני,
אבל באמת הרשת מלאה בשתי דברים שקורים,
שתי מקומות שמעניינים את כולם ברשת,
(03:15):
אחד זה סין והשני זה יבנה.
אז אני לא יכולה להגיד על זה.
לא הייתי משווה ביניהם, כן?
לא, אבל שתי המקומות שבאמת אין את זה,
ובאמת,
אז פנינו אלייך בשביל לדבר איתך ולעשות לנו סדר בכל מה שקשור ל-AI-Agent,
מה זה agentic AII,
כל המושגים האלה שבעצם קצת מתערבבים ויש בהם המון-המון חפיפה?
(03:37):
אז אולי באמת נתחיל מההתחלה, מה זה בעצם AI-Agent?
AI-Agent, אז בעצם,
כשיש מושגים מאוד מורכבים בעיצומה של מהפכה טכנולוגית,
אני ספציפית,
כדי לפשט,
אוהבת להסתכל על זה מכמה כיוונים.
אז בואו נסתכל על שני כיוונים.
(03:58):
אז ההגדרה הפשוטה של AI-Agent זה מערכת AII,
שיודעת לפתור בעיות מורכבות בצורה כמעט אוטונומית,
ותכף נבין למה זה כמעט ולא אוטונומית לגמרי.
בעצם ומדמה את הצורה שבה אנחנו, בני אדם, פותרים בעיות.
(04:18):
זו הגדרה מגובה אפילו לא 30,000 רגל, אלא 100,000 רגל,
הגדרה שנייה אפשר להסתכל על AI-Agent כאבולוציה של אותו
chat gpt שאנחנו מכירים מאז נובמבר 2022. יש לו מאפיינים קצת יותר מתקדמים,
והוא בעצם הוביל אותנו לדבר היותר מתקדם שזה ה-agentic AI ועל זה אנחנו נדבר מן הסתם.
(04:42):
כן.
אז מה יכולות בעצם שיש ב-AI agent שאין היום,
בעצם במה שאנחנו צורכים היום,
שזה ה-chat gpt או במודל האלה למרגיל,
מה התוספת פה בעצם?
אז בואו באמת נסתכל מה היה באמת בהתחלה.
אז היה בעצם אינטרפייס של שיחה עם LLM, עם מודל,
(05:03):
שבו אנחנו מבקשים משהו בצורה טבעית,
נגיד תן לי איזה סיכום של משהו מהאינטרנט.
אנחנו מקבלים תוצר שהוא creation של AI,
אבל בסך הכול זה היה די מוגבל,
אני בתור בן אדם צריכה להנחות את ה-LLM עד שאני מקבלת בדיוק מה שאני רוצה,
(05:25):
בהמשך יתווספו טולים כמו אינטרנט,
כמו קלקולטור,
קצת קוד,
אבל בסך הכול היה פה הרבה הנחיה של הבני אדם.
ב-AI agent אנחנו מדברים יותר על אוטומציה, על אוטונומיה, בעצם גם אוטומציה וגם אוטונומיה.
AI agent הוא צריך פחות הכוונה,
(05:48):
וזה בגלל כל מיני מאפיינים שלו שאין בצ'ט הרגיל.
בוא נדבר עליהם.
אבל בסוף אני כצרכן של המודל,
האם אני יודע אם עכשיו אני מדבר עם AI agent או עם מודל רגיל,
זאת אומרת אם הצורה הישנה יותר?
זו שאלה מצוינת.
אתם יכולים לראות את זה מה שקרה באפליקציות של Cloud וצ'ט ג'יפיטי,
(06:15):
אז המודלים הראשונים,
השלוש וחצי,
הארבע,
היו יותר באמת question and answers,
והיום שאתה מדבר עם 4O או 4O1,
אז אתה בעצם מרגיש שהוא חושב.
אתה מרגיש שהוא, AII הוא יותר מתנהג כמו בן אדם בתהליכי קבלת ההחלטות.
(06:37):
אז זה מתחבר למושגים של ריזנינג,
ריפלקשן,
כל מיני דברים שאנחנו בטח ניכנס אליהם תכף.
שאנחנו שומעים הרבה.
זאת אומרת, ריזנינג אנחנו שומעים הרבה, במיוחד עכשיו,
אם זה מתפוצץ עם כל העולם של הדיפסיק,
שזה כאילו אחד מהיתרונות שהוא יודע לעשות ריזנינג בעלות יותר נמוכה והכל.
יש אפילו יגידו overthinking כי לפעמים אני שואלת משהו פשוט ואני מקבלת בליל של מחשבות,
(07:01):
שזה באמת בדיפסיק אתה רואה את זה בopen AII הוא רק אומר לך שהוא חושב.
נכון.
הוא אומר לך ואם אתה צריך לחוץ כזה למעלה ואז אתה בעצם רואה פחות או יותר מהם המחשבות,
אבל לא בדיטייל.
ו-deepseיק ב-default הוא כאילו זורק לך את זה.
נכון.
גם open AII נותנים לך מודלים שונים ל-reasoning ולא ל-reasoning.
(07:27):
חושב שדיפסיק גם הוציאו עכשיו עוד מודל חדה של reasoning.
זאת אומרת הם הוציאו שתי מודלים,
הוציאו משפחה אחת שזאת הייתה הראשונה שעשתה רעש,
הר אחד,
ומיד אחר כך הם הוציאו עוד משפחה לפני כמה ימים,
שהיא מתעסקת בתמונות קצת יותר וגם שם נותנת איזשהו סוג של...
אז טוב שאמרת תמונות כי באמת עוד מאפיינת של ה-AI agent שהוא הופך להיות יותר מולטימודלי.
(07:48):
כלומר,
בגרסאות הראשונות אז היה דלי שנותן לך את הוויז'ן והיה לך את ה-LLM,
language model,
שנותן לך את השפה,
אבל עכשיו אתה רואה שבעצם המודלים הם מולטימודל ב-definition.
אז זה נורא יפה,
אני לא יודעת אם יצא לכם לשמור או לראות את ההכרזה של ה-Operator.
(08:12):
כן.
אותו AII agent של OpenAI,
והוא בעצם כבר יודע לפתוח לך בראוזר באינטרנט,
להשתבש ב...
במקלדת ועכבר כדי לעשות לך קניות ברשת.
אז האופרטור בעצם מולטימודלי.
הרי אני נותנת לו איזו רשימת קניות באיזה צאת הלך,
כן,
(08:32):
איזה מילה של סקנים,
סליחה,
ואז הוא בעצם מפעיל את המודל ויז'ן,
יודע לעשות אותו CRR ומתחיל לחפש לי באינטרנט את הרשימת קניות ומשלב פה את כל היכולות ה...
בעצם מביא אותך למצב שעושה לך את כל העבודה,
ורק אומר לך, בוא, רק תכניס את הכרטיס אשראי.
כן, והכרטיס...
הוא לא עושה את כל העבודה,
(08:52):
הוא לא רושם לך את הפתק של מה שאתה רוצה לקנות.
לא, לא.
ברור, הוא לא יודע מה אתה חושב.
אבל זה הדבר הבא, הוא כן...
אז אתם מרימים לי כל פעם להנחתה,
אז המאפיין השלישי הוא בעצם זיכרון לטווח ארוך.
כי בעצם ככל שהאייג'נטים האלו יודעים יותר עליך,
(09:13):
אז יש יותר פרסונליזציה ועל מה אתה מעדיף,
הם גם יידעו לחזות את הרשימת קניות הבאה.
מאפיין נוסף של האייג'נט לעומת הצ'ט הפשוט זה השימוש בכלים.
כלומר, אם אנחנו נגיד את זה בצורה פשוטה,
הם חשים את הסביבה בעזרת כלים של דאטה,
איי, API, הם יכולים להפעיל predictive AI, הם יכולים להפעיל API
(09:37):
כדי למקן כל מיני דברים,
הם יכולים להפעיל שליפה בדאטה בייס,
אבל הרבה הרבה יותר כלים.
הרבה הרבה יותר כלים,
ולכן הם מתנהגים יותר כמו דיג'יטל יומנט.
זאת אומרת, ה-AIL-A, פשוט, שמה שאנחנו התחלנו איתו,
היה יותר שיחה, תשאל אותי שאלה, אני אענה, ופה בעצם
(09:58):
נוצר איזשהו סוג של מערך של פעולות.
שמדמות כבר יותר בן אדם,
הוא יכול לראות, ראיתי למשל איזושהי דוגמה כזאת,
אני לא יודע אם זה דוגמה ל-Agentic AI,
אבל שיש לך באנדרואיד אפשרות בעצם לעשות מין כזה טראבל שוטינג באמצעות הפלאפון.
זאת אומרת, אתה שואל אותו איך אני עושה איזשהו סטינג מסוים,
(10:20):
אז הוא אומר לך איפה ללחוץ ואז אתה אומר לו אני לא מוצא,
אז הוא אומר לך, לו בפינה למעלה הימנית אתה צריך ללחוץ.
הוא לא עושה לך את הפעולה, ובגלל שהוא רואה את המסך וקורא אותו,
זה עוד אינפוט שיש לו לתוך התהליך אז בצורת voice הוא מחזיר לך את התשובה על מה לבצע.
אז זה כבר,
זה agent, נכון?
זה עדיין.
כן, זה agent, ואז בעצם מה זה agentic AI?
(10:42):
-זהו בדיוק, זו הייתה השאלה הבאה.
אז עכשיו דיברנו על agent, על agent, עכשיו מה זה בעצם agentic, איפה השכלול פה?
אז זה פשוט תכפיל, תכף תיקח agent ותחפיל.
מה זה אומר?
ב-agentic AI אנחנו מדברים כבר על גולים, על מטרות,
על משימות שהן הרבה הרבה יותר מורכבות,
ואותה מערכת AII, שתבין,
שתכף נבין למה היא נקראת agentic AI ולא agent,
(11:05):
היא יודעת לפתור באופן עוד יותר אוטונומי ובצורה יותר משוכללת,
בעיות יותר מורכבות מקצה לקצה,
בין היתר בגלל שיש לי יותר מ-agent אחד.
כלומר,
אנחנו כבר מדברים על כמה agentic-ים שכל אחד לוקח חלק מהבעיה,
כמו שאנחנו מתנהלים, אנחנו עובדים בצוותים קרובים,
אנחנו עושים קולברציה כדי לפתור בעיות מורכבות ופרויקטים מורכבים,
(11:29):
אז בעצם agentic AI זה אותו דבר,
זה פותר בעיה שיש לה יותר dependencies,
היא יותר,
בקונטקסט יותר רחב,
על ידי זה שיש לי יותר מודלים, יותר agentic, יותר קולברציה.
וכל מודל מתמקצע בעולם תוכן אחר.
זאת אומרת,
יש לך עכשיו צוות של אנשים שכל אחד מביא את הסכיל שלו?
כן, אז בוא ניקח דוגמה כדי להמחיש את זה, IBM,
(11:53):
בעצם הוציאה מעין DEMO,
אני לא יודעת אם זה עוד production ready,
כנראה שלא,
אבל של משהו שנקרא software engineer 1.0. אז זה בעצם כמה agentic-ים שיודעים
לפתור בעיה בגיט מקצה לקצה,
כולל הלוקליזציה של הבעיה,
נגיד זה agentic-1,
הרי אתם מכירים את זה שפותחים לכם גיט-האבי שוב וכותבים איזה משהו קצר ואתה לא
(12:17):
לא יודע בכלל איפה זה.
אז ה-Tקסט לא מספיק ברור בשביל להבין מה הבעיה.
בדיוק,
ואיפה למצוא אותה?
יש לך אלפי שורות קוד,
באיזה פונקציה זה,
באיזה שורה,
באיזה קלאס?
אז בעצם agent אחד יודע בעצם לעשות לוקליזציה של האישו,
agent שני כבר יודע לחפש את התיקונים המתאימים,
(12:38):
agent של שישי כותב את הקוד,
אחד כותב את הטסטים,
אחד עושה הצעה ל-merge,
ועד שבן אדם מאשר את זה בסוף,
לפני המרge למאסטר,
הכל נעשה על ידי agentים.
ואפשר לראות דוגמאות כאלה של Andrew Heng, אתם מכירים את Andrew Heng?
לא.
אז מאושיות ה-AI הכי מדוברות בתחום ה-Agentic AI זה ה-co-founder של
(13:03):
Google brains,
שבעצם אחרי זה הקים את ה-AI ב-BiDo,
בענק הסיני,
ועכשיו יש לו המון מיזמים והמון חברות והשקעות בתחום ה-Agentic AI.
אז Andrew Heng גירה גם agentic AI שיודע לקחת וידאו,
(13:23):
ובעצם לנתח אותו,
לעשות דיטקט של אובייקטים,
לשים אותו בתוך דאטאבייס והכל בצורה אוטונומית.
אפשר לחשוב על המון שימושים לדבר הזה,
אבל היה שם יותר מ-agent 1, יותר ממודל 1, מערכת מאוד מורכבת.
(13:44):
אז זה בעצם, זה agentic AI.
agentic AI זה גם מכונית אוטונומית,
זה גם רובוטים משוכללים.
ומה הנגזרות הטכנולוגיות שיש לנו מהכיוון,
מהכיוון הזה, מהם אם הוא של agentic AI?
מה זה, מה השפעה על הטכנולוגיה?
מה זה עושה לנו?
(14:05):
אנחנו רואים שבסוף אנחנו פה אנשי תוכנה,
אנחנו גם מפתחים את המערכות, מה אנחנו נצטרך?
יותר gpu עם פחות gpu עם, לא יודע, תלוי אם אתה משתמש בדיפסיק או לא.
אבל מה נגזרות הטכנולוגיות של המעבר מ...
כמה שעות יש לנו?
(14:27):
ל-IA agentic AI.
בקצרה, בקצרה, שרות.
בקצרה.
בוא נתחיל, אפשר להסתכל על זה מכמה חתכים, אבל
מעצם ההגדרה שיש לנו הרבה agentic AI והרבה מודלים, אז
באמת אנחנו צריכים פה כבר יותר compute,
אנחנו צריכים פה יותר ריסורסים,
אז אנחנו צריכים גם לדעת לנהל את הריסורסים האלו.
מעצם ההגדרה גם של הארכיטקטורה,
(14:49):
שיש פה כבר agentic שעושים קולברציה,
אנחנו צריכים גם ארכיטקטורה מתאימה,
שהיא כבר יותר דומה למערכות שהן distributed.
בעצם איך אנחנו מנהלים את ה-shared state?
איפה אנחנו שומרים את זה?
זה כבר לא מקרו-סרוויסים רגילים,
שאנחנו מכירים מהעולמות שלנו מקוברנטיס,
שהן state-less לרוב...
(15:11):
אנחנו כבר מדברים פה על מערכת מורכבת מאוד, פרויקט בעצם.
קודם כול, בהגדרה אני חושב שכבר,
מהכמות הללמים וכמות התקשורת וכמות ה-GPUs,
זאת אומרת,
בהגדרה זה כבר עולה יותר ואני חושב שגם סאם אלטמן אמר שכל קריאה ב-O1,
למשל,
היא הפסדית ל...
(15:32):
-נכון.
איך קוראים להם?
ל-open AI, זאת אומרת בהגדרה היא הפסדית.
-נכון.
אז כשאנחנו נגיע ל-agientic AI שהוא זמין באופן כזה או אחר,
זאת אומרת,
כרגע,
איך שזה נראה,
אם הטכנולוגיה הקיימת היום,
כל קריאה איזה 20 קריאות מתורגמת ל... -נכון, אז הרבה יותר קריאות. -סידי לגמרי. -נכון.
יש פה עוד נקודה אבל לכיוון השני,
(15:54):
שאם אתה משתמש במודלים שהם ספיישליז,
אתה יכול להשתמש על במודלים יותר קטנים לחלק מהדברים ולא במודלים המאוד מאוד גדולים.
-זה נכון.
-זה לא מעולה, ג'ורד.
-אז זהו, אני שמעתי משהו מעניין.
הנושא של המודלים זה עניין של מלחמה שכרגע יש איזה 5 ענקיות שנלחמות על הנושא הזה, כן?
(16:16):
-הכולל הסינית.
-כולל הסינית, כולל היפנית, כולל הצרפתים, כל העולם נלחם בדבר הזה,
וזה באמת עולם שמאוד קשה להיכנס אליו.
אבל הנושא של ה-inference הוא עדיין נשאר.
זאת אומרת,
גם אם יש לך מודל גדול בינוני 32-70,
עדיין אתה צריך inference,
ופה זה יש פה מלחמה עולם אחר.
אז יש לך את העלות של ה-inference, אוקיי?
(16:36):
גם אם זה לא קל לי,
גם אם זה בענן,
אשבוד לדבר על מה שאנחנו עושים פה ברדת על אופן סורס.
אז יש לנו את ה...
על ההלחשה של הVLM,
אבל שניור על...
גם, גם, אבל בעיקר יש לנו את הנושא של כלכלת התוקנים.
מה זה אומר?
כשאני עכשיו בתחילת ה-generative AI כולם התלהבו ובננו לopen AI ולמודלים שהם
(17:01):
סאסים ועומסים וקיבלו אז את החשבונות בדואר והבינו שלשלם לפי
תוקנים לדקה,
לשנייה,
זה משהו לא הכי משתלם ובעצם מה נותן לי אופן סורס.
אופן סורס נותן לי תגמישות לקחת מודלים מהאופן סורס כמו למה ומיסטרל,
(17:21):
ולהריץ אותם בסביבות שלי אם יש לי קוברנטיס משלי,
בין אם זה אופן שיפט או לא אופן שיפט.
אני יכולה יותר לשלוט בעלויות בנושא הזה.
ובפרייביסי.
או, או, אז בעצם אני לפני כמה חודשים נדרשתי לנושא הזה והסתכלתי על כל
מיני דוחות של אנליסטים, IDC, גרטנר,
(17:44):
ששאלו חברות
Enterprise מה מדאיג אותם בנושא של ה-generative AI.
מה האתגרים?
הרי גם היום פחות מעשרה אחוז מהחברות,
באמת יש להם בפרודקשן Generative AI,
צריך לשקור את הנתון הזה.
כמה יש לו בפרודקשן?
זה נתון שאנחנו יודעים?
אני לא יודעת, אני יודעת שזה בצעדים מאוד איטיים,
(18:08):
כולם מדברים על זה,
כולם עושים POCs,
כולם משקיעים בזה,
אבל לפני שאנחנו מדברים על אג'נטיק AI,
כמה באמת יש להם
סמי-אייג'נט או אפילו לפני כן את אותם צ'טבוץ בפרודקשן עם כל האובזרויבליטי והכול.
אני רוצה להזכיר שעשינו פה פרק בפודקאסט עם מכבי,
(18:28):
מאוד מאוד מעניין ומאוד מאוד זה שהוא ממש אחורה,
לא שהוא רק היה בלהביא לך נתונים ממסמכים והפניה למסמך,
זה הכול.
הרבה הרבה וזה פרויקט שהוא בחזית.
כן, ותחשוב שפרויקט כזה, 80% ממנו זה הדברים שאנחנו רגילים מעלה לפרודקשן,
(18:48):
אבל כשעכשיו אתה תעלה AI-AIGENT או אג'נטיק AI לפרודקשן,
יש תשתיות שאנחנו עוד לא יודעים איך הם ייראו.
אז בכל מקרה,
כשבדקתי את ה-IDC וגרטנר וכל החבר'ה האלו מה הם אומרים על ה-concerning,
על ה-challenging,
אז תסלחו לי על העירוף של אנגלית,
ואני באה מחברות גלובליות והקטע הזה של העברית,
(19:09):
למרות שאני צברית,
קצת קשה לי,
אז הארגונים אמרו שהדבר הראשון שמדאיג אותם זה הנושא של הסקיורטי,
של האבטחת מידע,
ומדובר פה לא רק על אבטחת מידע קלאסי, צייבר,
אבטחת מידע, פרטיות מידע, אלא גם AI,
(19:30):
בגלל שהוא מייצר דברים חדשים,
זו הרי נקרא בינה מלאכותית יוצרת,
אז איך אנחנו שומרים שהוא לא ייצר דברים פוגעניים?
איך אנחנו שומרים שהוא לא ייצר לנו דברים שמפרים את הנהלים של החברה?
שזה מתעצם בעולם האג'נטס והאזינטיק?
בהחלט! בגלל שהם יותר אוטונומיים, יש להם תהליכי החלטה כביכול עצמאיים,
(19:51):
אני לא שולטת בפלוא כבר,
אז זה הרבה יותר מסוכן.
-וואו, כן, זה כבר נשמע...
זאת אומרת, סתם אני חושב על איזה חברת ביטוח שפתאום עכשיו,
אתה יודע,
מחליט איזה אייג'נט שמתפרע,
רוק דייג'נט לחלק להעמיתים כסף, אני ראיתי אתמול באיזה קבוצת פייסבוק של
משתמשי לינוקס את השאלה האם היית נותן ל-generative AI כזה לגעת לך בדסקטופ שלך של
(20:18):
הלינוקס ואתה יכול לנחש מה היו התשובות.
אבל כמו כל דבר, אני חושב שזה משהו שאנחנו לא רגילים אליו,
ובאיזשהו שלב אנחנו נתרגל אליו וכנראה שזה יהיה יותר פתור.
אני חושב שזה יהיה מודל קצת יותר קרוב למה שאופן AIR הוא באופרטור שזה יהיה יצטרך אישור.
כן, שזה לא יהיה...
-מידל מידל.
-כן, שזה לא יהיה...
(20:38):
-מנידה מידל.
-כן, לא יהיה איזה...
-מנידה מידל.
סליחה, פחות...
-מנידה מידל זה פחות...
-אז בוא נסגור...
-לפחות בשלבים הראשונים.
-נכון.
יצטרך, עדיין מישהו יצטרך לתת אישור כדי לבר שלא קרה משהו...
-גם בה...
-מה של האופרטור, ג'ו, שהסיבה העיקרית שהבן אדם מתערב זה בגלל שהוא צריך להכניס פרטים של כרטיס אשראי.
ומה שהם יראו באופרטור, שהם בעצם פותחים רימות בראוזר.
(21:00):
אתה לא היית רוצה לתת את הפרטים שלך לרימות בראוזר,
ולכן מערבים פה את הבן אדם,
אז באמת מדברים על ה-Isentic AI בקטע של ממשק של אדם מכונה.
כלומר, לא מדברים רק על מכונות שיקומו ויקו אותנו,
אלא יותר על איך אנחנו בתור בני אדם נתחיל לדבר עם המכונות כדי לפתור בעיות ביחד.
(21:21):
וזה מוביל אותנו לעוד אמירה של סאם אלטמן,
שהוא מדבר על 2025,
כשנה שבה ה-EIGENTIK AI ייכנס לשוק העבודה,
ממש כעובדים דיגיטליים.
זה מפחיד הרבה אנשים, אבל מצד שני,
אנחנו יודעים מהמהפכות הקודמות של הביג דאטה.
אני, לדוגמה, בעידן הביג דאטה, אני ניהלתי צוות backend,
(21:43):
אמרו שלא יצטרכו DBA'ים ולא יצטרכו SQL ולא יצטרכו אנשי BI ולא יצטרכו אנליסטים,
ולא יצטרכו והנה תראו אותנו היום כמה ביקושת ל-SQL.
אז אני לא חושבת שזה...
יש לי דוגמה מעולמות אחרים.
יש לי חבר שאבא שלו,
הוא היה סמנכ"ל כספים בחברת נייר מאוד גדולה, מוכרת,
ואז כשהתחיל כל העידן של האינטרנט וזה,
(22:05):
אז החברה ירדה וחשבו שבעצם יפסיקו להשתמש בנייר.
צורה תחתונה, שנה אחר כך הם היו צריכים להרחיב את המפעל בכמעט פי 2 או 3,
לקנות מכשירים מאוד מאוד יקרים.
מי שמכיר ככה את התחום הזה, זה לא...
זה לא שאתה...
זה לא כמו קוברנטיסט שאתה מביא עוד קונטיינר והכל...
זה לא סקאל.
זה לא סקאל.
שמה בשביל להביא עוד מכונה זה סיפור,
(22:26):
והם היו צריכים להשקיע פעמיים-שלוש בשביל להגדיל את המפעל כי כמותה נהיה רק גדלה.
אני לא רוצה להיות, אתה יודע, אני לא רוצה לחרב את המסיבה,
אבל אני, אם אני הייתי מחפש יום עבודה, לא הייתי מחפש עבודה בתור נהג למשל.
למה?
כי...
כי נהגים בקרוב...
(22:46):
לא, לא יהיה תפקיד לבני אדם.
תראה, קח למשל כטב"מים, אוקיי?
כטב"מים באיזשהו מקום החליפו מטוסים,
אז זה החליף את הטייסים?
לא,
יש לך יותר מפעילי כטב"מים פשוט ויש לך הכשרה,
יותר כנראה,
יותר נמוכרת.
רכב אוטונומי זה לא אותו דבר.
רכב אוטונומי ינהג בלי נהג.
יהיה מפקח?
לא.
יהיה מפקח על, אולי הוא יפקח על עשרה מכוניות במקום הלכה.
(23:08):
זה אומר ש...
אבל...
אגב, גם היום טייסים,
טייס חלק גדול מאוד מזמן הטיסה שלו,
טייסים אזרחיים,
עסוקים במשימות מאוד מאוד קשות ומורכבות,
דורשות הרבה הרבה לימוד וזה כמו להזיז את התדר של הרדיו כשאתה עובר מתחנה לתחנה.
היום יש טייסים על מטוסים,
(23:29):
בגלל אלמנט הסייפטי,
תהיה תקלה.
כן.
עם טיסה נורמלית, הטייס לא צריך לעשות כלום.
כלום.
הוא יושב ומסתכל על המערכת,
הוא עושה,
הוא אומר,
וואלה,
טוב לי,
זה נמצא שם למקרה שהמערכות כושלות.
ברכבים כנראה זה לא יהיה.
אז רגע, אני מנסה לחזור לעולם האינטרנטס.
רק היולא, אז אני אומר, יש...
יהיה זה שהאינטרנט לא הוריד את הנייר, לא אומר...
(23:52):
שלא יהיו
מקצועות שיפגעו, אז אנחנו כן צריכים...
-היו מקצועות, אבל אנחנו בתור בני אדם,
אנחנו מי שחווה מהפכות קודמות,
אנחנו צריכים לא לפחד,
להתחדש ולהיות מה שנקרא קצת מילת השראה.
אדג'ייל.
-ההד אוף דה קירב.
אדג'ייל, אדג'ייל.
-כן.
אוקיי, אז אני רגע רוצה עוד פעם לחזור.
(24:12):
אז דיברנו על ה...
אלה להם הפשוט,
דיברנו על ה-AIG,
ובעצם הבנו שעכשיו האג'נטיק-AI הוא בעצם צוות של אייג'נס, אוקיי?
שיש להם יכולת לדבר ולתקשר אחד עם השני,
אני חושב שגם קצת הבנו את המורכבויות שבין לבין,
עוד אבל מורכבות שככה צצא,
שבעצם היא לא נפטרה עד היום,
זה הנושא של הטרייסים.
-נכון?
-נכון.
(24:33):
אז אולי זה כאילו גם איזה...
יש עכשיו איזשהו סגווי לפתרונות,
איך היום הם ממשים?
מה קיים היום בשוק?
יש איזה פלטפורמות היום שאני יכול להתנסות ולראות,
אני מדבר על כמפתח, אני מפתח היום,
אני יודע מה זה LLM, דיברתי עם ChatGPT,
אייג'נס,
אנחנו מדברים פחות או יותר על לנגצ'יין,
לחבר אותו עם טול,
כל מי ששיחק עם זה ככה יודע...
(24:55):
-לנגצ'יין ומעבר.
-לנגצ'יין ודומיו, מה שנקרא, אחים שלו,
אז אייג'נס עוד איכשהו אנחנו יכולים לשחק עם זה.
אולי קצנט שווה להגיד פה כמה Buzzwords,
כמה פרמורק שפופולריים בעולם של ה-Agent,
אז כמובן יש לנו את השכבת בסיס שזה LLMGRAPH,
זה הופך להיות בעצם ספרי,
(25:15):
כמו ספריית בסיס בפייתון כמו O.S. -LMGRAPH או LLMGRAPH?
-LMGRAPH, סליחה.
LMGRAPH, תודה על התיקון,
אז זה בעצם הופך להיות כמו שאתה עכשיו כותב קוד בפייתון ועושה אימפורט ל-Response,
אז זה הופך להיות משהו כל כך בסיסי,
אבל ל-LMGRAPH לוקח את זה צעד קדימה שיש שם כבר workflow קצת יותר מורכבים,
וזה גם אפילו תומך במולטי-Agent.
(25:38):
יש לנו אפילו פרמורקים מיוחדים ל-Agentic AI,
כמו אוטו-ג'ן של Microsoft,
כמו B,
זה פרמורק חדש של IBM. -שהוא אופן-סורס, נכון?
אופן-סורס, זה כל מה ש... -של Microsoft אוטו-ג'ן הוא גם אופן-סורס.
וגם יש את קרו-איי-איי, שהוא גם אופן-סורס.
(26:00):
אז כל הפרמורקים האלו בונים נטבח על נטבח.
זה שאני משתמש ב-Crew-איי-איי,
זה לא אומר שאני לא אשתמש באותו קוד,
גם ב-Langraph וב-Lank Change. -אה,
זאת אומרת,
הקוד בסיס הוא Lang Chame בשביל לייצר את ה-Engine,
וה-Framworking מעל, הם מיוצרים את הגלו בין ה... -זה אבסטרקציה על אבסטרקציה,
שכבה על שכבה, והם כולם מיקס א'נד מאץ'.
(26:22):
לגבי פרמורק של Observability ו-Tracing,
אז יש לנו בעצם את ה-Ecosystem של Langraph, אז מי שהתנסה...
-Lang Stack, זה נקרא כבר.
-כן, Lang Stack, Lang Studio, אז יש לנו את ה-Lang Smith,
שאפשר לראות שם כבר הרבה מטריקות של ה...
בעצם של ה-Observability של הדבר הזה.
(26:44):
אם אתה תלך לעננים, כל העננים הגדולים,
יש לך טרייסים מאוד יפים,
אין-טו-אנד, לגבי טרייסים אין-טו-אנד של מולטי-אייג'נט,
אני לא חושבת שיש עוד סטנדרט לדבר הזה.
כי זה די מסובך,
עכשיו אם יש לי המון אייג'נטים שלא כולם נמצאים אפילו באותו...
(27:04):
מבוזרים, נגיד.
הם לא כולם נמצאים אפילו באותו דאטה-סנטר,
ויש לי גם איזה אורקסטרייטר שמנהל את הסטייט,
ויש לי מערכת איוונטים,
אז איך אני עושה את ה...
טרייס אין-טו-אנט של כל הדבר הזה?
אני לא חושבת שיש עוד סטנדרט או אמזון הוציאו משהו שנקרא בדרוק מולטי-אייג'נט,
שמנסה להידרש לחלק מהנושאים האלו,
(27:26):
אבל הכי קרוב שראיתי למה שאתה מתאר זה בעננים.
זה?
בעננים,
בגוגל ובאמזון ובמייקרוסופט ובאייבי.
יכול להיות אבל שאנחנו נישאר במצב שבו...
אנחנו נשאיר את זה כקופסה שחורה?
זאת אומרת, אנחנו נגיד, אוקיי,
שהוא יעשה מה שהוא רוצה וייתן לי בסוף,
אנחנו מה שאנחנו יכולים להבין נבין, אבל...
(27:47):
לא נרד לסוף דעתו עד...
לא.
אני מקביל את זה לניור ה-network.
רק בגלל ה-safety אנחנו לא יכולים לעשות את זה.
כי אנחנו נידרש למה שנקרא אקספלנבילטי.
בעצם חלק מה...
אני מבינה שיש לכם אורח מכובד בהמשך,
אז הנושא של ה-Risponsible-אייב ו-Safety,
אקספלנבילטי,
(28:08):
ביאס,
כל הדברים האלה הופכים להיות עוד יותר חשובים מעולמות הפרדיקטיב-איי-איי.
כי ב-Predicative-איי-איי, כשאני עשיתי אימון,
אני ידעתי בדיוק מה הפיצ'רים שנכנסים,
מה החתימה של המודל,
ואיזה לייבל אני רוצה to predict.
לא היה פה יותר מדי הפתעות,
כן,
יש תשתיות בתחום הבייס וה-Explanability וה-feature importance,
(28:30):
אבל הם היו די...
straight forward, מה שנקרא, עד כדי,
אבל בעולמות האלה של ה-Eigentic AI אנחנו נידרש להרבה יותר תשתיות,
של Evaluation, של GARD Rails, Observability, Tracing,
וגם Shift-Left לכיוון ה-Supply Chain של הסופטוור.
איך אנחנו בעצם מרכיבים אסבום של הדבר הזה,
(28:51):
איך אנחנו בודקים שהמודל אין בו נוסקות וכל הדברים האלו.
אני חייבת, רגע, סותר רגע.
-כן.
-אני לקחתי את ה-Langraph
ועשיתי איזשהו משהו מאוד מאוד מעניין ששילבתי בו גם את היכולות של לדבר עם LLM,
אבל גם הכנסתי פונקציות רגילות.
-נכון, זה ה-Tools.
(29:12):
-לא, לא, לא tools.
זאת אומרת,
בעצם קריאה שהיא לא AII שמבצעת
הבאה של מידע, קריאות של SQL'ים ודברים כאלה.
רק מה?
Decision making של אם ללכת לפעולה מסוימת,
היא מתבצעת על ידי AII, אוקיי?
ואז בעצם אני חושב שבאיזשהו מקום אפשר להסתכל על כל העולם הזה של ה-IGentics,
(29:33):
בהקבלה כמובן, כמו לעולם המיקרוסרוויסס.
אני כל פעם אומר את זה שזה כאילו האג'נט יכול להחליף מיקרוסרויס, כן?
-זה agent ומיקרוסרוויס שהוא קצת יותר מורכב כי...
-זהו, זה לא...
agent זה לא בדיוק מיקרוסרוויס, זה יותר כי אנחנו מדברים על עוד דברים, אבל...
זה סרוויס בוא נקרע לו.
(29:54):
-סרוויס, בדיוק.
-זה מעבר מסרוויס למיקרוסרויס.
-נכון.
-את הסרוויס והפלואו דינמי ואתה מחליט על הפלואו-בייסט און-AI,
וזה מתקשר ללכת למה ששרון ארבע קודם,
אם לא יהיה לך אקספלנביליטי ואתה תבוא לחברה,
יהיה משהו מסחרי ותקבל תשובה ואחר כך ימכרו לך רכב ב-90% הנחה,
(30:15):
ואתה אחר כך תצטרך...
-להסביר למה.
-להסביר למה זה קרה ואיך זה קרה,
אם לא יהיה לך את האקספלנביליטי ואת כל הריזנינג ואת כל הדברים האלה,
אז אתה בחיים לא תוכל לעשות את זה, אז בעצם מה שהולך,
זה בלי זה אי אפשר יהיה לייצר מערכות פרודקשן אמיתיות.
בלי זה, זה...
-אני חושבת על זה גם האתגר של התשתיות,
(30:37):
שאם יש משהו שעוד לא פיצחנו בעולם הפלטפורמות,
זה ה-end-to-end, observability,
explainability,
tracing של המערכות האלה.
יש המון טולים כבר והמון open source ולא open source שמטפלים בדבר הזה,
גם רדאטי שחקנית בתחום הזה.
אבל אנחנו עוד לא הגענו למיצוי של הדבר הזה.
(31:00):
-גם התחום זז מאוד מהר,
אני לא יודע,
כל הדברים על האובזרויבליטי זה רודף קצת אחרי הדברים,
אבל הדברים זזים כל כך מהר ואתה צריך לרדוף אחרי,
יש פה איזה מין...
-אולי שווה להגיד שאנחנו עוד לא לפני המהפכה הבאה.
כלומר,
מדברים על ה-generative AI כדור השלישי של AI ועל האג'נטיק AI כרביעי,
(31:21):
אבל יש פה איזה מילה גסה עתידנית שנקראת AGI.
-וואו, זה בדיוק השאלה האחרונה לנו, כן.
כאילו לא הספיק לנו מספיק תהפוכות בעולם הזה, בוא נכניס עוד אחד.
-כן, אז בעצם זה מתקשר לדיפסיק.
אז אוקיי.
אז גם דיפסיק וגם טייטנס של גוגל וגם מודלים אחרים,
(31:43):
הם מנסים ללמוד על בעיות חדשות שהם לא אומנו לפתור על סמך כל מיני טכניקות חדשות.
נגיד, לגוגל טייטנס הם יודעים לעשות סימולציה של זיכרון של בני אדם,
מנגנוני שיחה,
מנגנוני זיכרון,
חלק מהמודלים האלו כן משנים את הניורל נטוורק של ה...
(32:08):
שלמדתי בזמן האימון וחלק לא.
אנחנו לא ניכנס לזה, זה מאוד מורכב,
אבל זה כן מוביל אותנו לנושא הזה שהמודלים האלה
לא יצטרכו להתאמן כל פעם שהם נתקלים בבעיה חדשה.
וה-AGI זה אבטחה עוד יותר גדולה,
זה בעצם מערכת שהיא יודעת לפתור בעיות חדשות,
(32:29):
להקל מידע חדש, מבלי צורך להתאמן.
כמו שאנחנו בני אדם יודעים להיכנס לדומיין חדש,
בלי שאנחנו נצטרך לעבור לידה מחדש,
אז ה-AGI מדברים עליו במונחים של סופר אינטליג'נס.
רק מה זה הראשי תיבות ה-AGI?
זה ארטפישל ג'נרל אינטליג'נס,
זה תחום שמגיע מאקדמיה עוד משנות ה-40,
(32:52):
עוד טיורינג התעסק בזה,
באקדמיה בשנות ה-2000 התעסקו עם זה המון,
אבל עכשיו בעיקר אנשים כמו סאם אלטמן ומרק צוקנברג ואלון מאסק וכל ה...
גברדיה.
כל ה...
כל הגברדיה הזאת מתעסקת ב-AGI,
סאם אלטמן אפילו אמר איזה ציטוט די מוגזם,
(33:14):
הייתי אומרת, לפני שנה,
באפריל, לפני קצת פחות משנה, הוא אמר,
לא אכפת לי אם אני אבזבז עכשיו,
נראה לי 50 מיליארד דולר,
אני אבנה AGI,
וכשאני אבנה AGI,
GPT יהיה הדבר הכי מטומטם אי פעם.
המודל הכי טיפש.
אבל אני רוצה להגיד מה שאני חושב שקשור לזה, וזה לדעתי, אנשים...
(33:35):
אני עכשיו פספסו את זה קצת בעניין של דיפסיק,
שאחת הטענות שדיפסיק למד משאלות לצ'אט ג'יפיטי,
ו...
עכשיו, יש פה את העניין,
ואני רוצה לעשות את ההקבה לתוכנות שהן משחקות שחמט,
שפעם זו הייתה דוגמה ל-AI,
ובסוף אחד המודלים של התכנות הזה שהוביל וניצח,
(33:56):
זה תוכנות שמשחקות נגד עצמן, ומשתפות ולומדות...
-להינפורסמנטלים.
-לומדות מעצמן מספיק, עד שהן יותר טובות מכל בן אדם.
הקטע הזה שאתה יכול לבנות מודל עסקה יותר טוב ממודל עסקה קודם,
דרך זה שאתה מתשאל תוכנה, שאתה לא צריך עוד נתונים,
אתה לא צריך עוד בני אדם,
(34:17):
אתה נכנס לספירלה שאתה לא יכול לראות את הסוף שלך.
זה קרוב מאוד לנקודת הסינגולריות שהם מדברים עליה בדבר הזה,
אם אתה תוכל לשפר את המודלים שלך בצורה אוטונומית מכנית,
בלי בני אדם,
אתה תבנה שני מודלים,
תיתן להם לדבר אחד עם השני והם כל הזמן ישפרו את עצמם.
(34:39):
-אז רק פה, בוא נוריד...
-טיפסיק מציעים משהו, הם התחילו את הכיוון הזה,
לא יודעים, הם הגיעו אבל זה עלול להיות... -ג'וש,
בוא נוריד את הדברים לקרקע,
אז לא כולם כמו סם אלטמל מאמינים שאנחנו נשיג AGI בשנים הקרובות.
יש את ביל גייט שאני מאזינה לפודקאסט שלו בנושא טכנולוגיה והיה,
(34:59):
יש לו המון מה להגיד,
אז הוא לא חושב שב-20 שנה הקרובות אנחנו בכלל נגיע ל-AGI,
וגם אם נגיע,
יש פה אספקטים של עקרונות היסוד של החברה,
וזה מגיע לכל מיני ספרי מדע בדיוני שקראנו והחוקים של אסימוב,
שהרובוטים לא יקומו ויקו אותנו,
ואיך אנחנו מגנים על עצמנו.
-יש חוקרת מאוד מוכרת, אנחנו לא נגיד את השם שלה פה כרגע,
(35:23):
אני לא יודע, אבל כשאמרה לי ולך...
-נכון.
-שזה נשמע כמו דמיונות והיא לא מתייחסת לדברים שהם לא ריאליים כרגע.
-נכון, אז בוא נתייחס בינתיים ל-AIGI כמהפכה הבאה,
כמובן, AGI...
-אבל רגע, יש לי משהו שמציק לי כמה דקות כבר, האם זה ב-AGI הוא מהפכה או
המשך של האג'נט-AI או שאנחנו מדברים פה על משהו אחר לגמרי,
(35:44):
צורת למידה אחרת,
אולי אפילו בנושא הניורונים,
זאת אומרת,
זה טכנולוגיה אחרת,
זה סטרים אחר לגמרי או שזה עכשיו עוד אבולוציה על הדברים שאנחנו כבר מכירים?
-להיות דעתי, זה מהפכה חדשה.
-מהפכה רבולוציה.
-כן, כי המודלים האלו שמנסים להיות הטרנספורמר הבא,
לקראים טרנספורמר בריבוע או כל הדיפסיק וסכנז וזה,
(36:07):
אבל זה לא הטכנולוגיה הפורצת דרך שתביא אותנו ל-IGI,
כנראה זה יהיה משהו ברמה של הטרנספורמר.
-זאת אומרת, ברמה הרבה הרבה יותר נמוכה בשרשרת בשביל...
שנוכל לבצע את הדברים האלה.
-כנראה, אתה יודע, אני לא...
אתה יודע למין ניתנה נבואה, אבל ככה זה נראה.
-אוקיי, בסדר.
(36:28):
טוב, אי אפשר בלי לדבר קצת על AI-Safity?
-כן, אז נגענו בזה קצת.
-נגענו בזה קצת קודם.
איך נכנס לתוך העולם הזה הסיפור של ה-A-A-Safity?
-כן, אפשר לפרק את זה אולי לקומפוננטות,
אז אם נגיד עכשיו יש לי קוברנטיס,
בקוברנטיס הזה יש לי מיקרוסרוויסים או
סרוויסים שיש בהם לנגצ'יין או לנגרף או קרו-AI,
(36:51):
מדברים עם איזה LLM שנמצא בפלטפורמות AI,
אז איזה תשתיות אני שמה בדרך?
אז אנחנו מחלקים את זה לעולמות של הפרידיפלומנט,
שזה בעיקר איווליואציות ובנצ'מורקים.
אני בעצם בודקת כל מיני פרמוטציות של מודלים,
ובודקת מי מהם הכי מתאים לי מבחינת safety,
(37:13):
ויש פה כל מיני מטריקות של ground-ness,
אני לא יודעת אפילו להגיד את זה, של כמה המודל הוא רלוונט,
כמה הונה תשובות שהן קונקרטיות, אז יש פה את העניין הזה,
ויש פה את המטריקות של ה- safety,
שהמודל לא עושה abuse,
שהוא לא מוביל לפגיעה עצמית,
(37:35):
שאין לו תכנים מיניים,
אז זה הפרידיפלומנט.
אחרי שאני עושה את ה- deployment,
יש לי את הנושא של ה- guard rails שנגענו בו,
זה בעצם כל מיני פילטרים ו- gateways שבודקים שאין לי משהו בשיחה הזה שמפר את הנהלים של ארגון,
ואני יכולה לעצור אותו באמצע או להחליף את התשובות,
(37:56):
ויש לי את הנושא של ה- observability,
שבעצם אני כל הזמן רוצה לבדוק את המערכת,
גם מבחינה כלכלית,
אבל גם מבחינת הפרפורמנס של המודל,
גם מבחינת התשובות,
וגם מה שדיברנו, ה-shift- left לנושא ה- supply chain,
איך אני בודקת שהמודל הזה לא, אין בו נוסקות,
(38:17):
איך אני בודקת את האסבום שלו, זה תחום שהוא מתפתח מכל הכיוונים,
וכמובן רגולציות.
רגולציות כמו ה-EU אקט של האיחוד האירופי,
רגולציות בכל העולם, בסינגפור, בארה״ב.
יש לי עוד שאלה, אני ראיתי גם, כן, ראיתי באיזה סקרינגשות,
אני לא יודע אם הוא נכון או לא, אבל הוא של עבדה עם דיפסיק.
(38:41):
שמישהו נותן לו את הפרום תחזור אחריי,
ואז הוא אומר לו,
הסקיי,
הוא אומר לו, טיוואניס זה קאנטרי ואומר לו,
טיוואניס פארט אוף צ'יינה.
ניסיתי את זה אתמול, כן.
אז, אז, אז, מה אם, יש פה קטע הרבה יותר עמוק מזה, מהפה.
יש פה קטע של ה...
מישהו שיכתב את ההיסטוריה בדיפסיק, באיזושהי צורה,
(39:03):
זה לא...
זה...
אתה מקבל עולם אחר,
ואם אתה משתמש במודלים שאין לך קונטרול מלא עליהם,
אז זה מוביל אותנו אולי לשני דברים ששווה להזכיר.
אופן סורס, והוא עדיין עושה לך את זה.
אז זה לא אופן סורס אמיתי,
אז זה מוביל אותנו להגדרה של מה זה אופן סורס AI,
(39:24):
שהOSI,
ה-OppenSource Institute,
נסגר עליה רק לפני כמה חודשים,
וגם כל מיני דברים כמו מוף, שזה מודל אופנס פריימורק,
יש המון קונצורציום וארגונים ותנועות בעולם שמנסים באמת לחדד מה זה
באמת אופן סורס אמיתי בתחומי ה-AI וגם על זה שווה לתת את הדעת.
(39:48):
האמת שיהיה לנו פרק יהודי לדבר הזה,
ואנחנו לפני...
בעצם בסוף העונה הקודמת כבר שאלנו את השאלה הזאת ולא היה כלום,
ועכשיו כבר התחום הזה קיבל איזה...
כן, אם תלך לאתר של OSI,
ה-OppenSource Institute, תראה הגדרה מאוד יפה.
היא חדשה, שהיא די חדשה, אולי שווה להגיד משהו אחד על ההגדרה הזאת?
(40:09):
כדי ש-AI יהיה אופן סורס צריך לחשוף את הדאטה,
אבל לא רק את הדאטה-סט שהתאמנתי,
אלא איך השגתי את הדאטה, מאיפה השגתי את הדאטה,
מה-Owner של הדאטה, מה שנקרא ה-Provinance של הדאטה,
וזה גם יהיה חלק מה-S-Bום.
אני אוכל להסתכל על ה-S-Bום ולהגיד, אוקיי,
מפה הגיעה הדאטה ה-third party, מפה הגיעה הדאטה אופן סורס,
(40:31):
ככה אני יכול לשחזר, כמו באופן סורס, ככה אני יכול לשחזר את האימון בעצמי.
ואני לא חושבת שדיפסיק עשו את זה.
לא, זה לא...
הדאטה ותהליך האימון צריך להיות.
תהליך האימון,
תהליך האיווליואציה,
התהליך הטסטים,
הכול,
תהליך האינפרנס.
אני לא חושב שהם עשו את זה כאילו...
אני חושב שזה די ברור היום שהם השתמשו בצ'ט-שיפיטילא,
אימונס דאט, וזה לא כתוב בשום מקום, למרות שזה...
(40:53):
לכן כשאתה אומר אופן סורס למה אתה מתכוון.
לא, זה לא.
זה ברור, אבל אני חושב שזה קטע הזה הוא...
הוא הרבה יותר מורכב מדבר...
אני הודעתי,
אני לא מכיר איך לעשות את זה טוב.
זה הרבה יותר מורכב וזה קטע מאוד מאוד קריטי בכל הדבר הזה שבסוף המודל הוא גם מייצג איזה משהו ש...
טוב לך, שאתה מסכים לו וזה לא מודל שהוא...
(41:17):
סיני שמשך...
אבל שרתי הננמנט לו...
אבל אני אומר רגע כזה דבר, אם עכשיו יש לך מודל סיני או לא משנה,
אנחנו כבר אמרים סיני,
אבל זה גם יכול להיות מודל אמריקאי שיש בו דברים שלא מתאימים למפרץ מקסיקו...
מפרץ מקסיקו...
לא, אפילו, אתה יודע, כאילו...
בעיות שלא קיימות בארץ.
דיברנו על זה גם כן באחד מהפרקים, בארצות הברית יש את הנושא של שחורים ולבנים.
(41:38):
המודלים מותאים או מותאמים לנושאים של שחורים ולבנים?
זה בעייס שלצורך העניין,
יש מדינות שאין את ההבחנה הזאת,
יש מעט מאוד שחורים או מעט מאוד לבנים,
לכן צריך לעשות את השינוי הזה אז אני עכשיו צריך להיות מסוגל גם לקבל את המודל,
ומסוגל לבצע את השינויים האלה ומה שרון אמרה אם אני יודע שהשתמשו בדאטה מסוים ואני יודעת המשקולות.
(42:01):
תיאורטית אם יש לי מספיק כסף...
אתה גם יכול לשלוט באימון או בפיינטיונג.
אבל שזה כבר שאלה אחרת אם יש לי גם מספיק כסף ומספיק gpu ומספיק חומרה בשביל לבצע את הדבר הזה.
יש פה הרבה שאלות...
אם ארגון לא מאוד קטן ומדובר על דיפסי כזה כזה כמה ארגונים...
אבל כמה ארגונים יוכלו לבצע את הדבר הזה?
חמישה מיליון דולר.
חמישה מיליון דולר בשביל העריצה האחרונה.
(42:23):
כמה עריצות היו לפני זה?
זה לא מפרסמים את זה.
אני חושב שזה עוד משהו שהוא די ברור,
כן,
הבאז הזה שאמרו אוקיי הם עשו את זה בעשירית המחיר.
זה, זה...
דרך אגב,
כן,
קצת בדקתי את הנושא הזה קצת כי זה מאוד מאוד ציקלי.
כתבתי איזה מין איזה פוסט...
כמה אמרו שזה עלה להם?
אמרו שזה עלה להם 5 מיליון, זה מה יצא המאמר שהם מציעו...
עכשיו,
בדקתי את הנושא הזה כי זה באמת הטריד אותי ברמה העובדתית.
(42:47):
מה היה שם?
דיפסיקס שייכת לחברה של אג' פאנד,
שהמודל, היצירה של המודל,
הוא כאילו ה...
פט פרוג'קט כזה שלהם.
זה לא היה שום דבר מרכזי,
כנראה יותר בשביל שהם יוכלו לעשות איזה הערכה של שווי חברות ודברים כאלה.
זה עמד על המדף במשך שנה, על כל הנושא הזה של הדיפסטיקס,
(43:10):
זה לא חברה מאוד מאוד חדשה ואז עשו עליהם כתבה ב...
בי בי סי או איזשהו ערוץ אחר.
זה שם אותם בפוקוס והם זרקו את הסיפור הזה,
גם הוציאו איזשהו מאמר ואז הכל התפוצץ.
זאת אומרת, באיזשהו מקום למישהו שכנראה צורך הרבה מאוד gpu's,
ויש אינטרס להוריד את המחיר של הgpu's,
(43:31):
היה גם אינטרס לפרסם את המאמר הזה.
עכשיו זה נשמע כמו קונספירציה,
כשמסתכלים על הסכומים שכמה חברות מאוד גדולות במשק צריכות
לשלם בשביל הgpu'ים למיניהם יכול להיות שיש פה גם אינטרסים שהם לא רק מדעיים בשביל...
לא, יש פה גם את העניין שהם בגלל סין אז הם לא קיבלו את הgpu's
הכי טובים של nvigna אז הם נאלצו לפתח שיטות יותר זולות כביכול.
(43:57):
נכון, אבל החברה הזאת עמדה עשו זאת אומרת כבר שנה,
נמצאת שם ועושה את הדבר.
יש עוד מאמרים אקדמיים ארצות הברית על...
-נכון, אתה שלחת לי אחד.
-כן, על מודל הסקה, לא על המודל ה...
לא על ה...
-כן.
לא על ה-4 או 1,
שאימון במחירים מגוחכים הרבה הרבה פחות.
-כן, אבל האימון זה לא כל העלויות.
יש פה את העלויות של הפרודקשן.
-זה האופן סוף במאה אחוז?
נכון, אבל האימון שם הוא, נאמר, 450 דולר.
(44:21):
אפס.
אבל זה לא משנה, אני עדיין אגב לא קיבלת את זה וריפיקציה למאמר הזה.
ביקשתי שמישהו יסתכל עליו ברצינות...
-זה מברקלי.
-נכון.
אבל אתה צריך להעביר פיקציה לברקלי?
-מישהו צריך לקרוא אותם מאמר ולהגיד שמה שכתוב שם זה הגיוני,
אבל הכל אופן סורס.
במאה אחוז...
-זה על ה...
-בגיטס...
שלחתי לקולגות שלנו, שם הכול ב...
(44:43):
הכול בגיט-האב לגמרי אופן סורס בניגוד לזה,
אבל זה רק המודל הסקה.
-בסדר, טוב, אז היה לנו פרק, הוא סופר מעניין, סופר רלוונטי, כרגיל.
-רק...
נכון להיום, יכול להיות שעוד שבוע יתברר שהוא ישן.
-לך תדעה...
-מה התפוצץ בדיפסי כזה?
כל הפרק הזה, אנחנו צריכים לגנוז אותו.
תשדרו אותו...
(45:03):
כמה שיותר בול, אנחנו צריכים להשתדר אותו אתמול.
-תשדרו אתמול, כן.
אז שרון, תודה רבה.
-תודה לכם.
אני מעריך שיהיה לנו בטח איזה פרק המשך סביב הנסה.
-היה ממש מרתק.
היה באמת מרתק, אנחנו למדנו דברים חדשים, רק בין השיחת הכנה שעשינו לה עכשיו,
שישתחרר טיפסיק והאופרטור.
(45:24):
-כן, כן, כן.
-רק שלבין את הכסף שהדברים זזים.
-דברים זזים, מהר אנחנו נצטרך למצוא פתרון איך...
איזה אייג'נג' שיחליף אותנו,
ייתן לנו להקליט ככה קצת יותר מהר את הפרקים לפני שהדברים יוצרים,
אבל אולי שלנו תעזור לנו עם זה גם.
-יאללה.
-פרויקט.
אז תודה רבה,
תודה רבה לג'ו שבא חולה ולשלום שבא מרחוק ואנחנו נמשיך בפרק הבא יהיה לנו.
(45:52):
נוסעים שוב פעם באזורי ה-AI, אנחנו נעשה ככה קצת יותר להתמקד ויותר להתעמק.
אנחנו ככה נעשה איזה רצף של כמה פרקים כאלה.
מוזמנים לעשות לנו סאבסקרייב בספוטפיי וכמובן לפנות אלינו לנוסעים
שאתם רוצים שאנחנו נדבר עליהם בהקשרים של AI כרגע.
וזהו, ניפגש בשבוע ה... בפרק הבא.
(46:13):
-בפרק הבא.
-בפרק הבא.
-בפרק הבא.
Popular Podcasts
Crime Junkie
Does hearing about a true crime case always leave you scouring the internet for the truth behind the story? Dive into your next mystery with Crime Junkie. Every Monday, join your host Ashley Flowers as she unravels all the details of infamous and underreported true crime cases with her best friend Brit Prawat. From cold cases to missing persons and heroes in our community who seek justice, Crime Junkie is your destination for theories and stories you won’t hear anywhere else. Whether you're a seasoned true crime enthusiast or new to the genre, you'll find yourself on the edge of your seat awaiting a new episode every Monday. If you can never get enough true crime... Congratulations, you’ve found your people. Follow to join a community of Crime Junkies! Crime Junkie is presented by audiochuck Media Company.
24/7 News: The Latest
The latest news in 4 minutes updated every hour, every day.
Stuff You Should Know
If you've ever wanted to know about champagne, satanism, the Stonewall Uprising, chaos theory, LSD, El Nino, true crime and Rosa Parks, then look no further. Josh and Chuck have you covered.