בפרק הסיום שלנו אנו שוברים את המיתוס שמודלים חייבים להיות מפלצות GPU. פרופ’ ניר שביט, מייסד-שותף של Neural Magic וכיום ברד האט, חושף כיצד Sparsity ו-Quantization מצמצמים את משקל המודל, חוסכים בזיכרון ובכסף – ומשאירים את הביצועים בשיא. ניר מסביר למה vLLM הוא ה”לינוקס” של עולם ה-LLM: שכבת אינפרנס פתוחה שמסתירה את כאב-הראש של חומרה משתנה ומנהלת זיכרון, תזמון ומשאבים על פני כמה GPUs, תוך תחרות צמודה מול TensorRT והפתרונות הסגורים. בהמשך, אנחנו מדברים על העתיד: האם נגיע ל-AGI דרך מודל אחד ענקי, או דווקא בזכות אקו-סיסטם של “מיקסטר אוף אקספרטס” – הרבה מודלים קטנים וממוקדים שכל אחד מצטיין בתחומו? ניר טוען שהכול עניין סטטיסטי, ושמה שחסר לנו הוא בעיקר עוד דאטה משוכלל, לא מודעות עצמית. סיום עונה שמוכיח שאפשר לעשות יותר עם פחות – ושהמרוץ אחר מודלים יעילים רק מתחיל.
Popular Podcasts
Stuff You Should Know
If you've ever wanted to know about champagne, satanism, the Stonewall Uprising, chaos theory, LSD, El Nino, true crime and Rosa Parks, then look no further. Josh and Chuck have you covered.
Dateline NBC
Current and classic episodes, featuring compelling true-crime mysteries, powerful documentaries and in-depth investigations. Follow now to get the latest episodes of Dateline NBC completely free, or subscribe to Dateline Premium for ad-free listening and exclusive bonus content: DatelinePremium.com
The Male Room with Dr. Jesse Mills
As Director of The Men’s Clinic at UCLA, Dr. Jesse Mills has spent his career helping men understand their bodies, their hormones, and their health. Now he’s bringing that expertise to The Male Room — a podcast where data-driven medicine meets common sense. Each episode separates fact from hype, science from snake oil, and gives men the tools to live longer, stronger, and happier lives. With candor, humor, and real-world experience from the exam room and the operating room, Dr. Mills breaks down the latest health headlines, dissects trends, and explains what actually works — and what doesn’t. Smart, straightforward, and entertaining, The Male Room is the show that helps men take charge of their health without the jargon.