BM129: Inferencja modele LLM: Mniej kosztów, więcej mocy

Chcesz uruchomić modele LLM (np. Llama, Mistral czy Bielika) na własnych warunkach? W tym odcinku dowiesz się o sprzęcie, oprogramowaniu i trikach, które to ułatwią. Konkretna i praktyczna wiedza, która Ci się przyda. 

Oglądaj na YouTube: https://youtu.be/_OKLzmaSmg0

🔔 Subskrybuj i włącz powiadomienia - Twoja droga do praktycznego ML zaczyna się od jednego kliknięcia: https://www.youtube.com/@DataWorkshop?sub_confirmation=1
👍 Zostaw like, bo więcej lajków = więcej praktycznych treści dla Ciebie!
💬 Co o tym myślisz? Zostaw komentarz! Masz pytanie? Zadaj je - chętnie odpowiem.
🤝 Poznajmy się lepiej! Zaproś mnie do swojej sieci na LinkedIn:  https://www.linkedin.com/in/vladimiralekseichenko/
🔊 Zainicjuj rozmowę o ML w firmie, polecając ten podcast. Zainspiruj zespół do wdrażania ML!



Poruszam też wątek GPT-4o: czy to rewolucja, czy ewolucja? I dlaczego OpenAI w tym modelu postawiło na inferencję oraz jak to jest powiązane z "rozważaniem". Podaję analogię, aby pobudzić Twoją wyobraźnię :).

Do tego opowiadam jeszcze historię o Elon Musku, jak zorganizował serwerownię z 100 tysiącami kart H100 (+50 tysięcy) w około 4 miesiące, gdzie normalnie zajęłoby to co najmniej rok, i jakie napotkali wyzwania, poza samym zakupem kart GPU (wydał na nie ponad kilka miliardów dolarów). Dla porównania w Polsce na wszystkich uczelniach łącznie jest ok. 1 tys. H100.

Pracując nad tym odcinkiem zrobiłem ​mapę myśli​, aby lepiej ustrektyryzwaoć wiedzę. Tu możesz je znaleźć. Łap! :) Można powiększać i klikać (część linków zostawiłem, chociaż przyznam, że to długi proces, ale uznałem, że może być wartościowy dla Ciebie). 

🔥 https://mm.tt/app/map/3441826029?t=XESxGmZdR8



 Pytania, na które znajdziesz odpowiedzi w tym odcinku:
- Czym jest inferencja modeli LLM i jakie są kluczowe wymagania sprzętowe do jej przeprowadzenia?
Jakie są dostępne opcje dostępu do mocy obliczeniowej potrzebnej do uruchamiania modeli AI i jakie są ich zalety oraz wady?
- Jakie są główne różnice między zamkniętymi a otwartymi modelami AI i którzy są kluczowi gracze w tej dziedzinie?
- Ile RAMu potrzebuje DUŻY model językowy i czy Twój komputer da radę?
- Ile GPU trzeba mieć aby uruchomić Llame 8B, 70B czy nawet 400B?
Jakie są najważniejsze parametry GPU i co one oznaczają w praktyce (tak po ludzku)?
- Czy NVIDIA to JEDYNY wybór dla sprzętu? Poznaj alternatywy!
- Czym jest kwantyzacja modeli LLM i jak wpływa na ich wydajność oraz precyzję?

Partnerem podcastu jest DataWorkshop.

Chcesz więcej? Zajrzyj do moich kursów online i ucz się ML i analizy danych w praktyce!
👉 DS/ML od podstaw - https://dataworkshop.eu/pl/practical-machine-learning
👉 Python - https://dataworkshop.eu/pl/intro-python
👉 Statystyka - https://dataworkshop.eu/statistics
👉 SQL - https://dataworkshop.eu/pl/sql
👉 Time Series - https://dataworkshop.eu/pl/time-series
👉 NLP - https://dataworkshop.eu/pl/nlp

🎧 Słuchaj BM wygodnie na Spotify, Apple Podcasts lub Google Podcasts:
📌 https://open.spotify.com/show/3ZUaHommHHZU6b4WJiyV2I
📌 https://podcasts.apple.com/us/podcast/biznes-myśli/id1215290277
📌 https://music.youtube.com/playlist?list=PLWOCRT27Z94XZzwcRI9-ExMyUXeBrF3W_