All Episodes

May 22, 2024 83 mins
🎙️ Witaj w 120 odcinku podcastu "Biznes Myśli"! Dzisiaj zagłębiamy się w temat wytrenowania własnych modeli LLM, czyli dużych modeli językowych, pod własnym dachem. Gościem odcinka jest Marek Kozłowski, ekspert od NLP (Natural Language Processing) i machine learning, pracujący w AI Labie w OPI (Ośrodku Przetwarzania i Informacji, Państwowy Instytut Badawczy).

W tym odcinku rozmawiamy o:
  • Dlaczego trenowanie własnych modeli LLM jest tak ważne dla rozwoju Polski? Marek wyjaśnia, dlaczego własne modele LLM mogą być kluczem do rozwoju nowoczesnej gospodarki, innowacyjności i kompetencji.
  • Jak wygląda proces trenowania modeli LLM? Marek krok po kroku omawia poszczególne etapy uczenia, od pre-trainingu, przez fine-tuning, aż do procesu ewaluacji i walidacji. - Jakie są konkretne wyzwania i możliwości związane z budową ekosystemu modeli LLM w Polsce? Marek omawia inicjatywy takie jak konsorcjum PLLuM i stowarzyszenie Speaklish, a także dzieli się swoimi przemyśleniami na temat potencjału rozwoju modeli LLM w naszym kraju.
Kluczowe punkty odcinka:
  • LLM to coś w rodzaju nowoczesnej waluty: posiadanie własnego modelu LLM może dać przewagę konkurencyjną i wpłynąć na rozwój gospodarki i innowacyjności.
  • Dane to klucz: jakość i ilość danych są kluczowymi elementami determinującymi jakość modeli LLM.
  • Ekosystem jest ważniejszy niż pojedynczy model: budowanie ekosystemu modeli LLM, z odpowiednim zestawem danych, narzędzi i kompetencji, jest niezbędne do osiągnięcia sukcesu.
Dodatkowo:
  1. Marek opowiada o doświadczeniach i projektach realizowanych w AI Labie w OPI, w tym o systemie antyplagiatowym JSA i modelach Qra i MMLW.
  2. Podnosi kwestię otwartości modeli LLM i podkreśla, że kluczowe jest tworzenie modeli dostępnych dla wszystkich.
Zapraszam do wysłuchania tego inspirującego odcinka!


Spis treści:
00:00:00 - Wprowadzenie
00:01:35 - Kim jest Marek Kozłowski?
00:03:35 - OPI i AI Lab - co to jest i czym się zajmuje?
00:10:40 - Historia deep learningu i NLP w Polsce
00:12:40 - Jakie książki Marek ostatnio czytał?
00:16:10 - OPI - software house I laboratoria
00:20:00 - Projekty zrealizowane przez AI Lab w OPI
00:25:00 - Dane i ich znaczenie dla budowy modeli LLM
00:30:10 - Definicja modeli LLM
00:33:00 - Reprezentacyjne i generatywne modele LLM 
00:37:00 - OpenAI i Google - historia sukcesu i porażki
 00:40:00 - Dane jako klucz do sukcesu
00:41:35 - Etapy uczenia modeli LLM 
00:53:00 - Dlaczego warto budować modele LLM pod własnym dachem?
00:56:00 - Konsorcjum PLLuM 
01:06:00 - Ekosystem usług oparty o AI
01:14:00 - Racją stanu
01:16:00 - Przyszłość AI w Polsce
01:17:00 - Otwartość modeli LLM 
01:17:40 - Podsumowanie i zaproszenie do kolejnych odcinków




Pamiętaj o:
  1. Subskrybowaniu kanału!
  2. Komentarzach i ocenie odcinka.
  3. Udostępnieniu podcastu innym!
Do zobaczenia w kolejnym odcinku Biznes Myśli!

LinkedIn:
  • Marek Kozłowski: https://www.linkedin.com/in/marek-kozłowski-phd-97a20945/
  • Vladimir Alekseichenko: https://www.linkedin.com/in/vladimiralekseichenko/
Link: https://biznesmysli.pl/sztuczna-inteligencja-pod-wlasnym-dachem
Newsletter: https://biznesmysli.pl/newsletter

Modele:
  • https://huggingface.co/core42/jais-13b
  • https://huggingface.co/OPI-PG/Qra-13b
  •  https://huggingface.co/speakleash/Bielik-7B-v0.1
Benchmarks:
  • KLEJ: https://klejbenchmark.com/leaderboard/
  • MTEB: https://huggingface.co/spaces/mteb/leaderboard


Mark as Played

Advertise With Us

Popular Podcasts

CrimeLess: Hillbilly Heist

CrimeLess: Hillbilly Heist

It’s 1996 in rural North Carolina, and an oddball crew makes history when they pull off America’s third largest cash heist. But it’s all downhill from there. Join host Johnny Knoxville as he unspools a wild and woolly tale about a group of regular ‘ol folks who risked it all for a chance at a better life. CrimeLess: Hillbilly Heist answers the question: what would you do with 17.3 million dollars? The answer includes diamond rings, mansions, velvet Elvis paintings, plus a run for the border, murder-for-hire-plots, and FBI busts.

Crime Junkie

Crime Junkie

Does hearing about a true crime case always leave you scouring the internet for the truth behind the story? Dive into your next mystery with Crime Junkie. Every Monday, join your host Ashley Flowers as she unravels all the details of infamous and underreported true crime cases with her best friend Brit Prawat. From cold cases to missing persons and heroes in our community who seek justice, Crime Junkie is your destination for theories and stories you won’t hear anywhere else. Whether you're a seasoned true crime enthusiast or new to the genre, you'll find yourself on the edge of your seat awaiting a new episode every Monday. If you can never get enough true crime... Congratulations, you’ve found your people. Follow to join a community of Crime Junkies! Crime Junkie is presented by audiochuck Media Company.

Stuff You Should Know

Stuff You Should Know

If you've ever wanted to know about champagne, satanism, the Stonewall Uprising, chaos theory, LSD, El Nino, true crime and Rosa Parks, then look no further. Josh and Chuck have you covered.

Music, radio and podcasts, all free. Listen online or download the iHeart App.

Connect

© 2025 iHeartMedia, Inc.