Bielik.AI to kompaktowy model językowy stworzony przez polskich inżynierów. Rozwiązanie, które obsługuje obecnie 32 języki, jest rozwijane w duchu open science. Model jest przeznaczony do uruchamiania na własnej infrastrukturze firm i instytucji publicznych. To zapewnia zarówno pełną kontrolę nad przetwarzaniem informacji, jak i suwerenność danych.
Wspólna praca fundacji SpeakLeash i Akademickiego Centrum Komputerowego Cyfronet AGH zaskutkowała stworzeniem dwóch nowych modeli draftowych – Bielik-11B-v3.0-DFlash oraz Bielik-Minitron-7B-v3.0-DFlash.
Bielik.AI z ciągłym rozwojem
W rozwiązaniach po raz pierwszy w Polsce zastosowano technologię DFlash. To jedna z najnowszych metod zaawansowanej techniki dekodowania spekulatywnego. Polega ona
na połączeniu pracy dwóch modeli – lekkiego modelu draftowego z modelem docelowym.
Dzięki temu możliwe jest generowanie odpowiedzi w krótszym czasie i przy mniejszej liczbie przetwarzanych tokenów.
„Stworzyliśmy rozwiązanie oparte na algorytmie DFlash, które pozwala znacząco zwiększyć przepustowość inferencji. Jest to szczególnie istotne dla firm budujących produkty AI, które obsługują tysiące użytkowników jednocześnie. Dzięki uruchamianiu Bielika wraz z nowymi modelami draftowymi przedsiębiorstwa będą mogły kilkukrotnie skrócić czas generowania odpowiedzi oraz obniżyć koszty infrastruktury” – mówi Krzysztof Ociepa, Head of Model Training w Bielik.AI.
To jednak nie koniec aktualnego rozwoju modelu. Zgodnie z zapowiedziami twórców, jeszcze w czerwcu może zostać opublikowana wersja 3.1. Ta ma obsługiwać 50 języków, wśród których znajdą się między innymi chiński i arabski.
Nowe modele draftowe Bielika można pobrać w serwisie Hugging Face. Partnerami strategicznymi Bielik.AI są EY oraz InPost. Do grona partnerów należą również: Deviniti oraz Dell Technologies.
Komentarze
Nie ma jeszcze żadnych komentarzy :)