W dziedzinie AI codziennie wprowadzane są nowe duże modele językowe, a wszystko zmienia się w szalonym tempie. W ciągu zaledwie kilku miesięcy rozwoju możemy teraz uruchomić LLM typu ChatGPT na naszym komputerze w trybie offline. Nie tylko to, możemy wyszkolić chatbota AI i stworzyć spersonalizowanego asystenta AI. Ale to, co ostatnio mnie zaintrygowało, to praktyczne podejście Microsoftu do rozwoju AI. Microsoft pracuje obecnie nad zaawansowaną formą systemu AI o nazwie JARWIS (oczywiste nawiązanie do Iron Mana Marvela), który łączy się z wieloma modelami AI i odpowiada końcowym wynikiem. Jego demo jest hostowane na Huggingface i każdy może sprawdzić możliwości JARVIS już teraz. Więc jeśli jesteś zainteresowany, idź i dowiedz się, jak korzystać z Microsoft JARVIS (HuggingGPT) od razu.
Czym jest Microsoft JARVIS (HuggingGPT)?
Firma Microsoft opracowała rodzaj unikalnego systemu współpracy, w którym można używać wielu modeli AI do realizacji danego zadania. I we wszystkim tym, ChatGPT działa jako kontroler zadania. Projekt nazywa się JARVIS na GitHub (odwiedzać), a teraz jest dostępny na Huggingface (stąd nazwa HuggingGPT), aby ludzie mogli go wypróbować. Podczas naszych testów działał znakomicie z tekstami, obrazami, dźwiękiem, a nawet filmami.
Działa podobnie do tego, jak OpenAI zademonstrował multimodalne możliwości GPT 4 z tekstami i obrazami. Jednak JARVIS idzie o krok dalej i integruje różne otwarte LLM dla obrazy, filmy, dźwięk i wiele więcej.Najlepszą częścią tutaj jest to, że może również połączyć się z internetem i dostęp do plików. Na przykład możesz wpisać adres URL ze strony internetowej i zadać pytania na jej temat. To całkiem fajne, prawda?
Możesz dodać wiele zadań w jednym zapytaniu. Na przykład możesz poprosić o wygenerowanie obrazu inwazji obcych i napisanie o tym poezji. Tutaj ChatGPT analizuje żądanie i planuje zadanie. Następnie, ChatGPT wybiera właściwy model (hostowane na Huggingface) aby wykonać zadanie. Wybrany model kończy zadanie i zwraca wynik do ChatGPT.
Na koniec ChatGPT generuje odpowiedź, korzystając z wyników wnioskowania ze wszystkich modeli. W tym zadaniu JARVIS użył modelu Stable Diffusion 1.5 do wygenerowania obrazu i użył samego ChatGPT do napisania wiersza.
Jest ich tyle samo 20 modeli połączonych z JARVIS (HuggingGPT). Niektóre z nich to t5-base, stable-diffusion 1.5, bert, bart-large-cnn Facebooka, dpt-large Intela i inne. Podsumowując, jeśli chcesz mieć możliwości multimodalne już teraz, sprawdź Microsoft JARVIS od razu. Wyjaśniliśmy, jak to skonfigurować i przetestować już teraz tutaj:
Krok 1: Zdobądź klucze do korzystania z Microsoft JARVIS
1. Najpierw udaj się do ten linkzaloguj się na swoje konto OpenAI i kliknij „Utwórz nowy klucz tajny”, aby uzyskać swój Klucz API OpenAI. Zapisz klucz w pliku Notatnika do późniejszego wykorzystania.
2. Następnie otwórz witrynę huggingface.co (odwiedzać) I załóż darmowe konto.
3. Następnie kliknij tutaj połączyć aby wygenerować swój token Hugging Face. Kliknij na „Nowy token” w prawym panelu.
4. Tutaj wpisz nazwę (na przykład ja wpisałem nazwę „jarvis”). Następnie zmień Rolę na „Write” i kliknij „Wygeneruj token„.
5. Następnie kliknij „kopia”, a token zostanie skopiowany do schowka. Zapisz token w pliku Notatnika.
Krok 2: Rozpocznij korzystanie z Microsoft JARVIS (HuggingGPT)
1. Aby użyć Microsoft JARVIS, otwórz ten link I wklej klucz API OpenAI w pierwszym polu. Następnie kliknij „Prześlij”. Podobnie wklej token Huggingface w drugim polu i kliknij „Prześlij”.
2. Po zatwierdzeniu obu tokenów przewiń w dół i wprowadź zapytanie. Na początek zapytałem JARVISA, o czym jest zdjęcie i udostępniono adres URL obrazu.
3. Obraz został automatycznie pobrany i użyto trzech modeli AI dla zadania, w tym ydshieh/vit-gpt2-coco-en (do konwersji obrazu na tekst), facebook/detr-resnet-101 (do wykrywania obiektów) i dandelin/vilt-b32-finetuned-vqa (do wizualnego odpowiadania na pytania). Na koniec stwierdził, że zdjęcie przedstawia kota patrzącego na siebie w lustrze. Czy to nie niesamowite?
4. W innym przykładzie poprosiłem go o przepisać plik audioi zrobił to, używając modelu OpenAI/whisper-base. Istnieje wiele przypadków użycia JARVIS i możesz je wypróbować na HuggingFace za darmo.
Używaj wielu modeli AI jednocześnie dzięki HuggingGPT
Oto jak możesz użyć HuggingGPT, aby wykonać zadanie przy użyciu różnych modeli AI. Testowałem JARVIS wiele razy i działał całkiem nieźle, z wyjątkiem tego, że musisz dość często stać w kolejce. Nie możesz uruchomić JARVIS lokalnie na żadnym przyzwoitym komputerze, ponieważ wymaga on co najmniej 16 GB pamięci VRAM i około 300 GB miejsca dla różnych modeli.
Również w Huggingface nie możesz go sklonować i pominąć kolejki w ramach bezpłatnego konta. Musisz wykupić subskrypcję, aby uruchomić ten wydajny model na Nvidia A10G – dużym GPU, który kosztuje 3,15 USD/godzinę. Tak czy inaczej, to wszystko od nas. Jeśli chcesz użyć CodeGPT w VS Code, aby uzyskać pomoc podczas programowania, przejdź do naszego powiązanego przewodnika. A aby korzystać z ChatGPT 4 za darmo, mamy dla Ciebie gotową listę. Na koniec, jeśli masz jakieś pytania, daj nam znać w sekcji komentarzy poniżej.
Wesprzyj naszą pracę ❤️
Jeśli spodobał Ci się ten artykuł, rozważ pozostawienie napiwku, aby pomóc nam dalej publikować wartościowe treści.
