Nvidia uruchamia chatbota działającego dzięki karcie graficznej GeForce RTX

Nvidia udostępniła wersję demonstracyjną oprogramowania, która wykorzystuje wybrane karty graficzne do uruchamiania osobistego chatbota AI na własnym komputerze. Chat with RTX działa w systemie Windows 11 i wymaga procesora graficznego GeForce RTX z serii 30 lub 40 (lub procesora graficznego RTX Ampere lub Ada Generation). Wykorzystuje on generowanie wspomagane pozyskiwaniem (Retrieval-Augmented Generation), TensorRT-LLM i akcelerację RTX do tworzenia spersonalizowanego modelu językowego GPT w oparciu, o dostarczone przez nas unikalne treści. Chatbotowi można udostępniać filmy z Internetu, w tym klipy z YouTube. Wystarczy wkleić adres URL źródłowego wideo, a następnie można zadać chatbotowi dowolne pytanie związane z treścią filmu. Jak sama nazwa wskazuje, generowanie wspomagane pozyskiwaniem to technika, która zwiększa dokładność i niezawodność generatywnych modeli sztucznej inteligencji przy użyciu faktów zebranych ze źródeł zewnętrznych. Nvidia udostępnia pełny opis jej działania wszystkim tym, którzy szukają lepszego zrozumienia „jak to działa”. Ponieważ Chat with RTX działa lokalnie zamiast w chmurze i jest trenowany na osobiście dostarczanych danych, powinien działać szybko, jak i precyzyjnie. Nvidia twierdzi również, że udostępniane dane są bezpieczne – co jest prawdopodobne, biorąc pod uwagę, że nie przesyła poufnych danych przez Internet. Tom Warren z The Verge spędził trochę czasu korzystając z przedpremierowej wersji Chat with RTX i chociaż nie działa ona jeszcze perfekcyjnie, to przyznał, że może być cennym narzędziem dla dziennikarzy lub każdego, kto musi przeanalizować większą liczbę dokumentów lub danych, a nie chce udostępniać ich w sieci. Na przykład Warren był w stanie sprawić, by bot podsumował całą strategię Microsoftu dotyczącą Xbox Game Pass, korzystając z dokumentów prawnych z sądowej bitwy giganta z Redmond z amerykańską Federalną Komisją Handlu. Ze wskazanym materiałem wideo nie poszło już tak gładko, ponieważ aplikacja w jakiś sposób załadowała transkrypcję z zupełnie innego filmu. Warto zauważyć, że nie było to też wideo, które wcześniej udostępniał chatbotowi. Oprogramowanie ma więc jeszcze błędy, ale jest to dopiero wczesna wersja demonstracyjna. Jeśli masz GPU z serii GeForce 30 lub 40 i chcesz wypróbować Chat with RTX we wczesnej wersji 0.2, udaj się na stronę Nvidia, aby pobrać plik instalacyjny. Ale uwaga – to aż 35 gigabajtów danych przed rozpakowaniem!