by PC Mania
Nvidia представя “Chat With RTX” – безплатен чатбот с изкуствен интелект, който работи директно на компютри, оборудвани с графични карти Nvidia RTX. Това иновативно приложение използва LLM с отворена тежест Mistral или Llama, за да търси локални файлове и да предоставя подходящи отговори. Съвместим с компютри с Windows, оборудвани с графични процесори NVIDIA GeForce RTX 30 или 40 Series и поне 8 GB VRAM, Chat With RTX предлага безпроблемно разговорно изживяване без необходимост от облачни услуги.
Задвижвано от генерация с извличане на информация (RAG), софтуер NVIDIA TensorRT-LLM и ускорение RTX, това приложение дава възможност за локални генеративни AI възможности. Потребителите могат да участват в разговори, използвайки локални файлове като набор от данни, което позволява бързи и контекстуално релевантни отговори.
Въпреки че приложението поддържа различни файлови формати и преглеждане на папки, някои потребители съобщават за сривове по време на тестването поради проблеми със зависимостта. Въпреки това Chat With RTX отразява ангажимента на Nvidia за независимост от облака и поверителност на потребителите, тъй като чувствителните данни остават на локалното устройство.
Собствениците на графични процесори Nvidia могат да изтеглят Chat With RTX безплатно от уебсайта на Nvidia.