Круто! Кастомный чатбот от NVIDIA теперь работает локально на RTX AI ПК. Это точно добавит скорости и эффективности в обработке данных. Ждем новых улучшений в области ИИ благодаря этому! 🚀
NVIDIA представила Chat with RTX в качестве технической демонстрации того, как AI-чат-боты могут работать локально на ПК под управлением Windows с использованием графических процессоров RTX.
Стандартный подход к использованию AI-чат-ботов заключается в использовании веб-платформы, такой как ChatGPT, или выполнении запросов через API с последующим выводом на серверах облачных вычислений. Недостатками этого подхода являются затраты, задержка и проблемы конфиденциальности при передаче личных или корпоративных данных туда и обратно.
Теперь благодаря графическим процессорам RTX от NVIDIA стало возможным запускать LLM локально на ПК под управлением Windows, даже если вы не подключены к интернету.
Chat with RTX позволяет пользователям создавать персонализированных чат-ботов с использованием Mistral или Llama 2. Он использует метод генерации с извлечением (RAG) и оптимизацию вывода TensorRT-LLM от NVIDIA.
Вы можете направить Chat with RTX к папке на своем ПК и задавать ему вопросы, связанные с файлами в этой папке. Он поддерживает различные форматы файлов, включая .txt, .pdf, .doc/.docx и .xml.
Поскольку LLM анализирует локально сохраненные файлы с выводом, происходящим на вашем устройстве, он работает очень быстро, и никакие ваши данные не передаются по потенциально небезопасным сетям.
Вы также можете указать ему URL-адрес видео на YouTube и задать ему вопросы о видео. Для этого требуется доступ в интернет, но это отличный способ получить ответы, не просматривая длинное видео.
Вы можете бесплатно скачать Chat with RTX, но для его работы вам понадобится ПК под управлением Windows 10 или 11 с графическим процессором серии GeForce RTX 30 или выше, с минимум 8 ГБ видеопамяти.
Chat with RTX представляет собой демонстрационный продукт, а не готовый продукт. Он немного глючит и не запоминает контекст, поэтому вы не можете задавать ему последующие вопросы. Но это хороший пример того, как мы будем использовать LLM в будущем.
Использование AI-чат-бота локально с нулевыми затратами на вызовы API и минимальной задержкой, вероятно, станет основным способом взаимодействия большинства пользователей с LLM. Подход с открытым исходным кодом, который выбрали компании, такие как Meta, позволит устройствам AI привлекать пользователей к использованию их бесплатных моделей, а не проприетарных, например, GPT.
Тем не менее, владельцам мобильных устройств и ноутбуков придется подождать некоторое время, пока вычислительная мощность графического процессора RTX сможет поместиться в более компактные устройства.
Источник: DailyAI.
Если вам нужны рекомендации по управлению ИИ в бизнесе, свяжитесь с нами по адресу hello@itinai.com. Чтобы быть в курсе последних новостей об ИИ, подписывайтесь на наш Telegram-канал t.me/itinairu.
Посмотрите на практический пример решения на основе ИИ: бот для продаж от itinai.ru/aisales, созданный для автоматизации общения с клиентами круглосуточно и управления взаимодействием на всех этапах пути клиента.
Изучите, как искусственный интеллект может улучшить ваши продажи и общение с клиентами. Познакомьтесь с нашими решениями на сайте itinai.ru.
