-
Квантование авторегрессионных моделей: методы, преимущества и ограничения
Введение Авторегрессионные модели, такие как GPT, LLaMA и другие большие языковые модели (LLM), стали основой современного NLP. Однако их практическое применение сталкивается с серьезными вычислительными ограничениями: модели с миллиардами параметров требуют огромных ресурсов памяти и значительной вычислительной мощности для инференса. Квантование — это техника снижения точности представления весов и активаций модели, которая позволяет сократить размер…
-
Проблемы инференса IQ-квантов на старых поколениях GPU
Современные квантовые вычисления активно тестируются на специализированных квантовых процессорах, но насколько эффективны они на традиционных GPU (таких как NVIDIA Maxwell, Kepler и GeForce 9000) на предмет инференса с помощью квантовых нейронных сетей (QNN)? Давайте разберёмся. Аппаратные ограничения Ключевая проблема — поддержка квантовых операций. Современные квантовые процессоры (например, IBM, Rigetti) имеют собственное ядро для квантовых вычислений,…
-
Дифуззии
В мире генеративного ИИ уже сложилась чёткая иерархия: есть модели-монстры, доступные только в облаках, и есть рабочие лошадки, которые бегают на домашнем ПК. Среди последних особое место занимают Stable Diffusion 1.5 и SDXL — две самые популярные открытые весовые модели от Stability AI. Разберёмся, чем они отличаются и какую выбрать для своих задач. SD1.5 —…
-
SD1.5 и SDXL
В мире генеративного ИИ уже сложилась чёткая иерархия: есть модели-монстры, доступные только в облаках, и есть рабочие лошадки, которые бегают на домашнем ПК. Среди последних особое место занимают Stable Diffusion 1.5 и SDXL — две самые популярные открытые весовые модели от Stability AI. Разберёмся, чем они отличаются и какую выбрать для своих задач. SD1.5 —…
-
Кратко об LLM
ВступлениеЕсли вы за последние два года хоть раз открывали интернет, вы точно слышали аббревиатуру LLM. За этим сухим сочетанием букв скрывается то, что многие называют главным технологическим прорывом десятилетия. Но что это на самом деле? Волшебство? Разум? Или просто очень сложная математика? Давайте разберемся кратко, но по существу. 1. Что скрывается за буквами?LLM расшифровывается как…