Услуга · Искусственный интеллект

Инфраструктура для ИИ

Нужно там, где отправка данных во внешние сервисы недопустима: финансовые организации, медицина, государственный сектор, предприятия, дорожащие своими разработками. Строим замкнутый контур: расчёт идёт целиком внутри вашей сети.

Внутри периметра
данные не уходят
Видеокарты
подбираем по модели
Хранилище
под объём наборов
Аренда
когда покупка избыточна

Состав работ

Требования к оборудованию различаются радикально: запуск готовой модели и обучение собственной - бюджеты разного порядка.

Обсудить объём

Конфигурация

Сколько карт и какой у них объём памяти, что за процессор и сколько оперативной памяти нужно именно вам.

Развёртывание

Устанавливаем и настраиваем модель внутри вашего контура, без обращений во внешнюю сеть.

Хранилище

Наборы должны читаться быстро, храниться по версиям и иметь запасную копию.

Изоляция

Отдельный сегмент без выхода в интернет, разграничение прав, журнал обращений.

Наблюдение

Загрузка видеокарт, температурный режим, длина очереди задач.

Аренда мощностей

Подходит, если работа единичная либо потребность плавает и вкладываться в железо рано.

Порядок действий

Готовая модель разворачивается за несколько дней, а вот сборка под обучение упирается в поставку и растягивается на недели.

01

Требования

Что за модель и какого объёма, какой поток обращений ожидается, потребуется ли дообучение.

02

Расчёт

Конфигурация с обоснованием и честным сравнением аренды с покупкой.

03

Установка

Разворачиваем, настраиваем, стыкуем с вашими системами.

04

Передача

Документация, наблюдение за нагрузкой, обучение ваших администраторов.

Оборудование для нейросетей устаревает быстрее обычных серверов. Видеокарты сменяют поколения каждые полтора-два года, и купленное сегодня через три года будет считать втрое медленнее новых моделей. При неясных перспективах задачи аренда мощностей часто оказывается разумнее покупки.

Вопросы и ответы

Если данные не относятся к чувствительным - нет, аренда обойдётся дешевле и запустится быстрее. Собственное оборудование требуется там, где сведения нельзя выпускать за периметр по закону или из-за коммерческой тайны.

Всё упирается в размер модели: она обязана целиком уместиться в память карты, поэтому смотрят прежде всего на этот показатель. Для обычных задач с текстом достаточно решения среднего класса, самое дорогое покупать незачем.

Для пересказа документов, поиска по базе знаний, классификации обращений и помощи в переписке - как правило, да. Там, где требуется многоступенчатое рассуждение, свободно распространяемые модели заметно слабее крупных облачных. Убедиться в пригодности стоит на своих материалах ещё до заказа железа.

Соберём железо под задачу

Расскажите про задачу и про то, что нельзя выпускать наружу. Соберём вариант сборки и сопоставим со стоимостью аренды.