Modelos de socios de Vertex AI para MaaS

Vertex AI admite una lista seleccionada de modelos desarrollados por socios de Google. Los modelos de socio se pueden usar con Vertex AI como un modelo como servicio (MaaS) y se ofrecen como una API administrada. Cuando usas un modelo de socio, continúas enviando tus solicitudes a los extremos de Vertex AI. Los modelos de socios no tienen servidores, por lo que no es necesario aprovisionar ni administrar la infraestructura.

Los modelos de socios se pueden descubrir con Model Garden. También puedes implementar modelos con Model Garden. Para obtener más información, consulta Explora los modelos de IA en Model Garden. Si bien la información sobre cada modelo de socio disponible se puede encontrar en la tarjeta de modelo en Model Garden, solo en esta guía se documentan los modelos de terceros que funcionan como MaaS con Vertex AI.

Los modelos Anthropic Claude y Mistral son ejemplos de modelos administrados de terceros que están disponibles para usarse en Vertex AI.

Precios de los modelos de socios de Vertex AI con garantía de capacidad

Google ofrece capacidad de procesamiento aprovisionada para algunos modelos de socios que reservan la capacidad de procesamiento de tus modelos por una tarifa fija. Tú decides la capacidad de procesamiento y en qué regiones reservar esa capacidad. Debido a que las solicitudes de capacidad de procesamiento aprovisionada tienen prioridad sobre las solicitudes estándar de pago por uso, la capacidad de procesamiento aprovisionada proporciona una mayor disponibilidad. Cuando el sistema está sobrecargado, tus solicitudes aún se pueden completar, siempre que la productividad se mantenga por debajo de la capacidad de productividad reservada. Para obtener más información o suscribirte al servicio, comunícate con Ventas.

Otorga acceso de usuario a los modelos de socios

Para que puedas habilitar modelos de socios y realizar una solicitud inmediata, un administrador de Google Cloud debe establecer los permisos necesarios y verificar que la política de la organización permita el uso de las APIs requeridas.

Establece los permisos necesarios para usar modelos de socios

Se requieren los siguientes roles y permisos para usar los modelos de socios:

  • Debes tener el rol de Identity and Access Management (IAM) de administrador de autorizaciones de adquisición de consumidores. Cualquier persona a la que se le haya otorgado este rol puede habilitar modelos de socios en Model Garden.

  • Debes tener el permiso aiplatform.endpoints.predict. Este permiso se incluye en el rol de IAM de usuario de Vertex AI. Para obtener más información, consulta Usuario de Vertex AI y Control de acceso.

Console

  1. Para otorgar los roles de IAM de Administrador de autorizaciones de adquisición de consumidores a un usuario, ve a la página IAM.

    Ir a IAM

  2. En la columna Principal, busca la principal del usuario para el que deseas habilitar el acceso a los modelos de socios y, luego, haz clic en Editar principal en esa fila.

  3. En el panel Editar permisos, haz clic en Agregar otra función.

  4. En Selecciona un rol, selecciona Administrador de autorizaciones de adquisición de consumidores.

  5. En el panel Editar permisos, haz clic en Agregar otro rol.

  6. En Selecciona un rol, selecciona Usuario de Vertex AI.

  7. Haz clic en Guardar.

gcloud

  1. In the Google Cloud console, activate Cloud Shell.

    Activate Cloud Shell

  2. Otorga el rol de administrador de derechos de adquisición de consumidores que se requiere para habilitar modelos de socios en Model Garden.

    gcloud projects add-iam-policy-binding  PROJECT_ID \
--member=PRINCIPAL --role=roles/consumerprocurement.entitlementManager

  3. Otorga el rol de usuario de Vertex AI que incluye el permiso aiplatform.endpoints.predict, que es necesario para realizar solicitudes inmediatas:

    gcloud projects add-iam-policy-binding  PROJECT_ID \
--member=PRINCIPAL --role=roles/aiplatform.user

    Reemplaza PRINCIPAL por el identificador de la principal. El identificador tiene la forma user|group|serviceAccount:email o domain:domain, por ejemplo: user:[email protected], group:[email protected], serviceAccount:[email protected] odomain:example.domain.com.

    El resultado es una lista de vinculaciones de políticas que incluye lo siguiente:

    - members:
  - user:PRINCIPAL
  role: roles/roles/consumerprocurement.entitlementManager

    Para obtener más información, consulta Otorga un solo rol y gcloud projects add-iam-policy-binding.

Establece la política de la organización para el acceso al modelo de socio

Para habilitar los modelos de socios, la política de la organización debe permitir las siguientes APIs:

  • API de Cloud Commerce Consumer Procurement API: cloudcommerceconsumerprocurement.googleapis.com
  • API de Commerce Agreement API: commerceagreement.googleapis.com

Si tu organización configura una política de la organización para restringir el uso del servicio, un administrador de la organización debe verificar que cloudcommerceconsumerprocurement.googleapis.com y commerceagreement.googleapis.com estén permitidos a través de la configuración de la política de la organización.

Además, si tienes una política de la organización que restringe el uso de modelos en Model Garden, la política debe permitir el acceso a los modelos de socios. Para obtener más información, consulta Cómo controlar el acceso al modelo.