Arquitecto Databricks

Capital Empresarial Horizonte Empresa Mexicana especialista en Recursos Humanos y Tecnologías de la Información solicita:
Databricks Solution Architect

Ingles conversacional obligatorio
Trabajo en esquema hibrido (2 días Home Office - 3 días en sitio)
A laborar en CDMX o Guadalajara

Requisitos indispensables
Más de 12 años de experiencia en tecnologías de información (IT).
Al menos 5 años de experiencia en arquitectura de soluciones con Databricks.
Experiencia sólida en diseño e implementación de arquitecturas Lakehouse empresariales.
Experiencia práctica con Apache Spark, PySpark, Spark SQL, Python y SQL.
Experiencia diseñando plataformas de datos cloud a escala empresarial.
Conocimientos sólidos de Delta Lake, Unity Catalog, Databricks Workflows y herramientas de ingesta y transformación.
Experiencia en integración de datos, modelado, optimización de consultas y desarrollo de pipelines ETL/ELT.
Experiencia en gobierno, seguridad, calidad y trazabilidad de datos.
Conocimientos de automatización, infraestructura como código y pipelines CI/CD.
Experiencia liderando decisiones de arquitectura, equipos técnicos y conversaciones con stakeholders.

Principales responsabilidades
Arquitectura y estrategia de datos
Diseñar e implementar arquitecturas Databricks Lakehouse a escala empresarial.
Definir arquitecturas de datos end-to-end para procesamiento batch, streaming y analítica en tiempo real.
Establecer estándares de arquitectura, mejores prácticas y estrategias de modernización de plataformas de datos.
Liderar migraciones de data warehouses y plataformas legacy hacia Databricks.
Diseñar arquitecturas Medallion (Bronze, Silver y Gold) para la organización y transformación de datos.
Data Engineering e integración
Diseñar pipelines ETL/ELT escalables utilizando Databricks, Apache Spark, PySpark y Delta Lake.
Integrar información de bases de datos, APIs, plataformas SaaS y sistemas de streaming.
Optimizar procesos de ingesta, transformación, modelado y consulta de datos.
Implementar mecanismos de calidad de datos, trazabilidad (data lineage), observabilidad y monitoreo.
Diseñar soluciones con Delta Live Tables, Auto Loader, Databricks Workflows y Structured Streaming.
Cloud y plataforma
Diseñar e implementar soluciones Databricks en Azure, AWS o Google Cloud Platform.
Definir estrategias de almacenamiento, redes, identidad, accesos y seguridad para plataformas de datos.
Implementar infraestructura como código utilizando Terraform y herramientas de automatización cloud.
Diseñar estrategias de despliegue para múltiples ambientes y espacios de trabajo de Databricks.
Optimizar el rendimiento, la escalabilidad y los costos de infraestructura cloud.
Inteligencia artificial y Machine Learning
Diseñar arquitecturas de datos que soporten soluciones de Machine Learning e Inteligencia Artificial Generativa.
Implementar estrategias de gestión del ciclo de vida de modelos utilizando MLflow.
Colaborar con equipos de Data Science y AI para desplegar y operar modelos en ambientes productivos.
Definir buenas prácticas de MLOps, monitoreo y gobierno de modelos.
Participar en iniciativas de IA empresarial mediante Databricks Mosaic AI y frameworks de GenAI.
Gobierno, seguridad y cumplimiento
Implementar Unity Catalog para la gestión centralizada de permisos, metadatos y gobierno de datos.
Definir controles de acceso, RBAC, ABAC, cifrado y gestión de identidades.
Establecer frameworks de clasificación, calidad, auditoría y trazabilidad de datos.
Asegurar la alineación con regulaciones y estándares aplicables, como GDPR, SOX, PCI-DSS y HIPAA, según el sector y el alcance del proyecto.
Liderazgo y gestión de stakeholders
Actuar como referente técnico y experto en Databricks dentro de la organización.
Traducir necesidades de negocio en soluciones y roadmaps de arquitectura de datos.
Liderar revisiones de arquitectura y decisiones técnicas.
Coordinar equipos de Data Engineering, Cloud, Seguridad, Data Science y áreas de negocio.
Mentorear a ingenieros, arquitectos y equipos técnicos.
Participar en actividades de consultoría de soluciones y preventa cuando sea necesario.
Ofrecemos:
Horario de Oficina
Esquema 100% nomina
Sueldo abierto a negociación de acuerdo a experiencia
Prestaciones de Ley
Prestaciones superiores (SGMM familiar, SV 1 millón, Vales de despensa, 30 días de aguinaldo, PTU)