Resumen de ámbitos de mayor importancia:
- Infraestructura y servicios AWS tipo EMR Serveles, IAM.
- Conocimiento de levantamiento de Infra como Codigo (IaC) tipo terraform, CDK
- Uso experto de Apache Airflow
- Desarrollo de Cuadros de mando de monitoriazacion de infra en entornos como Grafana.
- Devops -> Menos importante pero muy interesante si es experto en GITHUB ACTIONS
Empresas con perfiles potentes en este ámbito:
- Keepler, Devoteam, Paradigma, Making Science, Accenture,
- Como Platform engineer para Plataforma de Datos en AWS, serás responsable de diseñar, implementar y mantener la infraestructura y pipelines que soportan la plataforma de datos de nuestra organización.
- El candidato ideal tendrá experiencia en la automatización de procesos mediante Jenkins/Github actions y Apache Airflow, la administración de sistemas de datos distribuidos en AWS (EMR Serverless, S3), y garantizará que nuestros sistemas sean seguros mediante el uso adecuado de AWS IAM. Serás una pieza clave para la operación continua, el despliegue automatizado y la resiliencia de nuestra plataforma de datos a gran escala.
Responsabilidades:
- Implementar y gestionar pipelines de automatización y orquestación de flujos de trabajo usando Jenkins y Apache Airflow.
- Administrar y optimizar el uso de AWS EMR Serverless para el procesamiento de grandes volúmenes de datos.
- Gestionar el almacenamiento de datos en AWS S3, garantizando alta disponibilidad, optimización de costes y seguridad.
- Configurar y gestionar políticas de acceso y seguridad en AWS IAM para asegurar la protección de los datos y la infraestructura.
- Supervisar y mejorar la infraestructura mediante la implementación de soluciones de monitoreo y logging para asegurar la confiabilidad y rendimiento de la plataforma.
- Colaborar con los equipos de desarrollo y datos para garantizar un entorno de despliegue continuo (CI/CD), utilizando herramientas como Jenkins.
- Desarrollar automatizaciones para asegurar la estabilidad y resiliencia de los servicios, optimizando el uso de AWS y otras tecnologías.
- Resolver incidentes y realizar mejoras en la disponibilidad y escalabilidad del entorno en la nube.
Requisitos cubrir varias de las siguientes necesidades:
- Experiencia comprobada de al menos 3-5 años en roles de SRE o DevOps en plataformas de datos o entornos basados en la nube.
- Amplia experiencia en AWS, con un enfoque en AWS EMR Serverless, S3 y IAM.
- Conocimiento profundo de Jenkins para la automatización de despliegues y pipelines de integración continua.
- Experiencia en la configuración y administración de Apache Airflow para la orquestación de flujos de trabajo de datos.
- Experiencia en el desarrollo y despliegue de soluciones de infraestructura como código (IAC) utilizando herramientas como Terraform o CloudFormation.
- Habilidades sólidas de scripting en lenguajes como Python, PySpark, Bash, o Shell.
- Conocimientos en monitoreo de infraestructura y servicios mediante herramientas como Grafana, o CloudWatch.
- Conocimiento de buenas prácticas de seguridad en AWS y experiencia en la gestión de accesos mediante AWS IAM.