Data Ops Engineer

Responsabilitati:

1. Implementarea și optimizarea pipeline-urilor de date în medii big data și real-time analytics;
2. Integrarea AI generativ în DataOps, pentru a automatiza generarea de cod SQL, documentație tehnică, testare automată și optimizarea performanței pipeline-urilor de date;
3. Dezvoltarea și întreținerea platformei AI, asigurând integrarea big data, data pipelines, model pipelines, AI governance și data governance;
4. Automatizarea gestionării metadatelor și a catalogării datelor cu ajutorul AI generativ și Open metadata;
5. Monitorizarea și rezolvarea problemelor pe pipeline urile de date, oferind suport echipelor de Machine Learning Engineering pentru îmbunătățirea workflow-urilor Airflow;
6. Implementarea și gestionarea infrastructurii de big data folosind tehnologii precum Hadoop, Doris, Open Metadata, Kafka și Spark;
7. Dezvoltarea și gestionarea fluxurilor CI/CD pentru modelele AI și pipeline-urile de date, utilizând MLflow și AI generativ pentru automatizarea documentației și testării codului;
8. Optimizarea procesului de livrare a modelelor AI prin integrarea cu GenAI pentru generarea automată a specificațiilor tehnice și verificarea calității codului;
9. Colaborarea cu echipele IT, DevOps și AI Engineering pentru a asigura integrarea modelelor și a infrastructurii DataOps în arhitectura IT generala;
10. Implementarea strategiilor de data & AI governance pentru a îmbunătăți transparența, calitatea și guvernanța modelelor AI.

Cunostinte/Competente necesare:

1. Programare: Python, SQL, Spark si Bash scripting (Linux);
2. Orchestrare pipeline-uri: Apache Airflow;
3. Big Data & Storage: Hadoop, Doris, PostgreSQL;
4. Real-Time Processing: Kafka, Spark Streaming
5. Cloud & AI Platform: AWS, Databricks
6. Data & AI Governance: Open Metadata, Mlflow;
7. DevOps & CI/CD pentru DataOps: Git, Docker, Kubernetes

Experiente anterioare cheie/critice necesare pentru indeplinirea jobului:

1. Experiență în implementarea pipeline-urilor de date în medii big data, real-time analytics și cloud;
2. Cunoștințe avansate despre strategiile DataOps, inclusiv CI/CD și AI governance;
3. Experiență cu tehnologii big data și real-time analytics: Hadoop, Doris, Kafka, Spark, AWS, Databricks;
4. Experiență în gestionarea și monitorizarea modelelor AI cu MLflow și Open Metadata;
5. Experiență în utilizarea bazelor de date relaționale și NoSQL (PostgreSQL, etc);
6. Experiență în optimizarea workflow-urilor Apache Airflow și implementarea CI/CD pentru pipeline-uri AI

Studii si certificari necesare:

1. studii superioare profil tehnic (automatica & calculatoare, electronica, informatica matematica, fizica), economice (cibernetica)