📦 Catalogue Produit Unifié — Data Pipeline 🎯 Objectif Ce projet est un Proof of Concept (PoC) visant à créer un pipeline automatisé d’intégration, transformation et orchestration de données produit issues de trois systèmes hétérogènes : Infor M3 Sage 100 Akeneo L’objectif final est d’alimenter un catalogue produit unifié (mart_articles) dans Snowflake, exploitable par : des outils de data visualisation (ex. : QlikView) des API B2B/B2C avec une mise à jour toutes les 15 minutes (quasi temps réel). 🧱 Architecture Technique “`mermaid flowchart TD subgraph Extraction [Extraction – Talend] A1[Infor M3M3CS_MITMAS,M3CS_CIDMAS,M3CS_OCUSMA] –> B1[m3_extract.bat] A2[Sage 100F_ARTICLE,F_COMPTET] –> B2[sage_extract.bat] A3[AkeneoPRODUCTS] –> B3[akeneo_extract.bat] end subgraph RawZone [**Snowflake – MIG.MPS**] B1 –> C1[(Raw Tables)] B2 –> C1 B3 –> C1 end subgraph Transformation [**Transformation – dbt**] C1 –> D1[(**STAGING**stg_m3_articles.sqlstg_sage_articles.sqlstg_akeneo_articles.sql)] D1 –> D2[(**INTERMEDIATE**int_articles.sql)] D2 –> D3[(**MART**mart_articles.sql)] end subgraph Orchestration [**Orchestration – Airflow**] F1[airflow_poc.py] –> B1 F1 –> B2 F1 –> B3 F1 –> D1 F1 –> D2 F1 –> D3 end D3 –> G1[**QlikView**] D3 –> G2[API pour consommation] “` 🧩 Structure du Projet text data-pipeline-poc/ ├── airflow/ # Configuration Airflow + orchestration │ ├──…Read More
data_pipeline_poc
