Close
Type at least 1 character to search
Back to top

TELSTRA

CASE - AUTOMATION OF DATA

Data Factory/

We're proud
of our Work!

CLIENT
LE CADRE TECHNIQUE

Hadoop, Hive, Teradata, Spark streaming, Kafka, NiFi, Python, Qlikview

COMPÉTENCES ET RÔLES

Analyste des données techniques
Chef de projet

AVANTAGES POUR LE CLIENT

╋ Migration d’un lac de données volumineuses sur une solution cloud de données volumineuses : Analyse statistique des sources pertinentes et des jeux de données utilisés – Travailler avec les ingénieurs de données pour prioriser les composants nécessaires (NiFi, Kafka broker et Spark Streaming) pour les flux de streaming en temps réel.
╋ Web scraping Python POC faisant de l’extraction d’événements spécifiques basés sur la localisation visant à anticiper la congestion du réseau.

NOTRE DÉFI

Automatisation du pipeline de données : extraction à partir de sources Internet, conservation des fichiers bruts, ingestion dans les HDFS. Identification d’ensembles de données utiles dans le DataLake afin d’établir des mesures de vitesse et de fiabilité du réseau.

 

LE CONTEXTE

Nous travaillions au département des opérations et de la sécurité de Telstra dans le but d’améliorer l’infrastructure du réseau (mobile et fixe). Telstra collecte des centaines de TeraBytes de données par jour sur son infrastructure (provenant de l’infrastructure de Telstra et de certaines sources de données externes). Les objectifs étaient d’enrichir le DataLake pour soutenir l’analyse des données, de surveiller l’expérience des clients du réseau et d’anticiper de manière proactive les principales pannes qui peuvent survenir sur l’infrastructure grâce à la détection des schémas.

 

LE PROJET

╋ Équipe de projet de 20 personnes : Ingénieurs en données, data scientists et parties prenantes métier.
╋ Identifier les ensembles de données précieux et critiques qui peuvent être croisés pour améliorer les modèles d’analyse sur les performances du réseau Telstra, et créer de la valeur pour l’analyse de l’infrastructure Telstra.
╋ Données externes : Identifier et ingérer de nouvelles sources de données pertinentes qui pourraient enrichir les modèles de données existants (par exemple : solution de Machine Learning pour la prédiction des pannes).
╋ Dictionnaire de données et modélisation des données et analyse technique métier des principales sources de données existantes dans le Big Data Lake.

Our experts

Alexandre Anne

Julien Labouze