YouTap

Una pipeline di dati che raccoglie i video di tendenza di YouTube, li analizza e ne mostra i risultati in una dashboard Kibana, tutto in container Docker.

Periodo: mag 2023 – giu 2023
Stato: Concluso
Tecnologie: 8

Apache Kafka
Apache Spark
Docker
Elasticsearch
Jupyter
Kibana
Logstash
Python

Codice sorgente

Panoramica

YouTap raccoglie i video più popolari dalla YouTube Data API e li elabora in una pipeline in streaming, dall'acquisizione alla visualizzazione.

Pipeline

Raccolta — uno script Python interroga l'API di YouTube e pubblica i dati su Kafka.
Elaborazione — Logstash e Spark consumano il flusso e arricchiscono i dati.
Archiviazione e visualizzazione — Elasticsearch indicizza i risultati, Kibana li mostra in una dashboard.

Ogni servizio gira in Docker, orchestrato con Docker Compose; un notebook Jupyter accompagna il progetto passo per passo.