Crowdsourcing e test delle reti mobili a confronto

L'esigenza di una valutazione oggettiva della qualità e delle prestazioni di una rete mobile ha favorito lo sviluppo di due approcci fondamentalmente diversi tra loro, il crowdsourcing e il test delle reti mobili. Il mercato del crowdsourcing è molto affollato. Sono oltre 20 le aziende la cui attività è focalizzata sul crowdsourcing per la valutazione delle prestazioni delle reti mobili. Per ottenere risultati oggettivi, le due metodologie utilizzano approcci differenti che hanno anche finalità differenti. Questa scheda applicativa descrive come è strutturato il crowdsourcing e analizza i pro e i contro di entrambi gli approcci.

/

Attività da eseguire

Gli operatori delle reti mobili e le autorità di regolamentazione hanno un crescente interesse a ottenere informazioni più approfondite sulla qualità della rete e sulla concorrenza in mercati specifici. Questo interesse è motivato da tre requisiti fondamentali:

Analisi comparativa– fornisce una visione delle prestazioni relative di diverse reti mobili
Ottimizzazione del funzionamento– migliora l'efficienza operativa dell'operatore di rete (compresi il servizio clienti, la garanzia del servizio e l'ingegneria di rete)
Marketing/gestione dell'esperienza del cliente (CEM)– valuta la percezione dell'utente finale della qualità della rete

Il crowdsourcing e i test delle reti mobili (MNT) rappresentano due approcci fondamentalmente diversi per rispondere a questi requisiti. Gli operatori delle reti mobili e le autorità di regolamentazione devono valutare questi due approcci e confrontarli con le loro esigenze. Questa scheda applicativa analizza i pro e i contro di entrambi gli approcci.

Soluzione di crowdsourcing

Le soluzioni di crowdsourcing possono essere raggruppate in tre categorie:

Syndication– consente alle app non correlate di integrare un kit di sviluppo software (SDK) di misura in cambio di un compenso monetario (analogamente ai posizionamenti pubblicitari in-app). Spesso, gli utenti finali non sanno che i dati vengono raccolti in background e inviati a un sistema di archiviazione su cloud per ulteriori analisi, il che può rappresentare una zona grigia dal punto di vista legale.
App dell'operatore– incorpora un SDK di misura in un'applicazione a marchio dell'operatore
App propria– inserisce un'applicazione a marchio proprio negli app store che è specificamente rivolta agli utenti interessati alle prestazioni della rete

Segmentazione del mercato del crowdsourcing, in base al posizionamento dell'azienda

Figure 1: segmentazione delle soluzioni di crowdsourcing per requisiti e categoria di applicazione (esempi, non esaustivi).

/

Figure 1: segmentazione delle soluzioni di crowdsourcing per requisiti e categoria di applicazione (esempi, non esaustivi).

Analisi del crowdsourcing

Pro	Contro
I dati del crowdsourcing vengono raccolti in modo continuo e autonomo senza necessità di una campagna di misura dedicata. L'enorme quantità di dati rilevati fornisce un'analisi ad altissima risoluzione. I dati vengono raccolti in qualunque punto ciò sia possibile. Ma questo non garantisce una copertura geografica completa. Statistiche sulla copertura e sulla qualità delle reti mobili sono disponibili per un determinato Paese o una determinata area geografica. L'identificazione di siti, ubicazioni e operatori con il maggior traffico di dati può offrire spunti per la pianificazione di nuovi siti o per l'espansione della capacità disponibile. Fornisce, inoltre, dettagli approfonditi su come viene utilizzato lo spettro disponibile nelle diverse aree geografiche. Un'enorme quantità di dati può essere filtrata e utilizzata per un'analisi approfondita sulla base di vari criteri (operatori, ubicazione, tempo, ecc.).	Le condizioni di raccolta dei dati in crowdsourcing sono imprevedibili e per lo più sconosciute: Temperatura: lo smartphone nella tasca dell'utente si riscalda fino alla temperatura corporea; riscaldamento dovuto ad applicazioni in esecuzione in parallelo Ubicazione: lo smartphone si trova nel seminterrato di una casa, al 1°, 10° o 20° piano Dipendenza dal dispositivo: telefoni vecchi con funzionalità limitate del terminale in uso per lungo tempo; la misura delle prestazioni di rete potrebbe essere influenzata dalle funzionalità limitate del terminale Piano di traffico del cliente: il volume di dati potrebbe essere esaurito e la velocità di trasmissione limitata dalla rete Le misure non sono riproducibili (l'analisi del crowdsourcing può essere ripetuta o effettuata su un set di dati più recente, ma non può essere riprodotta). In caso di controversia su un evento segnalato, questo non può essere riprodotto per la validazione. I dati del crowdsourcing non possono essere utilizzati per l'ottimizzazione della rete. Informazioni limitate o assenti sulle cause alla radice di un problema. Le soluzioni di crowdsourcing seguono, per lo più, un approccio proprietario con un metodo di punteggio non divulgato per i sintetizzare i risultati. I punteggi o i risultati delle diverse soluzioni non sono confrontabili tra loro. Le soluzioni di crowdsourcing, in genere, limitano i test attivi ai seguenti parametri prestazionali (KPI) di qualità: velocità di trasmissione in uplink/downlink, latenza media, jitter medio e perdita di pacchetti. I sistemi operativi degli smartphone sono sempre più restrittivi e limitano i parametri disponibili che le app di crowdsourcing (in esecuzione in background) possono utilizzare. Le applicazioni di crowdsourcing dedicate mostrano, in genere, un pregiudizio negativo (in particolare gli abbonati tecnicamente esperti attivano questi test quando riscontrano un problema di rete).

Pro

Contro

I dati del crowdsourcing vengono raccolti in modo continuo e autonomo senza necessità di una campagna di misura dedicata.
L'enorme quantità di dati rilevati fornisce un'analisi ad altissima risoluzione. I dati vengono raccolti in qualunque punto ciò sia possibile. Ma questo non garantisce una copertura geografica completa.
Statistiche sulla copertura e sulla qualità delle reti mobili sono disponibili per un determinato Paese o una determinata area geografica.
L'identificazione di siti, ubicazioni e operatori con il maggior traffico di dati può offrire spunti per la pianificazione di nuovi siti o per l'espansione della capacità disponibile.
Fornisce, inoltre, dettagli approfonditi su come viene utilizzato lo spettro disponibile nelle diverse aree geografiche.
Un'enorme quantità di dati può essere filtrata e utilizzata per un'analisi approfondita sulla base di vari criteri (operatori, ubicazione, tempo, ecc.).

Le condizioni di raccolta dei dati in crowdsourcing sono imprevedibili e per lo più sconosciute:
- Temperatura: lo smartphone nella tasca dell'utente si riscalda fino alla temperatura corporea; riscaldamento dovuto ad applicazioni in esecuzione in parallelo
- Ubicazione: lo smartphone si trova nel seminterrato di una casa, al 1°, 10° o 20° piano
- Dipendenza dal dispositivo: telefoni vecchi con funzionalità limitate del terminale in uso per lungo tempo; la misura delle prestazioni di rete potrebbe essere influenzata dalle funzionalità limitate del terminale
- Piano di traffico del cliente: il volume di dati potrebbe essere esaurito e la velocità di trasmissione limitata dalla rete
Le misure non sono riproducibili (l'analisi del crowdsourcing può essere ripetuta o effettuata su un set di dati più recente, ma non può essere riprodotta). In caso di controversia su un evento segnalato, questo non può essere riprodotto per la validazione.
I dati del crowdsourcing non possono essere utilizzati per l'ottimizzazione della rete. Informazioni limitate o assenti sulle cause alla radice di un problema.
Le soluzioni di crowdsourcing seguono, per lo più, un approccio proprietario con un metodo di punteggio non divulgato per i sintetizzare i risultati. I punteggi o i risultati delle diverse soluzioni non sono confrontabili tra loro.
Le soluzioni di crowdsourcing, in genere, limitano i test attivi ai seguenti parametri prestazionali (KPI) di qualità: velocità di trasmissione in uplink/downlink, latenza media, jitter medio e perdita di pacchetti.
I sistemi operativi degli smartphone sono sempre più restrittivi e limitano i parametri disponibili che le app di crowdsourcing (in esecuzione in background) possono utilizzare.
Le applicazioni di crowdsourcing dedicate mostrano, in genere, un pregiudizio negativo (in particolare gli abbonati tecnicamente esperti attivano questi test quando riscontrano un problema di rete).

Soluzione di test di reti mobili

Le campagna di drive test e i test a piedi rappresentano approcci dedicati al test delle reti mobili. Gli smartphone dedicati (terminali commerciali) e gli scanner di rete sono utilizzati in una configurazione di test controllata (temperatura e schermatura RF per quanto possibile) ed eseguono una serie di casi di test che riflettono il comportamento dell'utente finale. I servizi vocali (telefonia) e i servizi dati (trasferimento dati, streaming video, social media e navigazione web) sono i servizi più utilizzati e rappresentano la stragrande maggioranza del volume di traffico nelle reti mobili.

Lo standard ETSI TR 103 559 descrive le migliori pratiche per effettuare un robusto test di analisi comparativa e di valutazione della QoS della rete. Il rapporto tecnico fornisce una raccomandazione su come valutare la qualità delle reti mobili in base alla percezione degli utenti finali.

Il punteggio NPS (Network Performance Score) di Rohde & Schwarz implementa il metodo ETSI.

Le applicazioni vengono valutate in base alle tre categorie seguenti:

Accessibilità– disponibilità del servizio, ad es. chiamate interrotte
Tempo di attesa– tempo di impostazione della chiamata
Qualità dei media– qualità dell'immagine o qualità del parlato

I risultati vengono mappati su una scala di punti e viene generato un punteggio aggregato che riflette la qualità percepita dall'utente finale (un video in streaming che non può essere avviato è più grave di una qualità video leggermente ridotta e riceve una peso maggiore).

Per ulteriori dettagli e spiegazioni, visitare il sito:
www.rohde-schwarz.com/nps

Campagna di test in autostrada

Figura 2: Il punteggio NPS di Rohde & Schwarz copre l'intera gamma di applicazioni per l'utente finale.

/

Figura 2: Il punteggio NPS di Rohde & Schwarz copre l'intera gamma di applicazioni per l'utente finale.

Analisi dei test delle reti mobili

Pro	Contro
I dati vengono raccolti in condizioni definite e in una configurazione di test controllata (temperatura, schermatura RF). L'utente sa sempre in quali condizioni i dati sono stati raccolti (all'esterno, all'interno, ubicazione del dispositivo di misura, temperatura, ecc.). Le campagne di misura sono pianificate con gli smartphone e le funzionalità dei terminali di ultima generazione al fine di garantire che la misura delle prestazioni non sia influenzata da carenze del terminale stesso. Tutte le applicazioni in esecuzione in background contribuiscono alla valutazione complessiva della qualità della rete. L'utilizzo di metodi di prova definiti e armonizzati rende i test sulle reti mobili comparabili e riproducibili Le campagne di misura sono chiaramente definite (percorsi, squadre, orari, impostazioni di misura ecc.) e possono essere facilmente ripetute dopo 3, 6 o 12 mesi per misurare il miglioramento delle prestazioni nel tempo. La portata del test è molto più ampia rispetto al crowdsourcing. Le soluzioni professionali per i test delle reti mobili possono anche calcolare metriche avanzate come il punteggio MOS (punteggio medio di opinione) per i contenuti vocali e video. Il punteggio MOS con il metodo ETSI fornisce spunti per l'ottimizzazione della rete grazie all'approccio standardizzato di misura e punteggio. Tutti i dettagli sono disponibili per ulteriori analisi. Quando vengono segnalati dei problemi, è disponibile un contesto (condizioni RF, messaggi L3 dettagliati dalla rete e dalle applicazioni) per la risoluzione dei problemi. La sua comparabilità, dovuta al metodo di test armonizzato, fa sì che i test delle reti mobili possano essere utilizzati per confrontare la RAN aperta (O-RAN) con un'architettura RAN di un singolo fornitore. Al fine di superare le limitazioni dei sistemi operativi degli smartphone, sono stati stipulati accordi con i produttori di dispositivi mobili e di chipset .	Le campagne di misura dedicate devono essere pianificate ed eseguite, e questo richiede uno sforzo. Esse sono lunghe e costose rispetto al crowdsourcing (anche se i rapporti di crowdsourcing non sono disponibili gratuitamente). I risultati delle prestazioni della rete sono disponibili solo per le aree in cui sono stati raccolti i dati. Non è possibile creare, in modo efficiente, una mappa di copertura per un intero Paese sulla base di test delle reti mobili.

Pro

Contro

I dati vengono raccolti in condizioni definite e in una configurazione di test controllata (temperatura, schermatura RF). L'utente sa sempre in quali condizioni i dati sono stati raccolti (all'esterno, all'interno, ubicazione del dispositivo di misura, temperatura, ecc.).
Le campagne di misura sono pianificate con gli smartphone e le funzionalità dei terminali di ultima generazione al fine di garantire che la misura delle prestazioni non sia influenzata da carenze del terminale stesso. Tutte le applicazioni in esecuzione in background contribuiscono alla valutazione complessiva della qualità della rete.
L'utilizzo di metodi di prova definiti e armonizzati rende i test sulle reti mobili comparabili e riproducibili
Le campagne di misura sono chiaramente definite (percorsi, squadre, orari, impostazioni di misura ecc.) e possono essere facilmente ripetute dopo 3, 6 o 12 mesi per misurare il miglioramento delle prestazioni nel tempo.
La portata del test è molto più ampia rispetto al crowdsourcing. Le soluzioni professionali per i test delle reti mobili possono anche calcolare metriche avanzate come il punteggio MOS (punteggio medio di opinione) per i contenuti vocali e video.
Il punteggio MOS con il metodo ETSI fornisce spunti per l'ottimizzazione della rete grazie all'approccio standardizzato di misura e punteggio. Tutti i dettagli sono disponibili per ulteriori analisi. Quando vengono segnalati dei problemi, è disponibile un contesto (condizioni RF, messaggi L3 dettagliati dalla rete e dalle applicazioni) per la risoluzione dei problemi.
La sua comparabilità, dovuta al metodo di test armonizzato, fa sì che i test delle reti mobili possano essere utilizzati per confrontare la RAN aperta (O-RAN) con un'architettura RAN di un singolo fornitore.
Al fine di superare le limitazioni dei sistemi operativi degli smartphone, sono stati stipulati accordi con i produttori di dispositivi mobili e di chipset .

Le campagne di misura dedicate devono essere pianificate ed eseguite, e questo richiede uno sforzo. Esse sono lunghe e costose rispetto al crowdsourcing (anche se i rapporti di crowdsourcing non sono disponibili gratuitamente).
I risultati delle prestazioni della rete sono disponibili solo per le aree in cui sono stati raccolti i dati. Non è possibile creare, in modo efficiente, una mappa di copertura per un intero Paese sulla base di test delle reti mobili.

Raccomandazioni

L'analisi e il confronto dei pro e dei contro di entrambi gli approcci dimostrano che il crowdsourcing e i test delle reti mobili sono più complementari che competitivi e che l'uno non potrà mai sostituire l'altro.

A seconda dell'obiettivo o dei requisiti, un approccio presenta determinati vantaggi rispetto all'altro. Ecco alcuni esempi:

Analisi comparativa e classifica della qualità delle reti degli operatori in un determinato Paese:Per una panoramica approssimativa potrebbe essere sufficiente il crowdsourcing dei dati. Tuttavia, se l'obiettivo è quello di effettuare un confronto equo e trarre conclusioni solide, si raccomanda vivamente di utilizzare un metodo di prova comparabile come ETSI TR 103 559 per i test delle reti mobili.
Mappa della copertura di un intero Paese:Se l'obiettivo è una mappa della copertura di un intero Paese, il crowdsourcing è la soluzione migliore. I dati RF di base, come la potenza ricevuta del segnale di riferimento (RSRP), sono sufficienti nella maggior parte dei casi, anche se sono in corso discussioni in seno alla Conferenza europea delle amministrazioni delle Poste e delle Telecomunicazioni (CEPT) per ridefinire il termine "copertura", in particolare alla luce del beamforming 5G. I test delle reti mobili non possono coprire un intero paese con ogni singola strada di ogni città, paese e villaggio ad un costo ragionevole.
Ottimizzazione della rete: Se l'ottimizzazione della rete deve basarsi sui dati, questi devono essere affidabili, raccolti in condizioni note e definite e riproducibili. I dati, inoltre, devono essere disponibili con un contesto (condizioni RF, messaggi L3 dettagliati provenienti dalla rete e dalle applicazioni) per poter associare i problemi identificati agli eventi della RAN, in modo da poterne individuare le cause principali. Solo i test delle reti mobili soddisfano questi requisiti, mentre i dati del crowdsourcing non forniscono questo contesto.
Analisi di utilizzo della rete:Per identificare le ubicazioni o le aree geografiche con un elevato utilizzo di dati e di spettro, il crowdsourcing è una soluzione valida perché permette di analizzare i dati di massa e la loro affidabilità non è critica per questa finalità.
Il crowdsourcing può essere un buon complemento a un dive test tradizionale:Il crowdsourcing può essere utilizzato per individuare aree con scarsa copertura o problemi di rete. I team che effettuano i drive test possono, quindi, essere inviati a raccogliere i dati. Il crowdsourcing può aiutare a giustificare le campagne nazionali di analisi comparativa (ad esempio, le campagne NPS), ovvero a pianificare una campagna e i percorsi per stabilire se tale campagna sta effettivamente coprendo le parti rilevanti del Paese.

Ulteriori informazioni

Per ulteriori informazioni sulle soluzioni di test delle reti mobili per l'analisi comparativa descritte in questa scheda applicativa, contattate il vostro referente commerciale Rohde & Schwarz o visitate il nostro sito web:
www.rohde-schwarz.com/mnt/network-benchmarking

Scaricare