Timbre

Informe nº 13/2022/RCIC/SRC

PROCESSO Nº 53500.330461/2022-53

INTERESSADO: ANATEL - SRC - SUPERINTENDÊNCIA DE RELAÇÕES COM OS CONSUMIDORES, SPR - SUPERINTENDÊNCIA DE PLANEJAMENTO E REGULAMENTAÇÃO

ASSUNTO

Revisão do Manual de Aplicação da Pesquisa para Aferição do Grau de Satisfação e da Qualidade Percebida Junto aos Usuários de Serviços de Telecomunicações, de 31 de julho de 2015, alterado pelo Despacho nº 10.677/2015-SRC/SPR, de 1º de dezembro de 2015, pelo Despacho Decisório nº 2/2018/SEI/PRRE/SPR, de 30 de janeiro de 2018 (SEI 2362470) e pelo Despacho Decisório nº 2/2021/SEI/RCIC/SRC (SEI 6590911).

REFERÊNCIAS

Regulamento das Condições de Aferição do Grau de Satisfação e da Qualidade Percebida Junto aos Usuários de Serviços de Telecomunicações, aprovado pela Resolução nº 654, de 13 de julho de 2015;

Manual de Aplicação da Pesquisa para Aferição do Grau de Satisfação e da Qualidade Percebida Junto aos Usuários de Serviços de Telecomunicações (SEI 2350051), aprovado pelo Despacho nº 6.284/2015 - SRC/SPR, de 31 de julho de 2015, e alterado pelo Despacho nº 10.677/2015-SRC/SPR, de 1º de dezembro de 2015 e pelo Despacho Decisório nº 2/2018/SEI/PRRE/SPR, de 30 de janeiro de 2018 (SEI 2362470) e pelo Despacho Decisório nº 2/2021/SEI/RCIC/SRC (SEI 6590911);

Regulamento de Qualidade dos Serviços de Telecomunicações (RQUAL), aprovado pela Resolução nº 717, de 23 de dezembro de 2019;

Regimento Interno da Anatel, aprovado pela Resolução nº 612, de 29 de abril de 2013;

Lei Geral de Proteção de Dados, Lei nº 13.709, de 14 de agosto de 2018

Portaria Nº 45, de 08 de janeiro de 2019, art. 19, II;

Edwards, P., Roberts, I., Clarke, M., DiGuiseppi, C., Pratap, S., Wentz, R., &Kwan, I. (2022). Increasing response rates to postal questionnaires: systematic review. Bmj, 324 (7347), 1183; e

Cochran, W. G., Sestier Bouclier, A., Cochran, W. G. (1977). Sampling Techniques. Índia: Wiley.

ANÁLISE

O Regulamento das Condições de Aferição do Grau de Satisfação e da Qualidade Percebida Junto aos Usuários de Serviços de Telecomunicações (comumente chamado de "Regulamento da Pesquisa"), aprovado pela Resolução nº 654, de 13 de julho de 2015, prevê a edição anual de pesquisas.

Tal Regulamento previu a criação de um instrumento ao qual denominou “Manual de Aplicação”, que depende de aprovação por despacho decisório, com a assinatura em conjunto dos titulares da Superintendência de Relação com os Consumidores (SRC) e da Superintendência de Planejamento e Regulamentação (SPR), contendo o tratamento dos aspectos técnicos, metodológicos e procedimentais das pesquisas.

Assim, foi criado o Manual de Aplicação da Pesquisa para Aferição do Grau de Satisfação e da Qualidade Percebida Junto aos Usuários de Serviços de Telecomunicações, aprovado pelo Despacho nº 6.284/2015 - SRC/SPR, de 30 de julho de 2015, e alterado pelo Despacho nº 10.677/2015-SRC/SPR, de 1º de dezembro de 2015, pelo Despacho Decisório nº 2/2018/SEI/PRRE/SPR, de 30 de janeiro de 2018 (SEI 2362470) e pelo Despacho Decisório nº 2/2021/SEI/RCIC/SRC (SEI 6590911).

Como mencionado no parágrafo anterior, após o início de sua vigência este Manual já foi submetido a três alterações. A primeira bem pontual, necessária para adequação do cronograma da pesquisa em relação a dois serviços (o de Telefonia Fixa e o de TV por Assinatura) em função de o período da primeira pesquisa sob o novo regulamento ter sido a metade do período normal. Ainda que pontual e de caráter procedimental, a proposta foi submetida à consulta pública e a atualização do cronograma acabou prorrogando a publicação do resultado de apenas um serviço, o da TV por Assinatura, conforme Despacho Decisório nº 10.677/2015 - SRC/SPR, de 1º de dezembro de 2015, assinado pelos Superintendentes de Relações com Consumidores e de Planejamento e Regulamentação.

Já a segunda alteração, aprovada pelo Despacho Decisório nº 2/2018/SEI/PRRE/SPR, de 30 de janeiro de 2018, versou sobre mudanças textuais e para simplificação e facilitação da compreensão do texto do Manual, além de ajustes pontuais, como: alterações no procedimento para envio do relatório quantitativo e base de clientes pelas prestadoras, no planejamento amostral, no cálculo dos indicadores e do ranking e no cronograma. Todas as alterações permitiram a manutenção da série histórica dos resultados e constam no processo SEI 53500.068354/2017-33.

A terceira revisão, aprovada pelo Despacho Decisório nº 2/2021/SEI/RCIC/SRC (SEI 6590911), teve como principal insumo o trabalho resultante da parceria realizada com o Instituto Brasileiro de Informação em Ciência e Tecnologia (IBICT), unidade de pesquisa integrante da estrutura do Ministério da Ciência, Tecnologia, Inovações e Comunicações (MCTIC), conforme processo SEI 53500.047434/2020-51 

Destaca-se que uma das principais modificações foi a introdução de uma metodologia para a criação de um índice baseado nas perguntas de satisfação geral (ISG), formado a partir do processo de Análise Fatorial Confirmatória (AFC). Além disso, por meio do Modelo de Equações Estruturais, foi proposta a definição de indicadores de qualidade percebida que se relacionam a esse ISG.

O presente processo visa propor algumas alterações mínimas no Manual, sendo os principais objetivos: possibilitar o uso de estratégias para aumentar a taxa de resposta da pesquisa, estabelecer mais diretrizes para a proteção de dados pessoais, alterar a fórmula para conferência das características da amostra e esclarecer os critérios mínimos de participação na pesquisa.

Estratégias para aumentar a taxa de resposta

A grande dificuldade em se obter resposta dos consumidores sorteados para a realização da entrevista via contato telefônico não é novidade no âmbito da pesquisa, porém vem se agravando ao longo dos anos, mesmo com as estratégias já adotadas pela Agência para contornar o problema, como o envio de mais amostras à empresa pesquisadora.

Em 2021, pela primeira vez na história de aplicação da pesquisa, não foi possível concluir a coleta em quatro estratos, mesmo após as tentativas de contato com todos os consumidores possíveis. Esses estratos foram: Vivo/SCM/AM, Vivo/SCM/MA, Vivo/SCM/PA e Claro/STFC/AC.

Assim, torna-se cada vez mais urgente a adoção de novas estratégias para aumentar a taxa de resposta e assim possibilitar a realização da pesquisa. Algumas dessas estratégias são: o uso de pré-notificação do consumidor sorteado e a disponibilização de mais de uma forma de coleta das respostas, como a internet.

A notificação (prévia ou posterior a tentativa de contato) do consumidor sorteado para que ele tenha conhecimento sobre a pesquisa já é utilizada nas pesquisas há algum tempo. A literatura aponta que a taxa de resposta melhora consideravelmente com o uso desse método que tem por objetivo:

Edwards et al (2009) mostrou, após a análise de diversas pesquisas via postal aplicadas em diferentes países, que a pré-notificação aumenta consideravelmente a chance de se obter resposta do entrevistado. O mesmo ocorre com notificações após tentativas de contato.

Outra estratégia cada vez mais utilizada em pesquisas é o uso de mais de um modo de entrevista, como o autopreenchimento via internet. Um exemplo é o censo 2022, realizado pelo Instituto Brasileiro de Geografia e Estatística (IBGE), que permite a participação do cidadão de forma presencial, por telefone ou internet. 

Por fim, aumentar a divulgação da pesquisa também pode melhorar a taxa de resposta. Por isso, foi proposto que as operadoras divulguem a pesquisa também por meio de aplicativo, mídias sociais e mensagem de texto para todos os consumidores, além das formas já previstas (central de atendimento telefônico e página da prestadora).

Proteção de Dados Pessoais - Alterações sobre segurança da informação, descarte dos dados e guardas das gravações

O Manual orienta a condução da pesquisa em todo o seu ciclo, em especial quanto a coleta da base de clientes das prestadoras pela Agência:

5.2. Base de Clientes A base de clientes corresponde à relação de todo o universo de clientes ativos e elegíveis (isto é, já com as devidas exclusões, conforme o item 2.6), cuja extração deve ser relativa à mesma data de referência do relatório quantitativo, a partir do qual a Anatel realizará o sorteio dos contatos que comporão a remessa inicial de acessos que poderão ser entrevistados. Esse arquivo deve conter pelo menos as seguintes informações: i. município; ii. UF; iii. CPF do titular; iv. DDD e telefone para contato principal; e v. dois DDDs e telefones alternativos para contato. Os relatórios e bases aqui referidos devem ser encaminhados em formato aberto, preferencialmente do tipo CSV, por meio de transferência seguro disponível na Agência, com controle de acesso.

Essa coleta é realizada para viabilizar as primeiras fases da pesquisa que são a definição do universo e a realização da amostragem. Posteriormente, a Agência disponibiliza para a empresa pesquisadora uma amostra, contendo dados pessoais, como os telefones de contato.

O quantitativo de amostras é disponibilizado na proporção de 40 (quarenta) vezes o previsto no plano amostral. Ou seja, uma parte da base de clientes das prestadoras é compartilhada pela Anatel com a empresa pesquisadora.

Ademais, após a coleta a empresa pesquisadora também fica em posse dos resultados da pesquisa.

O mesmo Manual orienta ainda que a empresa pesquisadora contratada pelas prestadoras a enviar para a Anatel as gravações das entrevistas realizadas com os consumidores.

8.1. Envio de Informações Coletadas à Anatel A empresa pesquisadora deverá entregar diretamente à Anatel, no prazo estabelecido no calendário anual constante deste Manual: A. os dados coletados, separados por prestadora, Unidade da Federação e serviço; B. as gravações das entrevistas em campo, com identificação que permita à Anatel acessar cada uma delas diretamente;

Com a Lei Geral de Proteção de Dados (LGPD), de 14 de agosto de 2018, Lei nº 13.709/18, as instituições passam a ter necessidade de tratar dados pessoais, inclusive nos meios digitais, por pessoa natural ou por pessoa jurídica de direito público ou privado, com o objetivo de proteger os direitos fundamentais de liberdade e de privacidade e o livre desenvolvimento da personalidade da pessoa natural.

Dessa forma, no intuito de aumentar a segurança do tratamento de dados pessoais, bem como estabelecer os papéis e obrigações de todos os atores que atuam no processo da pesquisa foram propostas alterações, especialmente no que se refere a guarda das gravações e regras para o descarte dos dados pessoais.

Em relação a guarda das gravações, primeiramente, ressalta-se que a Anatel realiza um sorteio aleatório na ferramenta SAS para fazer a audição de algumas entrevistas para validação dos dados enviados pela empresa pesquisadora. Esta amostra, em geral inferior a 0,5% do total das chamadas, é guardada de forma diferenciada das demais entrevistas.

Importante destacar que além da questão da proteção de dados pessoais constantes nas bases dados e nas gravações, estes arquivos são bastante extensos, sendo a sua guarda bastante onerosa. Desde de 2015, quando da edição do Regulamento que estabelece a pesquisa atualmente sendo realizada, a Anatel guarda os dados pessoais das bases de clientes e as gravações ocupando grandes espaços em seus arquivos.

Para minimizar os riscos de descumprimento aos dispositivos da LGPD e minimizar os custos de guarda, propõe-se que os dados pessoais e gravações não sejam mais guardados sem prazo para exclusão.

Entende-se que como o ciclo da pesquisa dura um ano, que tanto a base de clientes quanto as gravações devem ser preservadas até a publicação externa dos resultados do ciclo da pesquisa aos quais se referem. Após a publicação dos resultados estes arquivos ficam armazenados nos servidores da Anatel, sem utilidade.

Assim, relativamente as regras de descarte, no caso dos dados pessoais presentes nas bases de dados, propõe-se que sejam eliminados em até 90 dias da publicação dos resultados pela empresa pesquisadora. No âmbito da Anatel esse prazo é de até 24 meses contados a partir da mesma data. 

Quanto às gravações, como seu volume é extenso, cerca de 80 (oitenta) mil ligações por ano, com uma média de 10 (dez) minutos por entrevista, sugere-se que o descarte seja realizado até no máximo 90 dias a partir da publicação dos resultados pela empresa pesquisadora.

No âmbito da Anatel o prazo será de até 24 meses a partir da publicação dos resultados. A exceção seria para as entrevistas que são selecionadas para fazerem parte da escuta de validação da Anatel. Neste caso, propõe-se que sejam mantidas pelo prazo de 10 (dez) anos.

Alteração da fórmula para conferência das características da amostra

A definição da fórmula para cálculo de tamanho no Manual vem acompanhada de uma segunda condição que, caso satisfeita a partir da amostra, significa que os resultados da pesquisa possuem a precisão planejada tanto para as análises dentro de cada estrato quanto para as consolidações de notas entre os estratos.

A referência teórica para a metodologia descrita no Manual vem do livro Sampling Techniques (Referência item 2.7), página 141. A alteração na fórmula acessória visa corrigir o erro de digitação encontrado na fórmula da variância global , que na página 141 do livro citado não inclui o termo N2 no denominador, derivado do peso amostral Wh2, conforme a fórmula do mesmo termo  na página 92.

Passando a figurar como:

 

Alterações para esclarecer os critérios mínimos de participação na pesquisa

Desde o início da realização da Pesquisa para Aferição do Grau de Satisfação e da Qualidade Percebida Junto aos Usuários de Serviços de Telecomunicações definiu-se como universo pesquisável as prestadoras dos serviços de telecomunicações dos serviços de telefonia celular pós-paga e pré-paga, telefonia fixa, banda larga fixa, e TV por assinatura. De forma a viabilizar a pesquisa e garantir coerência do entrevistado com o questionário usado algumas outras condições foram definidas: pesquisa apenas para pessoa física, exclusão dos acessos M2M (machine-to-machine). Ademais, a pesquisa é realizada por Unidade da Federação e de forma independente entre os serviços.

Considerando o exposto para conseguir viabilizar a coleta do plano amostral, observando a necessidade da disponibilização de 40 vezes a quantidade de acessos a serem entrevistados a área técnica estudou e observou que prestadoras com a base de clientes inferior a 10.000 (dez mil) acessos válidos por serviço na Unidade da Federação inviabilizariam a coleta.

Para exemplificar, durante a pesquisa de 2020, foram necessários para finalizar a coleta:

SFTC – 28,24 vezes a quantidade de acessos previstos no plano amostral;

Pós – 31,98 vezes a quantidade de acessos previstos no plano amostral;

Pré – 41,60 vezes a quantidade de acessos previstos no plano amostral

SCM – 28,78 vezes a quantidade de acessos previstos no plano amostral

TV por assinatura – 30,18 a quantidade de acessos previstos no plano amostral 

Desta forma, com o aumento da demanda de participação na Pesquisa pelas Prestadoras de Pequeno Porte, entende-se que incluir no Manual de Aplicação a base mínima por serviço e Unidade da Federação deixa as regras para participação mais claras.

 

Das propostas de Alteração no Texto do Manual de Aplicação

As alterações propostas estão detalhadas com as respectivas justificativas expostas nos itens a seguir. Cumpre esclarecer que, para a devida compreensão das atualizações propostas, estas devem ser lidas em cotejo com os Manuais de Aplicação vigente e proposto. Os ajustes textuais e de disposição de texto não foram incluídos no rol deste informe, dispensando justificativas.

Item 2.3 Forma de Coleta (novo item 2.4) 

Inclusão do trecho: No intuito de aumentar a probabilidade de resposta, a empresa pesquisadora deverá fazer, quando solicitada pela Anatel, uma notificação prévia ou posterior à primeira tentativa de contato da unidade primária de amostragem, informando sobre a realização da Pesquisa.

Os parâmetros de notificação, como conteúdo e periodicidade, serão definidos pela Agência. A forma será através de mensagem de texto para o(s) número(s) do(s) telefone(s) celular(es) de contato(s), informando sobre a relevância da Pesquisa e a importância da participação.

Além disso, a empresa pesquisadora deverá utilizar, quando solicitada pela Agência e de forma justificada, meios de coleta alternativos oferecendo outras formas de participação na Pesquisa, além do meio telefônico.

JUSTIFICATIVA: Inclusão de novas estratégias de divulgação e formas de coleta para aumentar a taxa de resposta, conforme detalhado nos itens 3.16 a 3.23.

Item 2.3 Forma de Coleta - 6º parágrafo (novo item 2.4)

De: Uma vez atingidas 5 (cinco) tentativas de contato sem sucesso, a empresa pesquisadora deve substituir o código de acesso por uma nova observação da amostra. Caso utilizada toda a observação da amostra, a empresa pesquisadora deverá notificar a Anatel, que estabelecerá uma nova quantidade para a substituição das unidades amostrais com insucesso de contato.

Para: Uma vez atingidas 5 (cinco) tentativas de contato sem sucesso em pelo menos dois dos telefones informados para a unidade amostral (quando informados mais de um telefone), a empresa pesquisadora deve substituir o código de acesso por uma nova observação da amostra. Caso seja observado que as amostras restantes não serão suficientes para finalizar a Pesquisa, a empresa pesquisadora deverá notificar a Anatel, que estabelecerá uma nova quantidade para a substituição das unidades amostrais com insucesso de contato.

Caso seja utilizada toda a população de determinado estrato, com o limite de tentativas estabelecido no parágrafo anterior, e não tenha atingido o número previsto de entrevistas, o estrato não deve ser considerado para efeito de resultados da Pesquisa.

JUSTIFICATIVA: Esclarecer que as tentativas de contato são para cada número de contato e não para cada usuário sorteado. Ou seja, cada usuário sorteado por receber até 5 (cinco) ligações em cada um de seus números de contato. 

Item 2.5 Prestadoras Participantes da Pesquisa (novo item 2.6) ​​​​

Revisão no texto e inclusão do trecho: Ressalta-se que, ao optar pela participação voluntária na Pesquisa, fica a prestadora obrigada ao cumprimento das obrigações previstas no Regulamento das Condições de Aferição do Grau de Satisfação e da Qualidade Percebida Junto aos Usuários de Serviços de Telecomunicações, bem como neste Manual e das orientações exauridas pela Anatel, durante todo o ciclo da Pesquisa ao qual a prestadora manifestou a intenção de participação.

JUSTIFICATIVA: Esclarecer que a participação para as prestadoras de pequeno porte é facultativa. Porém, no caso da adesão as obrigações previstas no Regulamento e Manual são compulsórias. 

Item 2.6 Universos Pesquisados (novo item 2.7)

Inclusão do trecho: No caso da TV por Assinatura, os acessos de SeAC Livre via Satélite serão excluídos do universo da Pesquisa, considerando o Informe nº 6/2022/RCIC/SRC (SEI nº 8312402);

JUSTIFICATIVA: Devido às limitações estritamente operacionais, os consumidores do serviço "SeAC Livre via Satélite" não podem fazer parte do rol de consumidores a serem considerados no universo total do serviço de TV por assinatura, conforme descrito no Informe nº 6/2022/RCIC/SRC (SEI 8312402). Desataca-se que não há obstáculos à incorporação futura de tais consumidores à Pesquisa, desde que  os procedimentos operacionais e os questionários sejam todos revisados, fazendo-se os ajustes necessários ao modelo de Análise Fatorial Confirmatória e Modelagem por Equações Estruturais (MEE), a fim de viabilizar a manutenção do nível de qualidade dos resultados obtidos, evitando-se, assim, ocasionais vieses.

Inclusão do trecho: Somente são pesquisados estratos com base de clientes superior a 10.000 contratos/acessos ativos e elegíveis por UF de forma a viabilizar a coleta.

JUSTIFICATIVA: Inclusão do texto com regra já definida nos anos anteriores nas orientações para as prestadoras. Universos inferiores a 10.000 não teriam quantitativo suficientes para finalização dos estratos amostrais. 

Exclusão do item 5.1 (atual) Relatório Quantitativo 

JUSTIFICATIVA: As prestadoras não devem mais enviar o Relatório Quantitativo de clientes. Informações sobre o quantitativo de acessos ativos, necessárias no processo de validação da base de clientes, serão obtidas pela área coordenadora da Pesquisa, a partir dos dados enviados mensalmente pelas operadoras à Anatel e divulgados no portal da Agência, devendo ser utilizados os dados relativos ao mês de março do ano corrente.

Item 5.2 Base de Clientes (novo item 5)

De: A base de clientes corresponde à relação de todo o universo de clientes ativos e elegíveis (isto é, já com as devidas exclusões, conforme o item 2.6), cuja extração deve ser relativa à mesma data de referência do relatório quantitativo, a partir do qual a Anatel realizará o sorteio dos contatos que comporão a remessa inicial de acessos que poderão ser entrevistados. Esse arquivo deve conter pelo menos as seguintes informações: i. município; ii. UF; iii. CPF do titular; iv. DDD e telefone para contato principal; e v. dois DDDs e telefones alternativos para contato.

Os relatórios e bases aqui referidos devem ser encaminhados em formato aberto, preferencialmente do tipo CSV, por meio de transferência seguro disponível na Agência, com controle de acesso. Excepcionalmente, considerando-se a evolução do formatos e meios para transferência de arquivos, procedimentos diversos podem ser adotados, a critério da Anatel. Orientações específicas sobre o envio dos arquivos poderão ser disponibilizadas pela Anatel às prestadoras por meio de publicação no portal da Agência, de acordo com o calendário anual de que trata o item 11 deste Manual.

Para: A base de clientes corresponde à relação de todo o universo de clientes ativos e elegíveis (isto é, já com as devidas exclusões, conforme o item 2.6), cuja extração deve ser relativa à data de referência, única e uniforme para todos os participantes, definida no item 2.5 deste Manual. A partir desta base, excluídos eventuais registros inválidos, a Anatel realizará o sorteio dos contatos que comporão a remessa inicial de acessos passíveis de ser entrevistados. O arquivo da base de clientes deve conter pelo menos as seguintes informações:

i. Empresa e/ou respectivo CNPJ;

ii. Serviço e/ou respectivo código em base corporativa da Anatel;

iii. Código do município no IBGE;

iv. CPF do titular;

v. DDD e telefone para contato principal; e

vi. 1 (um) DDD e telefone alternativo para contato.

A base aqui referida deve ser encaminhada em formato aberto, preferencialmente em arquivo do tipo CSV, por meio seguro de transferência disponível na Agência, com controle de acesso. Excepcionalmente, considerando-se a evolução dos formatos e meios para transferência de arquivos, procedimentos diversos podem ser adotados, a critério da Anatel. Orientações específicas sobre o envio dos arquivos devem ser disponibilizadas pela Anatel às prestadoras por meio de publicação no portal da Agência, de acordo com o calendário anual de que trata o item 11 deste Manual.

Informações sobre o quantitativo de acessos ativos, necessárias no processo de validação da base de clientes, serão obtidas pela área coordenadora da Pesquisa, a partir dos dados enviados mensalmente pelas operadoras à Anatel e divulgados no portal da Agência, devendo ser utilizados os dados relativos ao mês de março do ano corrente.

Relatório com essas informações somente deverá ser enviado pelas prestadoras no caso de dificuldades eventuais que impossibilitem o uso tempestivo das informações já disponíveis na Agência ou de inexistência dessas informações. Neste caso, a Anatel demandará às prestadoras participantes da Pesquisa o envio de relatório informando o quantitativo de acessos ativos, tendo como referência de data o mês de março do ano corrente. O relatório, caso solicitado, deverá conter as informações mínimas necessárias para a continuidade da execução da Pesquisa, observado o disposto nos itens “i” a “v” da seção 2.6.

JUSTIFICATIVA: As bases de clientes tiveram a empresa e CNPJ acrescidos para compatibilizar com os sistemas de recebimento de dados da Agência. Além disso, o e-mail foi acrescentado para possibilitar as novas estratégias descritas nos itens 3.16 a 3.23. Todavia, não há necessidade das prestadoras informarem a UF pois já consta no código do IBGE. Também foram realizados ajustes no texto deste item para informar sobre o Relatório Quantitativo, item que sugere-se a exclusão. 

Item 6.5 Erro Amostral (novo item 6.4)

De: As medidas de erro amostral da Pesquisa são planejadas pelo menos para as estimativas do Índice de Satisfação Geral (ISG), utilizando-se um coeficiente de confiança de 95% (noventa e cinco porcento). Os tamanhos das amostras serão dimensionados para se obter estimativas com erros de valor absoluto equivalentes a 5% do ISG, obtidas com os dados da Pesquisa do ano anterior, para cada serviço.

Excepcionalmente, no caso da Pesquisa realizada em 2021, considerando que esta será a primeira Pesquisa a utilizar um novo modelo, as medidas de erro amostral serão planejadas com base nos indicadores de satisfação geral, oferta e contratação, funcionamento, cobrança e recarga da Pesquisa realizada em 2020.

Para cada indicador – dos acima mencionados, no caso da Pesquisa realizada em 2021 – ou para cada item que compõe o ISG – nas Pesquisas subsequentes a 2021 – será calculado um tamanho de amostra e o tamanho a ser considerado para o estrato será o maior dentre os tamanhos calculados, de tal forma que a precisão amostral esteja assegurada em todos os indicadores ou itens acima referidos.

Para:  (...) As medidas de erro amostral da Pesquisa são planejadas pelo menos para as estimativas do Índice de Satisfação Geral (ISG), utilizando-se um coeficiente de confiança de 95% (noventa e cinco porcento). Os tamanhos das amostras serão dimensionados para se obter estimativas com erros de valor absoluto equivalentes a 5% do ISG, obtidas com os dados da Pesquisa do ano anterior, para cada serviço, considerando o tamanho mínimo de 100 unidades amostrais.[1]

[1] Excepcionalmente, no caso da Pesquisa realizada em 2021, considerando que ela foi a primeira Pesquisa a utilizar um novo modelo de questionário, as medidas de erro amostral foram planejadas com base nos seguintes indicadores da Pesquisa realizada em 2020: satisfação geral, oferta e contratação, funcionamento, cobrança e recarga.

JUSTIFICATIVA: Esclarecimento da forma de cálculo do tamanho amostral que deve considerar a margem de erro de 5% para o ISG diretamente.  Deixar a regra criada para a Pesquisa de 2021 apenas como nota de rodapé. Aumentar a quantidade de amostras de 50 para 100, pois a complexidade do modelo aumentou com o uso da Análise Fatorial Confirmatória (AFC) e Modelagem por Equações Estruturais (MEE) e por isso são necessárias mais amostras.

Item 6.6 Cálculo do Tamanho da Amostra (novo item 6.5)

De: (...) Essa condição indica que com esses tamanhos amostrais pretende-se que os resultados de cada estrato tenham erro aproximadamente igual a 𝜀, com (1 − 𝛼) x 100% de confiança. Como é gerado um tamanho de amostra para cada indicador em cada estrato, seleciona-se o maior tamanho, garantindo precisão para todos os demais indicadores, considerando o tamanho mínimo de 50 amostras. Para que os resultados de cada indicador consolidados para toda a população também possuam a precisão desejada, após o cálculo dos tamanhos amostrais de cada estrato é preciso garantir: (...)

Para: Essa condição indica que com esses tamanhos amostrais pretende-se que os resultados de cada estrato tenham erro aproximadamente igual a ε, com (1-α) x 100% de confiança.

Caso seja identificada a entrada de um novo estrato na Pesquisa, será considerada no cálculo do tamanho amostral a variância média da respectiva Unidade da Federação, estimada por valores de Pesquisas anteriores. Caso não existam dados da Unidade da Federação em Pesquisas anteriores, será utilizada a variância do resultado consolidado do serviço.

JUSTIFICATIVA: Atualizar a metodologia para que tenha coerência com o esclarecimento de metodologia destacado no item 3.58 do presente informe.  

Inclusão na fórmula: Para que os resultados consolidados para toda a população também possuam a precisão desejada, após o cálculo dos tamanhos amostrais de cada estrato é preciso garantir:

· k é o número de estratos do estudo;

· Nh é a população do estrato h;

· N é a população-alvo;

JUSTIFICATIVA: Ajustar a fórmula, conforme detalhado nos itens 3.44 a 3.46 do presente informe.

Item 7.1 Cálculo dos Indicadores

De: Para aplicação da AFC e da MEE, deve ser realizado um ajuste nos dados dos serviços, em função da adoção da amostragem estratificada. A fim de preservar a proporção estabelecida, o método peso da amostra deve ser usado, seguindo os estratos percentuais (conforme indicado no item 6.8), de modo a ponderar a base de dados levando-se em conta o tamanho do estrato amostral. O ajuste também deverá ser realizado para consolidação dos Índices das modalidades Pós e Pré-paga do SMP, com vistas à composição do RQUAL.

Para: A aplicação da AFC e da MEE será realizada com base na Matriz de Correlação Policórica. Esta, por sua vez, é calculada sobre os dados originais, previamente ajustados de modo a promover na base de dados a representação de cada unidade amostral em seu estrato, mantendo a proporção estabelecida pelos calibradores, que atuam como multiplicadores dos registros.

JUSTIFICATIVA: Usa os calibradores para inflar a base, para ponderar as notas, o menor calibrador é a referência e os demais são multiplicadores do referido estrato de acordo com a diferença dele para o calibrador de referência, arredondado para o inteiro mais próximo

Item  8.2 Envio dos Resultados à Anatel

De:  Os resultados finais da Pesquisa devem ser consolidados em relatório a ser encaminhado à Anatel no prazo estabelecido no calendário anual, constante deste Manual, contendo em seu formato, no mínimo:

(i) escopo;

(ii) resumo executivo;

(iii) metodologia, contendo:

a. período da coleta;

b. tipo de amostragem;

c. desenho da amostra;

d. amostra coletada;

e. tipo de alocação dentro dos estratos;

f. erros amostrais a posteiori;

g. calibradores utilizados; e

h. procedimentos operacionais.

(iv) análise do controle de qualidade dos dados coletados;

(v) observações e considerações relevantes.

Para: Os resultados finais da Pesquisa devem ser consolidados em relatório a ser encaminhado à Anatel no prazo estabelecido no calendário anual, constante deste Manual, contendo em seu formato, no mínimo:

(i) escopo;

(ii) resumo executivo;

(iii) metodologia, contendo:

a. período da coleta;

b. tipo de amostragem;

c. desenho da amostra;

d. erros amostrais a posteriori;

e. calibradores utilizados; e

f. método de coleta e procedimentos operacionais.

(iv) cálculo dos indicadores;

(v) análise do controle de qualidade dos dados coletados;

(vi) observações e considerações relevantes.

JUSTIFICATIVA: Melhoria da qualidade e formato apresentado dos resultados.

Item 10.1 Contratação

Inclusão do texto: É obrigação da empresa pesquisadora contratada seguir rigorosamente todas as disposições prevista no Regulamento das Condições de Aferição do Grau de Satisfação e da Qualidade Percebida Junto aos Usuários de Serviços de Telecomunicações e deste Manual. As prestadoras devem dar conhecimento destes normativos à empresa pesquisadora.

JUSTIFICATIVA: Fazer constar a obrigação das prestadoras passarem para a empresa pesquisadora as diretrizes previstas neste Manual à empresa pesquisadora por elas contratada. 

Item 10.3 Divulgação da Realização da Pesquisa pelas Prestadoras

Inclusão do texto: (...)

a. Aplicativo da prestadora, em local adequado e de fácil visualização;

b. Mídias sociais, com periodicidade adequada considerando o desempenho da execução da pesquisa; e

c. Mensagem de texto, com periodicidade adequada considerando o desempenho da execução da pesquisa.

A critério da prestadora poderão ser utilizados outras formas de divulgação adicionais.

JUSTIFICATIVA: Ampliar as formas de divulgação da realização da pesquisa, possibilitando maior conhecimento dos consumidores da realização da pesquisa e possível aumento da taxa de resposta. 

Item 10.4 Segurança da Informação e Confidencialidade das Bases de Clientes

Inclusão do texto: Nos termos da LGPD, a Anatel é responsável pelas decisões referentes ao tratamento de dados pessoais, no âmbito da Pesquisa, e figura como agente controlador, enquanto a empresa pesquisadora atua como agente operador, uma vez que realiza o tratamento de dados pessoais em nome da Agência.

A empresa pesquisadora é responsável quando (a) não seguir instruções lícitas do controlador; e (b) descumprir as regras da LGPD.

Para realizar o tratamento de dados pessoais a Anatel se baseio no inciso III do artigo 7º da LGPD conjugado com o artigo 26, considerando que:

a. a Pesquisa é objeto de regulamento próprio; e

b. os dados dela provenientes serão utilizados em análises, tendo em vista a melhoria da qualidade dos serviços de telecomunicações.

Assim, não é necessário consentimento do titular para que a Anatel receba os dados pessoas das prestadoras de serviços de telecomunicações participantes da Pesquisa e, considerando que a empresa pesquisadora atua na condição de operadora em nome da Anatel, o consentimento também é desnecessário.

Tal consentimento, no entanto, é necessário para que os dados coletados durante a Pesquisa sejam compartilhados com a respectiva prestadora de serviço de telecomunicações sobre a qual a pessoa está sendo entrevistada. 

Os dados considerados como pessoais no âmbito da Pesquisa são:

· Em relação aos dados enviados pelas prestadoras para cálculo amostral e sorteio dos contatos a serem entrevistados: CPF, números de telefone;

· Em relação aos dados recebidos ou coletados pela empresa pesquisadora: nome, telefone, renda/faixa de renda, idade/faixa etária e escolaridade.

Dentre esses dados, a Anatel disponibilizará à empresa pesquisadora acesso somente aos números de telefone referentes às amostras selecionadas, dados pessoais estritamente necessários para a execução da pesquisa.

A empresa pesquisadora é obrigada a observar e guardar, em toda a sua extensão, o sigilo e a confidencialidade tanto das informações recebidas da Agência quanto as coletadas durante a Pesquisa, ficando desde já proibido o compartilhamento destes dados para quaisquer fins que não a coleta desta Pesquisa para o ciclo ao qual se refere.

Cabe à empresa pesquisadora demonstrar a adoção de medidas técnicas e organizacionais para a prevenção de incidentes de segurança, especialmente de acessos não autorizados aos dados pessoais de titulares.

Além disso, a empresa pesquisadora dará conhecimento formal aos seus empregados e terceirizados das obrigações e condições descritas neste item, cujos princípios deverão ser aplicados à coleta e tratamento dos dados pessoais tratados na Pesquisa.

Na hipótese de uma violação de dados pessoais, a empresa pesquisadora informará a Anatel, por escrito, acerca da violação dos dados pessoais, em prazo não superior a 12 (doze) horas a contar do momento em que tomou ciência da violação.

As informações iniciais a serem disponibilizadas pela empresa pesquisadora incluirão, dentre outras:

I - descrição da natureza da violação dos dados pessoais, incluindo as categorias e o número aproximado de titulares de dados implicados, bem como as categorias e o número aproximado de registros de dados implicados;

II - descrição das prováveis consequências ou das consequências já concretizadas da violação dos dados pessoais; e

III - descrição das medidas adotadas ou propostas para reparar a violação dos dados pessoais e mitigar os possíveis efeitos adversos.

A empresa pesquisadora deve apoiar a Anatel em todo o processo de resposta ao incidente de segurança que envolva os dados decorrentes da Pesquisa.

JUSTIFICATIVA: O item visa esclarecer o papel de cada ente quanto aos dados pessoais e suas responsabilidades quanto à segurança destes. A inclusão deste texto também ressalta hipóteses de violação de dados pessoais e obrigações mínimas de comunicação e ação, além de embasar na LGPD o recebimento de dados pelas prestadoras, sem prévio consentimento dos consumidores. 

Inclusão do item 10.5 Guarda e Descarte dos Dados Oriundos da Pesquisa

Inclusão do texto: Para minimizar os riscos de descumprimento aos dispositivos da LGPD e minimizar os custos de guarda, a empresa pesquisadora deverá descartar os dados pessoais dos arquivos de bases de dados e as gravações até o prazo máximo de noventa (90) dias, contados a partir da data de publicação dos resultados da Pesquisa, prevista no cronograma anual estabelecido no item 11 deste manual.

No âmbito da Anatel, os dados pessoais e as gravações serão descartadas em até 24 meses – contados a partir da data acima prevista. As exceções serão as gravações selecionadas pela Agência para fazerem parte da escuta de validação. Neste caso, serão mantidas pelo prazo de 10 (dez) anos.

Os dados da Pesquisa deverão ser anonimizados sempre que possível, conforme o disposto nos arts. 7º, IV, 11, II, c e 13 da LGPD.

Caso a anonimização dos dados pessoais não seja possível nem desejada em função de como afeta os resultados almejados, pode-se optar pela pseudonimização.

A recomendação padrão é para anonimização dos dados. No caso de pesquisas em que, em virtude de suas próprias características, a anonimização das informações não seja possível, deve-se redobrar os cuidados com o armazenamento dos dados e os controles de acesso.

JUSTIFICATIVA: O texto atual do Manual não fornece nenhuma diretriz quanto aos dados, relatórios, gravações produzidos e utilizados pela pesquisa. Uma definição no Manual oferece maior segurança ao processo de guarda e descarte dos dados. Com o regramento definido sabe-se quando ocorrerá o descarte dos dados pessoais coletados. Agora não cabe mais os responsáveis decidirem no caso a caso, concebendo maior segurança jurídica ao processo. 

Item 10.5 Do Descumprimento das Disposições contidas no Manual e Casos Omissos (novo item 10.6)

Inclusão do texto: A Superintendência de Relações com Consumidores irá decidir e atuar sobre qualquer caso omisso neste Manual.

JUSTIFICATIVA: A versão aprovada no Manual não prevê responsável por decisão em casos omissos. Propõe-se que a SRC seja a Superintendência responsável pela decisão visto que a mesma atua diretamente na coordenação da execução da pesquisa. 

Da Consulta Interna

O Art. 60 do Regimento Interno da Anatel, aprovado pela Resolução nº 612, de 29 de abril de 2013, estabelece que a realização de Consulta Interna "tem por finalidade submeter minuta de ato normativo, documento ou matéria de interesse relevante, a críticas e sugestões dos servidores da Agência.” Ainda, o mesmo artigo estabelece, no seu § 1º, a realização da Consulta Interna previamente ao encaminhamento da proposta de Consulta Pública ao Conselho Diretor.

No caso específico do Manual de Aplicação, seu conteúdo, de forma aderente com a definição trazida no Regulamento da Pesquisa (art. 3º, inc. III), abarca o procedimento operacional das pesquisas, ou seja, trata-se de um instrumento de característica estritamente técnica. Por esse motivo, a aprovação dele se dá por despacho decisório dos Superintendentes de Relações com Consumidores e de Planejamento e Regulamentação (conf. art. 9º, Parágrafo único, do Regulamento da Pesquisa).

Por esses motivos, entende-se que o Manual de Aplicação prescinde da Consulta Interna, por não se enquadrar nas condições regimentalmente estabelecidas. Todavia, considerando ser esta uma oportunidade de aprimoramento da proposta em revisão, a área técnica decidiu pela submissão do Manual de Aplicação à Consulta Interna. 

DOCUMENTOS RELACIONADOS/ANEXOS

Anexo I – Minuta da proposta de atualização do Manual de Aplicação da Pesquisa para Aferição do Grau de Satisfação e da Qualidade Percebida - SEI 9427135; e

Anexo II - Manual de Aplicação da Pesquisa para Aferição do Grau de Satisfação e da Qualidade Percebida Junto aos Usuários de Serviços de Telecomunicações (Vigente) - SEI 6590911.

CONCLUSÃO

Desse modo, com base no art. 9º, I, do Regulamento das Condições de Aferição do Grau de Satisfação e da Qualidade Percebida Junto aos Usuários de Serviços de Telecomunicações, propõe-se a atualização do Manual de Aplicação da Pesquisa para Aferição do Grau de Satisfação e da Qualidade Percebida Junto aos Usuários de Serviços de Telecomunicações, na forma e pelas justificativas expostas neste Informe.

Sugere-se, conforme o parágrafo único do Art. 9º, do Regulamento de Pesquisas, a realização de Consulta Pública para tal fim, pelo prazo mínimo de 15 (quinze) dias.

Por fim, propõe-se o encaminhamento da proposta de alteração do Manual de Aplicação à Procuradoria Federal Especializada junto à Anatel, para que esta se manifeste sobre o assunto.


logotipo

Documento assinado eletronicamente por Cristiana Camarate Silveira Martins Leão Quinalia, Superintendente de Relações com Consumidores, em 16/11/2022, às 12:10, conforme horário oficial de Brasília, com fundamento no art. 23, inciso II, da Portaria nº 912/2017 da Anatel.


logotipo

Documento assinado eletronicamente por Felipe Roberto de Lima, Superintendente de Planejamento e Regulamentação, Substituto(a), em 16/11/2022, às 12:52, conforme horário oficial de Brasília, com fundamento no art. 23, inciso II, da Portaria nº 912/2017 da Anatel.


logotipo

Documento assinado eletronicamente por Renata Blando Morais da Silva, Coordenador de Processo, em 16/11/2022, às 12:56, conforme horário oficial de Brasília, com fundamento no art. 23, inciso II, da Portaria nº 912/2017 da Anatel.


logotipo

Documento assinado eletronicamente por Priscila Machado Reguffe Dias, Especialista em Regulação, em 16/11/2022, às 13:03, conforme horário oficial de Brasília, com fundamento no art. 23, inciso II, da Portaria nº 912/2017 da Anatel.


logotipo

Documento assinado eletronicamente por Isadora Moreira Firmino, Gerente de Interações Institucionais, Satisfação e Educação para o Consumo, em 16/11/2022, às 18:13, conforme horário oficial de Brasília, com fundamento no art. 23, inciso II, da Portaria nº 912/2017 da Anatel.


QRCode Assinatura

A autenticidade deste documento pode ser conferida em http://www.anatel.gov.br/autenticidade, informando o código verificador 9411081 e o código CRC C16C9A15.




Referência: Processo nº 53500.330461/2022-53 SEI nº 9411081