SEI/ANATEL - 9540238

Revisão do Manual de Aplicação da Pesquisa para Aferição do Grau de Satisfação e da Qualidade Percebida Junto aos Usuários de Serviços de Telecomunicações, de 31 de julho de 2015, alterado pelo Despacho nº 10.677/2015-SRC/SPR, de 1º de dezembro de 2015, pelo Despacho Decisório nº 2/2018/SEI/PRRE/SPR, de 30 de janeiro de 2018 (SEI 2362470) e pelo Despacho Decisório nº 2/2021/SEI/RCIC/SRC (SEI 6590911).

Regulamento das Condições de Aferição do Grau de Satisfação e da Qualidade Percebida Junto aos Usuários de Serviços de Telecomunicações, aprovado pela Resolução nº 654, de 13 de julho de 2015;

Manual de Aplicação da Pesquisa para Aferição do Grau de Satisfação e da Qualidade Percebida Junto aos Usuários de Serviços de Telecomunicações (SEI 2350051), aprovado pelo Despacho nº 6.284/2015 - SRC/SPR, de 31 de julho de 2015, e alterado pelo Despacho nº 10.677/2015-SRC/SPR, de 1º de dezembro de 2015 e pelo Despacho Decisório nº 2/2018/SEI/PRRE/SPR, de 30 de janeiro de 2018 (SEI 2362470) e pelo Despacho Decisório nº 2/2021/SEI/RCIC/SRC (SEI 6590911);

Trate-se da proposta de Revisão do Manual de Aplicação da Pesquisa para Aferição do Grau de Satisfação e Qualidade Percebida Junto aos Usuários de Serviços de Telecomunicações de 31 de julho de 2015, alterado pelo Despacho nº 10.677/2015-SRC/SPR, de 1º de dezembro de 2015, pelo Despacho Decisório nº 2/2018/SEI/PRRE/SPR, de 30 de janeiro de 2018 (SEI 2362470) e pelo Despacho Decisório nº 2/2021/SEI/RCIC/SRC (SEI 6590911), objeto do Regulamento das Condições de Aferição do Grau de Satisfação e da Qualidade Percebida Junto aos Usuários de Serviços de Telecomunicações, aprovado pela Resolução nº 654, de 13 de julho de 2015.

Inicialmente a proposta foi apresentada pelas Superintendência de Planejamento e Regulamentação e Superintendência de Relações com Consumidores pelo Informe nº 13/2022/RCIC/SRC (SEI 9411081). Neste Informe as áreas técnicas responsáveis pela Pesquisa no âmbito da Anatel propuseram o encaminhamento da proposta de revisão para a Procuradoria Federal Especializada junto à Anatel para manifestação e realização de Consulta Interna.

A Consulta Interna nº 38 foi realizada de 21 de novembro a 5 de dezembro de 2022. Neste período foi recebido apenas uma contribuição do servidor Marcello Praça Gomes da Silva, com algumas sugestões conforme relatório SEI nº 9543428.

A primeira sugestão do servidor foi referente à definição de amostra. A proposta foi para substituir a definição do Manual para:

Amostra: é qualquer subconjunto da população-alvo (Universo) de um dos serviços estudados na Pesquisa, selecionado aleatoriamente, utilizando técnicas de amostragem estatística;

Sua justificativa destacou que: Processos computacionais geram amostras pseudoaleatórias e não verdadeiramente aleatórias (essas últimas podem ser obtidas, por exemplo, por meio de captação de ruído atmosférico ou do lançamento de um dado não viciado sob condições controladas). Assim, em prol da generalidade e maior correção, sugiro retirar o trecho que fala explicitamente em processos computacionais (pois fica dando a entender que outros inexistem e que somente os computacionais seriam aceitos).

A equipe técnica avaliou a nova proposta e acatou a sugestão de generalização da definição de Amostra.

A segunda e terceira sugestões foram para uniformizar a escrita de numerais no texto e destacar palavras de idiomas estrangeiro, conforme segue:

a) Uma vez atingidas 5 (cinco) tentativas de contato sem sucesso em pelo menos 2 (dois) dos telefones informados ...
Ou
Uma vez atingidas 5 tentativas de contato sem sucesso em pelo menos 2 dos telefones informados ...
Ou
Uma vez atingidas cinco tentativas de contato sem sucesso em pelo menos dois dos telefones informados ...

b) Em 4. Questionários , no último parágrafo, pôr a palavra inglesa script em itálico.

Estas sugestões foram acatadas para melhoria da grafia e forma do texto. As alterações foram incorporadas no novo texto.

A quarta sugestão foi para o item 6.3. do Manual: Técnicas de Amostragem. A contribuição foi para no segundo parágrafo substituir "computacional ou tabela de números aleatórios" por "computacional, tabela de números aleatórios ou um procedimento randômico com base em fenômenos da natureza". Para esta proposta o autor justificou que:

"Procedimentos aleatórios para a seleção de uma amostra probabilística não são somente os computacionais ou consulta a uma tabela de números aleatórios (como, por exemplo, A Million Number Digits with 100,000 Normal Deviates da RAND Corporation). Há também aqueles baseados em fenômenos da natureza (o mais comum deles faz uso da estática e pode ser acessado em website de universidade irlandesa). Não há, portanto, necessidade de restringir as possibilidades."

A equipe técnica avaliou a sugestão e entendeu que a proposta deve ser acatada para não restringir as possibilidades de seleção de amostra.

A última sugestão foi para o item do Manual 6.6. Seleção da Amostra para no primeiro parágrafo substituir "...do pressuposto técnico de que a amostragem..." por "...do pressuposto de que a amostragem...", excluindo a expressão "técnico". Para tal o autor justificou:

No contexto, basta dizer que o pressuposto é de que a amostragem seja de natureza aleatória. A palavra técnico é desnecessária, redundante e, até mesmo, errada sob uma visão epistemológica, uma vez que todo o documento está embasado em princípios de natureza matemática e estatística (em outras palavras, princípios científicos e não princípios técnicos). Há uma diferença brutal entre Ciência e técnica.

A equipe técnica avaliou e entendeu que a sugestão deve ser acatada para melhorar a clareza do texto.

Paralelamente a realização da Consulta Interna nº 38, a Procuradoria Federal Especializada junto à Anatel analisou o processo e emitiu o PARECER n. 00636/2022/PFE-ANATEL/PGF/AGU (SEI 9571124) sobre o assunto quando se manifestou informando que não entraria nos aspectos técnicos da proposta, com a seguinte redação:

23. Relevante salientar, inicialmente, que não cabe a esta Procuradoria adentrar no exame de matérias de índole eminentemente técnica e insertas no âmbito do juízo discricionário da Administração, como é o caso dos diversos aspectos atinentes à metodologia de operacionalização das pesquisas de aferição do grau de satisfação e de qualidade percebida junto aos usuários dos serviços de telecomunicações, a serem realizadas por prestadoras e empresas pesquisadoras contratadas. Dessa feita, esta Procuradoria passará a tecer considerações apenas sobre aspectos que eventualmente demandem manifestação deste órgão jurídico, relacionados, inclusive, à compatibilidade e à adequação da proposta de revisão do Manual de Aplicação com as normas legais e regulamentares pertinentes.

A Procuradoria manifestou-se ainda opinando sobre o seguinte, conforme item 26 do citado Parecer:

26. Analisando-se o teor da referida manifestação, verifica-se que a área técnica apresentou suficiente fundamentação a justificar as alterações pretendidas, buscando, em essência, introduzir no Manual de Aplicação (i) procedimentos e ações para aumentar a taxa de resposta das pesquisas, (ii) diretrizes mais concretas para a proteção de dados pessoais, relacionadas à segurança da informação, descarte dos dados e guarda das gravações, (iii) aprimoramento na fórmula de cálculo para a conferência das características da amostra colhida e (iv) esclarecimentos relativos aos critérios mínimos de participação nas pesquisas. Ademais, destacou a existência de adequações e ajustes meramente textuais na proposta.

Ademais, a d. Procuradoria ainda teceu algumas recomendações, as quais seguem com comentários:

A primeira recomendação refere-se ao prazo estabelecido de 90 (noventa) dias para eliminação dos dados pessoais, com o seguinte texto:

30. Recomenda-se, inicialmente, que a proposta ora em exame adote a mesma terminologia utilizada na LGPD, que, em seu art. 5º, XIV, define como eliminação, e não como descarte, a "exclusão de dado ou de conjunto de dados armazenados em banco de dados, independentemente do procedimento empregado".

A área técnica acatou a recomendação de alterar a nomenclatura utilizada anteriormente de maneira a tornar o Manual ainda mais aderente à LGPD, realizando ajustes propostos no item 36 do Parecer no texto do Manual:

Para minimizar os riscos de descumprimento aos dispositivos da LGPD ~~e minimizar os custos de guarda~~, a empresa pesquisadora deverá ~~descartar~~ eliminar os dados pessoais dos arquivos de bases de dados e as gravações das entrevistas até o prazo máximo de noventa (90) dias, contados a partir da data de publicação dos resultados da Pesquisa, prevista no cronograma anual estabelecido no item 11 deste mManual.

No âmbito da Anatel, os dados pessoais e as gravações serão ~~descartadas~~ eliminados em até 24 meses – contados a partir da data ~~acima prevista~~ de publicação dos resultados da Pesquisa. As exceções serão as gravações selecionadas pela Agência para fazerem parte da escuta de validação. Neste caso, serão mantidas pelo prazo de 10 (dez) anos, também contados a partir da data acima referida.

Os dados da Pesquisa deverão ser anonimizados sempre que possível, conforme o disposto nos arts. 7º, IV, 11, II, c, e 13 da LGPD.

Caso a anonimização dos dados pessoais não seja possível nem desejada em função de como afeta os resultados almejados, pode-se optar pela pseudonimização.

A recomendação padrão é ~~para~~ a anonimização dos dados. No caso de pesquisas em que, em virtude de suas próprias características, a anonimização das informações não seja possível, deve-se redobrar os cuidados com o armazenamento dos dados e os controles de acesso.

A segunda recomendação da d. Procuradoria refere-se a necessidade de justificar o prazo estabelecido pela área técnica para elimiação dos dados pessoais das bases de dados da pesquisa. A PFE não discordou do prazo, apenas ressaltou a recomendação para melhor fundamentar o prazo proposto, conforme seguinte item do Parecer:

32. (...) Sugere-se, tão somente, em vista da obrigação de eliminação de dados pessoais após o término de seu tratamento, disposta no caput do art. 16 da LGPD, que seja melhor justificado pela área técnica a opção pelo prazo máximo de noventa dias (e não de trinta ou sessenta dias, por exemplo), contados da publicação dos resultados da Pesquisa, para a realização dessa providência pelas empresas pesquisadoras contratadas. (...)

34. Por essa razão, conforme já reportado, propõe o corpo técnico da Agência que tais informações sejam eliminadas em até 24 (vinte e quatro) meses, contados da publicação dos resultados da Pesquisa, à exceção das gravações selecionadas pela Agência para a escuta de validação, cujo prazo de guarda seria de 10 (dez) anos.

35. Aqui, tal como sugerido com relação aos prazos de eliminação endereçados às empresas pesquisadoras, recomenda-se, tão somente, que seja melhor fundamentada a escolha pelos períodos máximos de vinte e quatro meses e de dez anos para que a Anatel exclua, respectivamente, os dados pessoais e gravações em geral e as gravações selecionadas pela Agência para a escuta de validação.

Esclarece-se aqui que os prazos de 90 (noventa) dias para o eliminação dos dados pessoais foi estabelecido para permitir uma eventual revisão em caso de contestação dos resultados publicados. Assim, a base completa estaria acessível e disponível para eventuais recálculos ou auditorias. Na mesma linha, o prazo de 10 anos foi definido para garantir a disponibilidade das informações para eventual auditoria, bem como para aprofundamento dos estudos de avaliação do questionário aplicado. Já o prazo de 24 (vinte e quatro) meses foi estabelecido considerando os custos de guarda dos dados, frente à necessidade de um prazo razoável para permitir análises adicionais e comparativas com as ondas posteriores da pesquisa. Ou seja, o prazo considera uma análise de custo x benefício da medida.

A d. PFE sugeriu a revisão do texto do Manual que define o limite máximo de tentativas de contato para os usuários. A área técnica acatou a proposta de texto apresentada por ser mais esclarecedor do real intuito do texto. Assim, conforme proposição do item 37 do Parecer segue nova proposta de redação ao item:

Uma vez atingidas 5 (cinco) tentativas de contato realizadas, sem sucesso, em ~~pelo menos~~ cada um dos dois ~~dos~~ ou mais telefones informados para a unidade amostral (quando informados mais de um telefone), a empresa pesquisadora deve substituir o código de acesso por uma nova observação da amostra. Caso seja ~~observado~~ verificado que as amostras restantes não serão suficientes para finalizar a Pesquisa, a empresa pesquisadora deverá notificar a Anatel, que estabelecerá uma nova quantidade para a substituição das unidades amostrais com insucesso de contato.

Apesar do item 3.47 do Informe nº 13/2022/RCIC/SRC (SEI 9411081) citar o contato por e-mail, a área técnica optou por aprofundar os estudos da aplicação de pesquisa por esse modo para garantir a adequada comparabilidade dos resultados. Assim, neste momento, não será incluído no Manual de pesquisa.

Também foi inserido no Parecer algumas melhorias textuais, no item 42. A área técnica acatou integralmente as propostas realizadas.

Em ressunta, considerando as contribuições da Consulta Interna nº 38 e manifestações da Procuradoria no citado Parecer, a Gerência de Interações Institucionais, Satisfação e Educação para o Consumo (RCIC) propõe seguimento ao trabalho de revisão, acatando as observações quanto a necessidade de:

submissão da proposta à Consulta Pública pelos Superintendentes de Relações com Consumidores e de Planejamento e Regulamentação pelo prazo de 15 (quinze) dias;

se zelar para que os documentos listados no art. 59, § 3º, do Regimento Interno da Anatel, acompanhem a Consulta Pública;

registrar que aspectos que demandariam decisão político-regulatória do Conselho Diretor da Agência não fazem parte da atual proposta;

Minuta de Revisão do Manual de Aplicação da Pesquisa para Aferição do Grau de Satisfação e da Qualidade Percebida Junto aos Usuários de Serviços de Telecomunicações, de 31 de julho de 2015, alterado pelo Despacho nº 10.677/2015-SRC/SPR, de 1º de dezembro de 2015, pelo Despacho Decisório nº 2/2018/SEI/PRRE/SPR, de 30 de janeiro de 2018 (SEI 2362470) e pelo Despacho Decisório nº 2/2021/SEI/RCIC/SRC (SEI 6590911), após Parecer n. 00636/2022/PFE-ANATEL/PGF/AGU (SEI 9571124).

Face a todo o exposto, a Gerência de Interações Institucionais, Satisfação e Educação para o Consumo (RCIC) propõe seguimento ao trabalho de revisão, mediante a submissão da minuta do Manual de Aplicação da Pesquisa para Aferição do Grau de Satisfação e da Qualidade Percebida Junto aos Usuários de Serviços de Telecomunicações (SEI nº 9582760) à Consulta Pública, pelo prazo de 15 (quinze) dias, nos termos do art. 59 do Regimento Interno da Anatel.

Documento assinado eletronicamente por Cristiana Camarate Silveira Martins Leão Quinalia, Superintendente de Relações com Consumidores, em 19/12/2022, às 22:30, conforme horário oficial de Brasília, com fundamento no art. 23, inciso II, da Portaria nº 912/2017 da Anatel.

Documento assinado eletronicamente por Nilo Pasquali, Superintendente de Planejamento e Regulamentação, em 20/12/2022, às 09:40, conforme horário oficial de Brasília, com fundamento no art. 23, inciso II, da Portaria nº 912/2017 da Anatel.

Documento assinado eletronicamente por Joselito Antonio Gomes dos Santos, Especialista em Regulação, em 20/12/2022, às 10:17, conforme horário oficial de Brasília, com fundamento no art. 23, inciso II, da Portaria nº 912/2017 da Anatel.

Documento assinado eletronicamente por João Alexandre Moncaio Zanon, Gerente de Regulamentação, Substituto(a), em 20/12/2022, às 11:07, conforme horário oficial de Brasília, com fundamento no art. 23, inciso II, da Portaria nº 912/2017 da Anatel.

Documento assinado eletronicamente por Isadora Moreira Firmino, Gerente de Interações Institucionais, Satisfação e Educação para o Consumo, em 20/12/2022, às 14:35, conforme horário oficial de Brasília, com fundamento no art. 23, inciso II, da Portaria nº 912/2017 da Anatel.

Documento assinado eletronicamente por Priscila Machado Reguffe Dias, Especialista em Regulação, em 20/12/2022, às 15:39, conforme horário oficial de Brasília, com fundamento no art. 23, inciso II, da Portaria nº 912/2017 da Anatel.

A autenticidade deste documento pode ser conferida em http://www.anatel.gov.br/autenticidade, informando o código verificador 9540238 e o código CRC 47733120.