Victorgrigas , Grafiti na cidade de São Paulo, autor desconhecido CC BY-SA 3.0 [+]

Novas ferramentas de busca poderosas ajudam patrulheiros de edição a encontrarem seus alvos

Fato número um: editores humanos fizeram cerca de 15 milhões de edições nas wikis em março deste ano – quase meio milhão de edições por dia. Se a revisão de cada uma destas edições durasse apenas 10 segundos, a verificação das mudanças feitas em um dia exigiria 1.344 horas ou 168 dias de trabalho de oito horas cada.

Fato número dois: é mais provável que novos editores nas wikis abandonem seu trabalho do que os mais antigos quando suas contribuições são revertidas durante uma revisão de edição – um problema que é mais agudo quando revisores usam ferramentas poderosas e semi-automatizadas, de acordo com pesquisas.

Tomados em conjunto, esses fatos apontam para um problema: os revisores de edição precisam de ferramentas poderosas para lidar com a avalanche de edições nas wikis, mas estas ferramentas potentes podem causar danos aos recém-chegados de boa–fé. Existe uma maneira de ajudar revisores de edição a trabalharem de forma mais eficiente enquanto também protegem os novatos?

Esta é precisamente a questão que tem conduzido a equipe de colaboração da Fundação Wikimedia nos últimos meses. Nós pensamos que a resposta é sim e demos um grande passo em direção a esta convicção com o recente lançamento dos novos filtros beta para revisão de edição. O beta adiciona um conjunto de novas ferramentas à página de mudanças recentes e introduz uma interface de filtragem aprimorada que é mais amigável ao usuário e, ao mesmo tempo, mais poderosa.Merecem especial atenção os dois conjuntos de filtros que permitem aos patrulheiros em várias wikis aproveitarem a avançada tecnologia de aprendizado de máquina com novas facilidades.

Trabalhe de forma mais inteligente

Os filtros de qualidade de contribuição alimentados por inteligência artificial fazem previsões sobre quais edições serão boas e quais terão problemas. Aqui, um revisor filtra amplamente as edições que “podem ter problemas”. Ao mesmo tempo, ele usa destaques em cores para enfatizar as edições piores ou mais obviamente incorretas (em amarelo e laranja). O usuário está no processo de adicionar um destaque em vermelho para acentuar “provável má–fé”.

As mudanças recentes compõem essencialmente uma página de busca. Ao ajudar os patrulheiros a encontrar mais eficientemente edições que estão procurando, os novos filtros beta podem economizar tempo e esforço. Eles fazem isto de várias maneiras.

Busca por qualidade: ao longo dos anos, os revisores desenvolveram inúmeras técnicas para escolherem as edições mais carentes de verificação. Os filtros de previsão de qualidade de contribuição levam isso a um novo nível de sofisticação. Alimentados pelo serviço de aprendizado de máquina ORES, eles oferecem previsões probabilísticas sobre quais edições são provavelmente boas e quais podem, como o sistema diz diplomaticamente, “ter problemas”. “Problemas” aqui podem ser qualquer coisa de vandalismo inquestionável a simples erros de formatação. Armados com estas previsões, revisores de edição podem concentrar seus esforços onde são mais necessários.

Os filtros de previsão de qualidade usam pontuações do teste de danos do ORES e estão disponíveis somente em wikis que suportam esta função. Os assinantes do recurso beta do ORES já viram pontuações indicativas de dano antes, mas o novo beta entrega os resultados de forma muito diferente. Os revisores agora classificam as edições usando uma série de até quatro filtros que oferecem opções que variam de “muito provavelmente boa” a “muito provavelmente problemática” (veja a ilustração). [1]

Chegar a uma conclusão sobre como apresentar funções de inteligência artificial sofisticadas de forma que os usuários as considerem claras e úteis foi um grande foco para a equipe do projeto durante o desenvolvimento e os testes com usuários. Avançando, planejamos padronizar a nova abordagem sempre que possível em ferramentas e páginas que usam o ORES.

Use o destaque para escolher os atributos de edição que mais lhe interessam. Aqui, o usuário filtra as edições que são “muito provavelmente de boa-fé”. Com cores, ele destaca novas páginas (amarelo) e as edições por novos usuários (verde e azul). Observe a linha amarelo-verde na parte inferior. A cor combinada e os dois pontos coloridos na margem esquerda significam que a edição é tanto uma “criação de página”, como uma alteração feita por um “recém-chegado”.

Clique nos destaques: patrulheiros experientes têm uma habilidade incrível de observar uma longa lista de resultados de edição e escolher os detalhes vitais. Para o resto de nós, no entanto, os resultados de busca por edições recentes podem se apresentar como paredes de dados densas e confusas. Este é o lugar em que a nova função de destaque pode ser útil.

O destaque permite que os revisores usem cores para enfatizar os atributos de edição mais importantes para seu trabalho. Na ilustração acima, por exemplo, o revisor está interessado em novas páginas criadas por novos usuários. Ao adicionar uma nova camada de significado aos resultados da pesquisa, o destaque permite que os revisores melhorem seus esforços (saiba mais sobre como destacar).

Meia-volta: a antiga interface de mudanças recentes cresceu gradualmente ao longo dos anos, como as camadas de uma cidade antiga. Poderia ser difícil de entender e, nos testes, descobrimos que muitos usuários simplesmente ignoravam as muitas funções oferecidas. Adicionar outra camada de ferramentas à pilha seria, julgamos, apenas aumentar a confusão.

A nova interface foi projetada para ajudar os usuários, dando-lhes retorno útil. Aqui, o sistema instrui o usuário sobre os filtros selecionados que estão em conflito.

Consequentemente, o designer Pau Giner reimaginou completamente a interface para torná-la mais amigável e mais poderosa do que a existente. As funções são agrupadas logicamente e explicadas com mais clareza. Uma área especial de “filtro ativo” torna mais fácil para os usuários ver quais configurações estão em vigor. O sistema é inteligente quanto ao fornecimento de mensagens úteis que esclarecem como as ferramentas interagem (veja a ilustração).

Por trás das aparências, a lógica de filtragem foi reorganizada e estendida, para que os usuários especifiquem com mais precisão os atributos de edição que desejam incluir ou excluir. Sem entrar em detalhes, basta dizer que os usuários agora refinam suas buscas de uma maneira parecida com a dos sites de compras e outros portais baseados em pesquisa (saiba mais sobre a interface de filtragem).

Encontre as coisas boas

Compreensivelmente, o patrulhamento de mudanças recentes tem sempre se concentrado mais na busca de problemas e de maus editores. Mas uma série de novas ferramentas de busca permite que os revisores busquem contribuições positivas. O filtro de qualidade “muito provavelmente bom”, por exemplo, é altamente preciso na identificação de edições válidas. Dois outros novos conjuntos de ferramentas visam particularmente encontrar novos colaboradores que atuam de boa-fé.

Para todos os efeitos: os filtros de previsão de intenção de usuário adicionam uma nova dimensão para a revisão de edições. Alimentados, como os filtros de qualidade, por aprendizado por máquina (e, como os filtros de qualidade, disponíveis apenas em certas wikis), eles preveem se uma determinada edição foi feita de boa-fé ou não.

Aguarde, você pode estar pensando: a intenção é um estado de espírito. Como um computador pode julgar um estado mental e mesmo moral? A resposta é que o serviço do ORES deve ser treinado por humanos – especificamente, por editores de wikivoluntários, que julgam um conjunto de amostras muito grande de edições reais extraídas de suas respectivas wikis. Estas edições marcadas são então enviadas de volta ao programa ORES, que usa os padrões que detecta para gerar previsões probabilísticas. (Esta página explica o processo de treinamento e como você pode iniciá-lo em sua wiki.) A nova interface classifica estas previsões em quatro graus possíveis, variando de “muito provavelmente de boa-fé” a “muito provavelmente de má-fé”.

Os filtros de intenção são novos e resta ver como os patrulheiros os usarão. Claramente, uma previsão de má-fé atuará como uma bandeira vermelha adicional para aqueles que combatem vandalismos. Esperamos que as previsões de boa-fé se revelem úteis para as pessoas que desejam fazer coisas como dar boas-vindas a recém-chegados, recrutar prováveis candidatos para WikiProjetos e, geralmente, dar ajuda e conselho para aqueles que estão tentando, ainda que com dificuldade, contribuir para as wikis.

Você é experiente?: os novos filtros beta também adicionam um conjunto de filtros de “nível de experiência” que identificam edições com base em três classes de contribuintes recentemente definidas.

– Os recém-chegados têm menos de 10 edições e 4 dias de atividade. Pesquisas sugerem que estes editores muito novos são os mais vulneráveis a críticas severas.

– Os aprendizes têm mais experiência do que os recém-chegados, mas menos do que os usuários experientes. Este nível corresponde ao status “autoconfirmado” na Wikipédia em inglês.

– Os usuários experientes têm mais de 30 dias de atividade e 500 edições, o que corresponde ao status “confirmado estendido” da Wikipédia em inglês.

Mais por vir

Os “novos filtros para revisão de edição” estão em desenvolvimento. Ao longo dos próximos meses, a equipe de colaboração estará focada em solucionar problemas e adicionar novos recursos. Entre as melhorias na nossa lista de tarefas, estão: incorporar todas as ferramentas de mudanças recentes existentes à nova interface; criar uma forma dos usuários salvarem configurações; adicionar mais filtros que os usuários estão solicitando. Então, depois de outra rodada de testes com usuários, o plano é trazer as novas ferramentas e a interface para listas de observação.

Como sempre, precisamos de suas ideias e sugestões para termos sucesso. Para experimentar os novos filtros de revisão de edições, vá para a página de preferências beta em uma wiki da Fundação Wikimedia e escolha participar. Por favor, fale conosco sobre o que funciona para você e o que poderia ser melhor. Estamos ouvindo!

Nota de rodapé

[1] O número de filtros disponíveis muda de wiki a wiki para explicar variações emquão boas são as previsões dos ORES em diferentes wikis. Quanto melhor o desempenho do ORES em uma wiki, menos níveis de filtro são necessários. Quando o desempenho não é tão bom, os níveis de filtro adicionais permitem que os usuários equilibrem os trade-offs de desempenho da maneira que melhor funcione para eles. A página sobre filtros de qualidade e intenção apresenta os conceitos por trás disso.

Joe Matazzoni é colaborador da Fundação Wikimedia e trabalha nas áreas de gerenciamento de produto, colaboração e produto de edição.

Imagem: Bullseye dart.JPG, por Santeri Viinamäki, CC BY-SA 4.0, via Wikimedia Commons.

*Este texto foi originalmente publicado no blog da Fundação Wikimedia em 10 de maio de 2017.

Wiki
<ref "wmbr1280">João Alexandre Peschanski (11 de outubro de 2017). [https://wp.me/p5zA2r-kE Novas ferramentas de busca poderosas ajudam patrulheiros de edição a encontrarem seus alvos] Wikimedia no Brasil. Visitado em 16 de dezembro de 2017 </ref>
ABNT
Novas ferramentas de busca poderosas ajudam patrulheiros de edição a encontrarem seus alvos. In: Website Wikimedia no Brasil. São Paulo: Wikimedia no Brasil, 2017. Disponível em: <https://wp.me/p5zA2r-kE>. Acesso em: 16 dez. 2017.

Seu e-mail (obrigatório)

Erro encontrado neste post

  • Novas ferramentas de busca poderosas ajudam patrulheiros de edição a encontrarem seus alvos é um artigo sobre Blog Wikimedia, Patrulha, Wikipédia
  • Fato número um: editores humanos fizeram cerca de 15 milhões de edições nas wikis em março deste ano – quase meio milhão de edições por dia. Se a revisão de cada uma destas edições durasse apenas 10 segundos, a verificação das mudanças feitas em um dia exigiria 1.344 horas ou 168 dias de trabalho de oito horas cada. Fato número dois: é mais provável que novos editores nas wikis abandonem seu trabalho do que os mais antigos quando suas contribuições são […]
  • Blog Wikimedia, Patrulha, Wikipédia
  • Wikimedia
  • Wikimedia no Brasil
  • http://wikimedianobrasil.org/wp/wp-content/uploads/2016/07/1024px-Graffiti_São_Paulo_March_2012-8.jpg