Avaliação de Artefato do WGRS'24
Pelo primeiro ano o WGRS irá permitir que autores submetam artefatos estes sendo um software, dados, documentação, resultados brutos, provas, modelos, benchmarks, etc. Todas as trilhas do evento passam a promover que autores submetam artefatos para os seus artigos.
Este recurso é essencial já que um artigo científico vai além do documento em si. Sendo que a qualidade deste artefato tende a ser tão importante como o próprio artigo científico. Já que conferências no Brasil não oferecem meios formais para submeter e avaliar nada além do próprio artigo. Este ano o WGRS realizará um processo OPCIONAL para a avaliação dos trabalhos onde os autores desejam submeter seus artefatos.
Este processo de avaliação de artefatos vai levar como base o processo de avaliação realizado por conferências como USENIX, CoNEXT, SIGCOMM e EuroSys. Para os autores que desejam submeter um artefato, é interessante a leitura dos selos disponíveis, como as instruções do que é esperado de um artefato.
Chamada para Artefatos
Autores com artigos aceitos no WGRS'24 são incentivados a enviar artefatos para serem avaliados pelo comitê técnico de artefatos (CTA). Um artefatos pode ser um software, dados, documentação, resultados brutos, provas, modelos, benchmarks, etc.
Quatro selos de qualidade podem ser considerados para um artefato. Estes sendo:
- Artefatos Disponíveis (SeloD);
- Artefatos Funcionais (SeloF);
- Artefatos Sustentáveis (SeloS); e
- Experimentos Reprodutíveis (SeloR).
Antes de enviar seu artefato, verifique os requisitos para a aquisição de cada selo. Caso você tenha alguma dúvida ou preocupação, você pode entrar em contato.
Instruções de submissão
Quatro selos de qualidade podem ser considerados para um artefato. Junto com a submissão do camera ready do artigo, os autores podem opcionalmente optar por submeter o artefato do artigo. Para que os artefatos sejam julgados, é obrigatório a submissão de um apêndice descrevendo quais selos devem ser considerados na avaliação do(s) artefato(s) do trabalho e fornecendo as instruções necessárias para os revisores.
Requisitos
Para que o trabalho/artefato seja apto a receber o selo, os respectivos requisitos devem ser alcançados:
Artefatos Disponíveis (SeloD)
É esperado que o código e/ou dados estejam disponíveis em um repositório estável (como GitHub e GitLab). Neste repositório é esperado encontrar um README.md com uma documentação mínima descrevendo o objetivo do artefato, com o respectivo título e resumo do artigo.
Artefatos Funcionais (SeloF)
É esperado que o código e/ou artefato possa ser executado e o revisor consiga observar algumas de suas funcionalidades. Para adquirir este artefato, é importante que informações adicionais estejam presentes no README.md do repositório, como
- lista de dependências;
- lista de versões das dependências/linguagens/ambiente;
- descrição do ambiente de execução;
- instruções de instalação e execução;
- um exemplo de execução mínima.
Artefatos Sustentáveis (SeloS)
É esperado que o código e/ou artefato esteja modularizado, organizado, inteligível e de fácil compreensão. Para obter o selo é interessante que:
- exista uma documentação mínima do código (descrevendo arquivos, funções,..);
- legibilidade mínima de código;
- permita que os avaliadores consigam identificar as principais reivindicações do artigo no artefato.
Experimentos Reprodutíveis (SeloR)
É esperado que o revisor consiga reproduzir as principais reivindicações apresentadas no artigo. Para obter este selo é esperado:
- instrução para executar as principais reivindicações (e.g., resultados dos principais gráficos/tabelas);
- descrição de um processo de como foram executados os experimentos para chegar até o resultado do artigo;
- descrição de detalhes técnicos específicos do ambiente (quando aplicável). Por exemplo, incluir detalhes da infraestrutura utilizada na Amazon Cloud ou Google Cloud. Eventualmente, incluir até chaves de acesso para permitir a reprodução do experimento.
Apêndice (Obrigatório)
Para facilitar o processo de avaliação dos artefatos, foi criado um modelo de apêndice (Obrigatório) onde os autores descrevem quais selos devem ser considerados no processo de avaliação do artefato e incluem informações para auxiliar os revisores do Comitê Técnico de Artefatos. O modelo LaTeX de apêndice está disponível em Exemplo-Apendice.
É obrigatório que as Seções de 1 a 4 estejam presentes. Se você tiver qualquer dúvida, por favor, entre em contato conosco.
Note Antes de submeter o seu artefato e apêndice, é interessante que os autores realizem a instalação e execução do seu artefato em um ambiente novo (máquina virtual) seguindo somente as instruções presente no apêndice.
Exemplos Artefatos SBSeg'23
Um exemplo do Apêndice. Resultado após o processo de avaliação do comitê Artigo.
Intruções para revisão
Seu objetivo como um revisor de artefato consiste em garantir que a qualidade do artefato corresponda com o conteúdo do artigo e os requisitos mínimos esperados para a obtenção de cada selo. Para realizar esta atividade com excelência, antes de avaliar os artefatos (i) leia o artigo; e (ii) defina as principais contribuições do trabalho. Estas duas etapas tornam o processo de avaliação de cada selo mais simples.
Note Observe que o período de revisão é relativamente curto. Recomendamos iniciar suas revisões assim que receber sua tarefa.
Passos para a avaliação de um artefato
O processo de revisão pode ser realizado em um ambiente de sua preferência, desde que bata os requisitos mínimos do ambiente de execução esperado para o artefato. Recomendamos a execução dos artefatos (quando aplicável) em um ambiente virtual por trazer praticidade para os revisores e garantir que componentes presentes na sua máquina local não prejudiquem o processo de avaliação (um clean install em um ambiente novo pode reduzir imprevistos).
Caso recursos adicionais sejam necessários (infraestrutura de nuvem, chaves SSH, etc.) estas informações devem estar presentes no apêndice do artefato.
Os artefatos em avaliação já são artigos aceitos pelo comitê técnico do WGRS'24. Desta forma, não há necessidade de avaliar sua solidez científica. No entanto, caso você encontre algum problema, relate entrando em contato com os coordenadores de avaliação de artefatos.
Note Lembre-se de que todos os artefatos, análises e discussões são confidenciais
Processo de Revisão
O processo de revisão está dividido em duas etapas. Primeiramente, você como revisor deve selecionar os trabalhos que possuem afeição/familiaridade com o assunto para o posterior processo de revisão. Faça a escolha de trabalhos o quanto antes para que o comitê tenha conhecimento das revisões de cada membro. Os trabalhos estão presentes em uma planilha online, cada membro do CTA e do CTAA irá escolher 3 ou mais trabalhos para avaliar.
Após ter selecionado seus trabalhos, você já pode começar a realizar as revisões. Para orientar esta segunda etapa, um conjunto de instruções com pontos chaves do processo de avaliação de artefato foi definido pelo comitê. As instruções definindo os requisitos para a obtenção de cada selo.
Para que o trabalho/artefato seja apto a receber o selo, os respectivos requisitos devem ser alcançados:
Artefatos Disponíveis (SeloD)
É esperado que o código e/ou dados estejam disponíveis em um repositório estável (como GitHub e GitLab). Neste repositório é esperado encontrar um README.md com uma documentação mínima descrevendo o objetivo do artefato, com o respectivo título e resumo do artigo.
Artefatos Funcionais (SeloF)
É esperado que o código e/ou artefato possa ser executado e o revisor consiga observar algumas de suas funcionalidades. Para adquirir este artefato, é importante que informações adicionais estejam presentes no README.md do repositório, como
- lista de dependências;
- lista de versões das dependências/linguagens/ambiente;
- descrição do ambiente de execução;
- instruções de instalação e execução;
- um exemplo de execução mínima.
Artefatos Sustentáveis (SeloS)
É esperado que o código e/ou artefato esteja modularizado, organizado, inteligível e de fácil compreensão. Para obter o selo é interessante que:
- exista uma documentação mínima do código (descrevendo arquivos, funções,..);
- legibilidade mínima de código;
- permita que os avaliadores consigam identificar as principais reivindicações do artigo no artefato.
Experimentos Reprodutíveis (SeloR)
É esperado que o revisor consiga reproduzir as principais reivindicações apresentadas no artigo. Para obter este selo é esperado:
- instrução para executar as principais reivindicações (e.g., resultados dos principais gráficos/tabelas);
- descrição de um processo de como foram executados os experimentos para chegar até o resultado do artigo;
- descrição de detalhes técnicos específicos do ambiente (quando aplicável). Por exemplo, incluir detalhes da infraestrutura utilizada na Amazon Cloud ou Google Cloud. Eventualmente, incluir até chaves de acesso para permitir a reprodução do experimento.
Entrega das Revisões
Para cada artefato, você deve produzir uma breve revisão justificando a razão por atribuir ou negar um selo ao artefato. Esta avaliação só deve ser completada após o processo de avaliação tenha sido realizado.
Para facilitar o processo de avaliação, complete os comentários para cada selo seguindo o seguinte modelo que levam em consideração os critérios necessários para receber cada selo.
Exemplos:
(caso 1, selo atribuido) SeloD: Artefato publicamente Disponível (comentários)
+ disponíveis em um repositório estável
+ documentação mínima
+ título
+ resumo
Recomendo a atribuição do selo.
(caso 2, selo não atribuido) SeloD: Artefato publicamente Disponível (comentários)
+ disponíveis em um repositório estável
- documentação mínima
+ título
- resumo
Não posso recomendar a atribuição do selo, por não possuir uma documentação mínima e resumo do artigo.
(caso 3, CASO O SELO NÃO TENHA SIDO SOLICITADO) SeloD: Artefato publicamente Disponível (comentários)
O selo não foi solicitado para esta categoria.
Utilize dos sinais (-) e (+) para demonstrar qual dos critérios o artefato não esteja alcançando (caso utilize o sinal de -) ou esteja alcançando (caso utilize o sinal de +). Também é importante ressaltar a conclusão da revisão, explanando as motivações quando o artefato não alcança os critérios mínimos esperados para cada selo.
Note Imagine que a seção de comentário deve ser tratada como se fosse uma seção de comentários para os autores em um processo de revisão onde o feedback seria apresentado para os autores em uma fase posterior.
Organizadores
Coordenadores do CTA e CTAA
Diego Kreutz (UNIPAMPA)
Tiago Heinrich (UFPR)
Comitê Técnico de Artefatos (CTA)
Adnei Willian Donatti (USP)
Amanda Viescinski (UFPR)
Anderson Aparecido do Carmo Frasão (UFPR)
Anderson Bergamini de Neira (UFPR)
Arthur Albuquerque Zopellaro Soares (UFF)
Diego Kreutz (UNIPAMPA)
Dionisio Machado Leite Filho (UFMS)
Frank Castilio Pinheiro de Alencar (UFMS)
João Gondim (UnB)
Jorge Pires Correia (UFPR)
José Flauzino (UFPR)
Jéferson Campos Nobre (UFRGS)
Kayuã Oleques Paim (UNIPAMPA/UFRGS)
Leandro Artur Custódio (ORACLE)
Leandro Bertholdo (UFRGS)
Pedro Arthur P. R. Duarte (UFRGS)
Rafael Gomes Moreira (ITA)
Ramon Fontes (UFRN)
Roben Castagna Lunardi (IFRS)
Rodrigo Brandão Mansilha (UNIPAMPA)
Silvio Ereno Quincozes (UNIPAMPA)
Tiago Heinrich (UFPR)
Vanderson da Silva Rocha (UFAM)
Vinicius Cogo (LASIGE Universidade de Lisboa)
Contato
Tiago Heinrich (UFPR) theinrich@inf.ufpr.br
Resultados
Esta página apresenta os resultados da primeira edição do Comitê Técnico de Artefatos (CTA) do XXIX Workshop de Gerência e Operação de Redes e Serviços (WGRS 2024), realizado durante o XXIII Simpósio Brasileiro de Redes de Computadores e Sistemas Distribuídos (SBRC), em Niterói-RJ, de 20 a 24 de maio de 2024.
Agradecemos a oportunidade e a colaboração de todos! O engajamento de autores, avaliadores e coordenadores foi determinante para esta primeira edição do CTA do WGRS24. Esta edição, cuja ideia teve início em 2023 no WTICG/SBSeg, serviu mais uma vez para gerar insights e ideias para a melhoria contínua do processo de submissão e avaliação de artefatos. Para além de simplesmente avaliar os trabalhos, o objetivo do CTA é fornecer feedbacks para os autores de forma a qualificar os artefatos (e.g., repositórios de dados e/ou software no GitHub), garantindo aspectos como funcionalidade, qualidade e reprodutibilidade.
Estatísticas gerais
| Indicador | Total |
|---|---|
| Trabalhos com artefatos | 10 |
| Avaliadores de artefatos | 17 |
| Avaliações de artefatos | 41 |
| Avaliadores das revisões do CTA | 4 |
A contribuição de todos os avaliadores foi fundamental no processo de avaliação qualitativa dos artefatos dos 16 (dezesseis) trabalhos aceitos no WGRS 2024. Ao total, tivemos 41 avaliações produzidas pelos membros do CTA para 10 (dez) trabalhos com artefatos. Cada artefato recebeu de 3 a 5 avaliações.
Resultados do CTA
Com o objetivo de aprimorar futuras contribuições, compartilhamos duas planilhas com os resultados do processo de avaliação. Acreditamos que o feedback dos avaliadores pode ser útil como recurso de aprendizado para os jovens autores do WGRS.
- WGRS24 - CTA - Trabalhos com Selos Atribuídos — relação dos 10 trabalhos avaliados que receberam selos de artefatos.
- WGRS24 - CTA - feedback dos avaliadores — as 41 avaliações detalhadas dos artefatos dos trabalhos.
Note Caso algum autor queira as avaliações específicas do seu trabalho/artefato devidamente identificadas, por favor, entre em contato conosco.
Declarações e Premiação
Avaliadores do Comitê Técnico de Artefatos (CTA)
Declaramos que os nomes relacionados a seguir participaram ativamente como avaliadores do Comitê Técnico de Artefatos (CTA) do WGRS 2024:
Amanda Viescinski (UFPR)
Anderson Aparecido do Carmo Frasão (UFPR)
Anderson Bergamini de Neira (UFPR)
Arthur Albuquerque Zopellaro Soares (UFF)
Diego Kreutz (UNIPAMPA)
Dionisio Machado Leite Filho (UFMS)
Jéferson Campos Nobre (UFRGS)
Jorge Pires Correia (UFPR)
José Flauzino (UFPR)
Rafael Gomes Moreira (ITA)
Ramon dos Reis Fontes (UFRN)
Roben Castagna Lunardi (IFRS)
Rodrigo Brandão Mansilha (UNIPAMPA)
Silvio Ereno Quincozes (UNIPAMPA)
Tiago Heinrich (UFPR/MPI)
Vanderson da Silva Rocha (UFAM)
Vinicius Cogo (Universidade de Lisboa)
Coordenação
Coordenadores do CTA do WGRS 2024
Diego Kreutz (UNIPAMPA) — diegokreutz@unipampa.edu.br
Tiago Heinrich (UFPR/MPI) — theinrich@inf.ufpr.br
Coordenadores do WGRS 2024
Lourenço Alves Pereira (ITA) — lourenco.junior@gp.ita.br
Muriel F. Franco (UFRGS) — mffranco@inf.ufrgs.br
Alegrete-RS, 24 de Junho de 2024.