Intruções para revisão

Seu objetivo como um revisor de artefato consiste em garantir que a qualidade do artefato corresponda com o conteúdo do artigo e os requisitos mínimos esperados para a obtenção de cada selo. Para realizar esta atividade com excelência, antes de avaliar os artefatos (i) leia o artigo; e (ii) defina as principais contribuições do trabalho. Estas duas etapas tornam o processo de avaliação de cada selo mais simples.

Note: Observe que o período de revisão é relativamente curto. Recomendamos iniciar suas revisões assim que receber sua tarefa.

Passos para a avaliação de um artefato

O processo de revisão pode ser realizado em um ambiente de sua preferência, desde que satisfaça os requisitos mínimos do ambiente de execução esperado para o artefato. Recomendamos a execução do artefato (quando aplicável) em um ambiente virtual, por trazer praticidade para os revisores e garantir que componentes presentes na sua máquina local não prejudiquem o processo de avaliação (uma instalação limpa em um ambiente novo pode reduzir imprevistos).

Todos os recursos adicionais necessários para execução do artefato (infraestrutura de nuvem, chaves SSH etc.) devem estar presentes no apêndice que descreve o artefato.

O artefato em avaliação está relacionado a um artigo em avaliação pelos comitês do SF e WTICG. O foco de um revisor do CTA está voltado para o artefato e não para a revisão do artigo. No entanto, caso seja encontrado algum problema, ele deve ser relatado aos coordenadores de avaliação de artefatos.

Note: Lembre-se de que todos os artefatos, análises e discussões são confidenciais.

Processo de Revisão

O processo de revisão está dividido em duas etapas. Primeiramente, você deve selecionar os trabalhos cujos temas lhe sejam familiares para o posterior processo de revisão. Faça a escolha de trabalhos o quanto antes para que o comitê tenha conhecimento das revisões de cada membro. Os trabalhos estão presentes em uma planilha online que será compartilhada com os membros do CTA. Cada membro do CTA irá escolher 3 ou mais trabalhos para avaliar (número a ser confirmado pelos coordenadores posteriormente).

Após ter selecionado seus trabalhos, você já pode começar a realizar as revisões. Para orientar esta segunda etapa, um conjunto de instruções com pontos chaves do processo de avaliação de artefato foi definido pelo comitê, conforme consta nas definições de requisitos para a obtenção de cada selo. Para que o artefato esteja apto a receber um selo, os respectivos requisitos devem ser satisfeitos.

Para que o trabalho/artefato seja apto a receber o selo, os respectivos requisitos devem ser alcançados:

Artefatos Disponíveis (SeloD)

É esperado que o código e/ou dados estejam disponíveis em um repositório estável (como GitHub ou GitLab). Nesse repositório é esperado um README.md com uma documentação mínima (mas suficientemente clara para o entendimento), descrevendo o objetivo do(s) artefato(s), com o respectivo título e resumo do artigo.

Artefatos Funcionais (SeloF)

É esperado que o(s) código(s) de programa(s) do(s) artefato(s) possa(m) ser executado(s) e os revisores consigam observar suas funcionalidades. Para obter esse selo, é importante que informações adicionais estejam presentes no README.md do repositório, como:

  1. lista de dependências;
  2. lista de versões das dependências/linguagens/ambiente;
  3. descrição do ambiente de execução;
  4. instruções de instalação e execução;
  5. um ou mais exemplos de execução.

Artefatos Sustentáveis (SeloS)

É esperado que o(s) código(s) de programa(s) do(s) artefato(s) esteja(m) modularizado(s), organizado(s), inteligível(is) e seja(m) de fácil compreensão**. Para obter o selo é necessário que:

  1. exista uma documentação do(s) código(s) (descrevendo arquivos, funções, APIs etc);
  2. haja uma legibilidade mínima no(s) código(s) e outros artefatos;
  3. seja possível para os avaliadores identificar as principais reivindicações do artigo no(s) artefato(s).

Experimentos Reprodutíveis (SeloR)

É esperado que o revisor consiga reproduzir as principais reivindicações apresentadas no artigo. Para obter este selo é necessário que haja:

  1. instrução para executar o(s) código(s) de forma a reproduzir e confirmar as principais reivindicações do artigo (e.g., resultados dos principais gráficos/tabelas);
  2. descrição do processo de execução dos experimentos para chegar ao(s) resultado(s) do artigo;
  3. descrição de detalhes técnicos específicos do ambiente (quando aplicável) como, por exemplo, detalhes da infraestrutura utilizada na Amazon Cloud ou Google Cloud. Eventualmente, incluir chaves de acesso e outras informações que permitam a reprodução do experimento.

Entrega das Revisões

Para cada artefato, você deve produzir um breve texto de revisão justificando a razão por atribuir ou negar um selo ao artefato. Esse texto de revisão só deve ser escrito após completado o processo de avaliação.

Para facilitar o processo de avaliação, complete os comentários para cada selo seguindo o seguinte modelo que leva em consideração os requisitos de cada um.

Exemplos:

(caso 1, selo atribuído) SeloD: artefato(s)  publicamente disponível(is) (comentários)
+ disponíveis em um repositório estável
+ documentação suficiente
+ título
+ resumo
Recomendo a atribuição do selo.

(caso 2, selo não atribuído) SeloD: artefato(s) publicamente disponível(is) (comentários)
+ disponíveis em um repositório estável
- documentação suficiente
+ título
- resumo
Não posso recomendar a atribuição do selo, porque o artefato não  possui uma documentação considerada suficiente para o entendimento e reprodução de suas características e porque o resumo do artigo não foi fornecido.

(caso 3, CASO O SELO NÃO TENHA SIDO SOLICITADO) SeloD: artefato(s) publicamente disponível (comentários)
O selo não foi solicitado para esta categoria.

Utilize os sinais (-) e (+) para demonstrar qual(is) dos critérios o artefato não satisfaz (sinal de -) ou satisfaz (sinal de +). Também é importante incluir uma conclusão na revisão, explicando as motivações para não atribuir o selo quando o artefato não alcança os critérios mínimos esperados.

Note Procure escrever sua revisão de forma precisa, impessoal e polida, considerando que a mesma estará disponível para os autores em uma fase posterior do processo.