Instruções de submissão

Quatro selos de qualidade podem ser considerados para um artefato. Junto com a submissão da versão final (camera ready) do artigo, os autores podem submeter o(s) artefato(s) relacionado(s) ao artigo. Para que os artefatos sejam julgados, é obrigatória a submissão de um apêndice descrevendo quais selos devem ser considerados na avaliação do(s) artefato(s) do trabalho e fornecendo as instruções necessárias para os revisores conseguirem lidar adequadamente com os mesmos (especialmente no caso de software ou dados).

Requisitos

Para que o trabalho/artefato esteja apto a receber um selo, alguns requisitos devem ser satisfeitos, como descrito a seguir.

Artefatos Disponíveis (SeloD)

É esperado que o código e/ou dados estejam disponíveis em um repositório estável (como GitHub ou GitLab). Nesse repositório é esperado um README.md com uma documentação mínima (mas suficientemente clara para o entendimento), descrevendo o objetivo do(s) artefato(s), com o respectivo título e resumo do artigo.

Artefatos Funcionais (SeloF)

É esperado que o(s) código(s) de programa(s) do(s) artefato(s) possa(m) ser executado(s) e os revisores consigam observar suas funcionalidades. Para obter esse selo, é importante que informações adicionais estejam presentes no README.md do repositório, como:

1. lista de dependências;
2. lista de versões das dependências/linguagens/ambiente;
3. descrição do ambiente de execução;
4. instruções de instalação e execução;
5. um ou mais exemplos de execução.

Artefatos Sustentáveis (SeloS)

É esperado que o(s) código(s) de programa(s) do(s) artefato(s) esteja(m) modularizado(s), organizado(s), inteligível(is) e seja(m) de fácil compreensão**. Para obter o selo é necessário que:

1. exista uma documentação do(s) código(s) (descrevendo arquivos, funções, APIs etc);
2. haja uma legibilidade mínima no(s) código(s) e outros artefatos;
3. seja possível para os avaliadores identificar as principais reivindicações do artigo no(s) artefato(s).

Experimentos Reprodutíveis (SeloR)

É esperado que o revisor consiga reproduzir as principais reivindicações apresentadas no artigo. Para obter este selo é necessário que haja:

1. instrução para executar o(s) código(s) de forma a reproduzir e confirmar as principais reivindicações do artigo (e.g., resultados dos principais gráficos/tabelas);
2. descrição do processo de execução dos experimentos para chegar ao(s) resultado(s) do artigo;
3. descrição de detalhes técnicos específicos do ambiente (quando aplicável) como, por exemplo, detalhes da infraestrutura utilizada na Amazon Cloud ou Google Cloud. Eventualmente, incluir chaves de acesso e outras informações que permitam a reprodução do experimento.

Apêndice (obrigatório)

Para facilitar o processo de avaliação dos artefatos, foi criado um modelo de apêndice (obrigatório) onde os autores descrevem quais selos devem ser considerados no processo de avaliação do artefato e incluem informações para auxiliar os revisores do Comitê Técnico de Artefatos. O modelo LaTeX de apêndice está disponível em Exemplo-Apendice.

É obrigatório que as Seções de 1 a 4 estejam presentes. Se você tiver qualquer dúvida, por favor, entre em contato conosco.

Note: Antes de submeter o seu artefato (apêndice), é fortemente recomendado que os autores realizem a instalação e execução do seu artefato em um ambiente novo (máquina virtual) seguindo somente as instruções presente no apêndice para confirmar que as instruções estão consistentes e completas.

Note: Lembre que todo processo de revisão do CTA leva em consideração as informações presentes no Apêndice.

Exemplos de Artefatos