Avaliação de Artefato do SBSeg'25

A Trilha Principal do SBSeg vai permitir que autores submetam artefatos relacionados ao artigo submetido, podendo tais artefatos serem software, dados, documentação complementar, resultados brutos, provas de conceito, modelos, avaliações detalhadas, benchmarks etc.

Este recurso é essencial para a completa compreensão de um artigo científico, que vai além do documento em si. A qualidade de um artefato tende a ser tão importante quanto o próprio artigo científico. Normalmente, as conferências no Brasil não oferecem meios formais para submeter e avaliar nada além do próprio artigo. Rompendo com essa tradição, o SBSeg realizará a coleta de artefatos, sendo estes opcionais para a Trilha Principal. O processo de submissão de artefatos vai ocorrer em conjunto com a submissão dos artigos e os autores deverão descrever os selos de qualidade que devem ser considerados para o artefato, bem como uma documentação detalhada seguindo as regras de submissão.

O processo de avaliação de artefatos vai ter como base o processo de avaliação realizado por conferências de renome como USENIX, CoNEXT, SIGCOMM e EuroSys e será realizado pelo Comitê Técnico de Artefatos (CTA). Para os autores que submeterão artefatos, é fundamental que façam a leitura das descrições dos selos disponíveis e das instruções sobre o que é esperado de um artefato.

Chamada para Artefatos

Um artefato pode ser um software, dados, documentação complementar, resultados brutos, provas de conceito, modelos, avaliações detalhadas, benchmarks etc.

Quatro selos de qualidade podem ser considerados para um artefato:

1. Artefatos Disponíveis (SeloD);
2. Artefatos Funcionais (SeloF);
3. Artefatos Sustentáveis (SeloS); e
4. Experimentos Reprodutíveis (SeloR).

Antes de enviar seu artefato, verifique os requisitos para a obtenção de cada selo. Caso tenha alguma dúvida, entre em contato.

Instruções de submissão

Quatro selos de qualidade podem ser considerados para um artefato. Junto com a submissão da versão final (camera ready) do artigo, os autores podem submeter o(s) artefato(s) relacionado(s) ao artigo. Para que os artefatos sejam julgados, é obrigatória a submissão de um apêndice descrevendo quais selos devem ser considerados na avaliação do(s) artefato(s) do trabalho e fornecendo as instruções necessárias para os revisores conseguirem lidar adequadamente com os mesmos (especialmente no caso de software ou dados).

Requisitos

Para que o trabalho/artefato esteja apto a receber um selo, alguns requisitos devem ser satisfeitos, como descrito a seguir.

Artefatos Disponíveis (SeloD)

É esperado que o código e/ou dados estejam disponíveis em um repositório estável (como GitHub ou GitLab). Nesse repositório é esperado um README.md com uma documentação mínima (mas suficientemente clara para o entendimento), descrevendo o objetivo do(s) artefato(s), com o respectivo título e resumo do artigo.

Artefatos Funcionais (SeloF)

É esperado que o(s) código(s) de programa(s) do(s) artefato(s) possa(m) ser executado(s) e os revisores consigam observar suas funcionalidades. Para obter esse selo, é importante que informações adicionais estejam presentes no README.md do repositório, como:

1. lista de dependências;
2. lista de versões das dependências/linguagens/ambiente;
3. descrição do ambiente de execução;
4. instruções de instalação e execução;
5. um ou mais exemplos de execução.

Artefatos Sustentáveis (SeloS)

É esperado que o(s) código(s) de programa(s) do(s) artefato(s) esteja(m) modularizado(s), organizado(s), inteligível(is) e seja(m) de fácil compreensão**. Para obter o selo é necessário que:

1. exista uma documentação do(s) código(s) (descrevendo arquivos, funções, APIs etc);
2. haja uma legibilidade mínima no(s) código(s) e outros artefatos;
3. seja possível para os avaliadores identificar as principais reivindicações do artigo no(s) artefato(s).

Experimentos Reprodutíveis (SeloR)

É esperado que o revisor consiga reproduzir as principais reivindicações apresentadas no artigo. Para obter este selo é necessário que haja:

1. instrução para executar o(s) código(s) de forma a reproduzir e confirmar as principais reivindicações do artigo (e.g., resultados dos principais gráficos/tabelas);
2. descrição do processo de execução dos experimentos para chegar ao(s) resultado(s) do artigo;
3. descrição de detalhes técnicos específicos do ambiente (quando aplicável) como, por exemplo, detalhes da infraestrutura utilizada na Amazon Cloud ou Google Cloud. Eventualmente, incluir chaves de acesso e outras informações que permitam a reprodução do experimento.

Apêndice (obrigatório)

Para facilitar o processo de avaliação dos artefatos, foi criado um modelo de apêndice (obrigatório) onde os autores descrevem quais selos devem ser considerados no processo de avaliação do artefato e incluem informações para auxiliar os revisores do Comitê Técnico de Artefatos. O modelo LaTeX de apêndice está disponível em Exemplo-Apendice.

É obrigatório que as Seções de 1 a 4 estejam presentes. Se você tiver qualquer dúvida, por favor, entre em contato conosco.

Note: Antes de submeter o seu artefato (apêndice), é fortemente recomendado que os autores realizem a instalação e execução do seu artefato em um ambiente novo (máquina virtual) seguindo somente as instruções presente no apêndice para confirmar que as instruções estão consistentes e completas.

Note: Lembre que todo processo de revisão do CTA leva em consideração as informações presentes no Apêndice.

Exemplos de Artefatos

Intruções para revisão

Seu objetivo como um revisor de artefato consiste em garantir que a qualidade do artefato corresponda com o conteúdo do artigo e os requisitos mínimos esperados para a obtenção de cada selo. Para realizar esta atividade com excelência, antes de avaliar os artefatos (i) leia o artigo; e (ii) defina as principais contribuições do trabalho. Estas duas etapas tornam o processo de avaliação de cada selo mais simples.

Note: Observe que o período de revisão é relativamente curto. Recomendamos iniciar suas revisões assim que receber sua tarefa.

Passos para a avaliação de um artefato

O processo de revisão pode ser realizado em um ambiente de sua preferência, desde que satisfaça os requisitos mínimos do ambiente de execução esperado para o artefato. Recomendamos a execução do artefato (quando aplicável) em um ambiente virtual, por trazer praticidade para os revisores e garantir que componentes presentes na sua máquina local não prejudiquem o processo de avaliação (uma instalação limpa em um ambiente novo pode reduzir imprevistos).

Todos os recursos adicionais necessários para execução do artefato (infraestrutura de nuvem, chaves SSH etc.) devem estar presentes no apêndice que descreve o artefato.

O artefato em avaliação está relacionado a um artigo em avaliação pelos comitês do SF e WTICG. O foco de um revisor do CTA está voltado para o artefato e não para a revisão do artigo. No entanto, caso seja encontrado algum problema, ele deve ser relatado aos coordenadores de avaliação de artefatos.

Note: Lembre-se de que todos os artefatos, análises e discussões são confidenciais.

Processo de Revisão

O processo de revisão está dividido em duas etapas. Primeiramente, você deve selecionar os trabalhos cujos temas lhe sejam familiares para o posterior processo de revisão. Faça a escolha de trabalhos o quanto antes para que o comitê tenha conhecimento das revisões de cada membro. Os trabalhos estão presentes em uma planilha online que será compartilhada com os membros do CTA. Cada membro do CTA irá escolher 3 ou mais trabalhos para avaliar (número a ser confirmado pelos coordenadores posteriormente).

Após ter selecionado seus trabalhos, você já pode começar a realizar as revisões. Para orientar esta segunda etapa, um conjunto de instruções com pontos chaves do processo de avaliação de artefato foi definido pelo comitê, conforme consta nas definições de requisitos para a obtenção de cada selo. Para que o artefato esteja apto a receber um selo, os respectivos requisitos devem ser satisfeitos.

Para que o trabalho/artefato seja apto a receber o selo, os respectivos requisitos devem ser alcançados:

Artefatos Disponíveis (SeloD)

É esperado que o código e/ou dados estejam disponíveis em um repositório estável (como GitHub ou GitLab). Nesse repositório é esperado um README.md com uma documentação mínima (mas suficientemente clara para o entendimento), descrevendo o objetivo do(s) artefato(s), com o respectivo título e resumo do artigo.

Artefatos Funcionais (SeloF)

É esperado que o(s) código(s) de programa(s) do(s) artefato(s) possa(m) ser executado(s) e os revisores consigam observar suas funcionalidades. Para obter esse selo, é importante que informações adicionais estejam presentes no README.md do repositório, como:

1. lista de dependências;
2. lista de versões das dependências/linguagens/ambiente;
3. descrição do ambiente de execução;
4. instruções de instalação e execução;
5. um ou mais exemplos de execução.

Artefatos Sustentáveis (SeloS)

É esperado que o(s) código(s) de programa(s) do(s) artefato(s) esteja(m) modularizado(s), organizado(s), inteligível(is) e seja(m) de fácil compreensão**. Para obter o selo é necessário que:

1. exista uma documentação do(s) código(s) (descrevendo arquivos, funções, APIs etc);
2. haja uma legibilidade mínima no(s) código(s) e outros artefatos;
3. seja possível para os avaliadores identificar as principais reivindicações do artigo no(s) artefato(s).

Experimentos Reprodutíveis (SeloR)

É esperado que o revisor consiga reproduzir as principais reivindicações apresentadas no artigo. Para obter este selo é necessário que haja:

1. instrução para executar o(s) código(s) de forma a reproduzir e confirmar as principais reivindicações do artigo (e.g., resultados dos principais gráficos/tabelas);
2. descrição do processo de execução dos experimentos para chegar ao(s) resultado(s) do artigo;
3. descrição de detalhes técnicos específicos do ambiente (quando aplicável) como, por exemplo, detalhes da infraestrutura utilizada na Amazon Cloud ou Google Cloud. Eventualmente, incluir chaves de acesso e outras informações que permitam a reprodução do experimento.

Entrega das Revisões

Para cada artefato, você deve produzir um breve texto de revisão justificando a razão por atribuir ou negar um selo ao artefato. Esse texto de revisão só deve ser escrito após completado o processo de avaliação.

Para facilitar o processo de avaliação, complete os comentários para cada selo seguindo o seguinte modelo que leva em consideração os requisitos de cada um.

Exemplos:

(caso 1, selo atribuído) SeloD: artefato(s)  publicamente disponível(is) (comentários)
+ disponíveis em um repositório estável
+ documentação suficiente
+ título
+ resumo
Recomendo a atribuição do selo.

(caso 2, selo não atribuído) SeloD: artefato(s) publicamente disponível(is) (comentários)
+ disponíveis em um repositório estável
- documentação suficiente
+ título
- resumo
Não posso recomendar a atribuição do selo, porque o artefato não  possui uma documentação considerada suficiente para o entendimento e reprodução de suas características e porque o resumo do artigo não foi fornecido.

(caso 3, CASO O SELO NÃO TENHA SIDO SOLICITADO) SeloD: artefato(s) publicamente disponível (comentários)
O selo não foi solicitado para esta categoria.

Utilize os sinais (-) e (+) para demonstrar qual(is) dos critérios o artefato não satisfaz (sinal de -) ou satisfaz (sinal de +). Também é importante incluir uma conclusão na revisão, explicando as motivações para não atribuir o selo quando o artefato não alcança os critérios mínimos esperados.

Note Procure escrever sua revisão de forma precisa, impessoal e polida, considerando que a mesma estará disponível para os autores em uma fase posterior do processo.

Chamada para membros do CTA

Pelo terceiro ano o SBSeg irá permitir que autores submetam artefatos tais como software, dados, documentação complementar, resultados brutos, provas de conceito, modelos, avaliações detalhadas, benchmarks etc.

Esperamos que os membros do comitê técnico de artefatos (CTA) sejam estudantes de pós-graduação, pós-doutorandos, pesquisadores ou profissionais atuando na área de segurança cibernética. Para o processo de revisão é esperado que o revisor dedique uma média de 5hs por artefato (considerando que todos os quatro selos tenham sido solicitados pelos autores).

Como membro do CTA, é esperado que você ajude a decidir se o artefato proposto está de acordo com o conteúdo apresentado no artigo e os respectivos critérios para a outorga do selo solicitado. Será permitida a discussão entre os membros do comitê durante o processo de avaliação. No entanto, nenhuma interação com os autores será permitida para que o processo permaneça anônimo.

Esperamos poder contar com a sua ajuda para termos um excelente processo com boas e valiosas revisões sobre a qualidade dos artefatos apresentados pelos artigos.

Organizadores

Coordenadores do CTA

Tiago Heinrich (UFPR/MPI)
Lourenco Alves Pereira Jr(ITA)

Comitê Técnico de Artefatos (CTA)

Contato

Email: Comite.Tecnico.de.Artefatos@gmail.com