Avaliação de Artefato do SBSeg'24

O Salão de Ferramentas (SF) e Workshop de Trabalhos de Iniciação Científica e de Graduação (WTICG) irão permitir que autores submetam artefatos relacionados ao artigo submetido, podendo tais artefatos serem software, dados, documentação complementar, resultados brutos, provas de conceito, modelos, avaliações detalhadas, benchmarks etc.

Este recurso é essencial para a completa compreensão de um artigo científico, que vai além do documento em si. A qualidade de um artefato tende a ser tão importante quanto o próprio artigo científico. Normalmente, as conferências no Brasil não oferecem meios formais para submeter e avaliar nada além do próprio artigo. Rompendo com essa tradição, o SBSeg realizará a coleta de artefatos, sendo estes obrigatórios para o Salão de Ferramentas (SF) e opcionais para o Workshop de Trabalhos de Iniciação Científica e de Graduação (WTICG). O processo de submissão de artefatos vai ocorrer em conjunto com a submissão dos artigos e os autores deverão descrever os selos de qualidade que devem ser considerados para o artefato, bem como uma documentação detalhada seguindo as regras de submissão.

O processo de avaliação de artefatos vai ter como base o processo de avaliação realizado por conferências de renome como USENIX, CoNEXT, SIGCOMM e EuroSys e será realizado pelo Comitê Técnico de Artefatos (CTA). Para os autores que submeterão artefatos, é fundamental que façam a leitura das descrições dos selos disponíveis e das instruções sobre o que é esperado de um artefato.

Chamada para Artefatos

Um artefato pode ser um software, dados, documentação complementar, resultados brutos, provas de conceito, modelos, avaliações detalhadas, benchmarks etc.

Quatro selos de qualidade podem ser considerados para um artefato:

1. Artefatos Disponíveis (SeloD);
2. Artefatos Funcionais (SeloF);
3. Artefatos Sustentáveis (SeloS); e
4. Experimentos Reprodutíveis (SeloR).

Antes de enviar seu artefato, verifique os requisitos para a obtenção de cada selo. Caso tenha alguma dúvida, entre em contato.

Instruções de submissão

Quatro selos de qualidade podem ser considerados para um artefato. Junto com a submissão da versão final (camera ready) do artigo, os autores podem submeter o(s) artefato(s) relacionado(s) ao artigo. Para que os artefatos sejam julgados, é obrigatória a submissão de um apêndice descrevendo quais selos devem ser considerados na avaliação do(s) artefato(s) do trabalho e fornecendo as instruções necessárias para os revisores conseguirem lidar adequadamente com os mesmos (especialmente no caso de software ou dados).

Requisitos

Para que o trabalho/artefato esteja apto a receber um selo, alguns requisitos devem ser satisfeitos, como descrito a seguir.

Artefatos Disponíveis (SeloD)

É esperado que o código e/ou dados estejam disponíveis em um repositório estável (como GitHub ou GitLab). Nesse repositório é esperado um README.md com uma documentação mínima (mas suficientemente clara para o entendimento), descrevendo o objetivo do(s) artefato(s), com o respectivo título e resumo do artigo.

Artefatos Funcionais (SeloF)

É esperado que o(s) código(s) de programa(s) do(s) artefato(s) possa(m) ser executado(s) e os revisores consigam observar suas funcionalidades. Para obter esse selo, é importante que informações adicionais estejam presentes no README.md do repositório, como:

1. lista de dependências;
2. lista de versões das dependências/linguagens/ambiente;
3. descrição do ambiente de execução;
4. instruções de instalação e execução;
5. um ou mais exemplos de execução.

Artefatos Sustentáveis (SeloS)

É esperado que o(s) código(s) de programa(s) do(s) artefato(s) esteja(m) modularizado(s), organizado(s), inteligível(is) e seja(m) de fácil compreensão**. Para obter o selo é necessário que:

1. exista uma documentação do(s) código(s) (descrevendo arquivos, funções, APIs etc);
2. haja uma legibilidade mínima no(s) código(s) e outros artefatos;
3. seja possível para os avaliadores identificar as principais reivindicações do artigo no(s) artefato(s).

Experimentos Reprodutíveis (SeloR)

É esperado que o revisor consiga reproduzir as principais reivindicações apresentadas no artigo. Para obter este selo é necessário que haja:

1. instrução para executar o(s) código(s) de forma a reproduzir e confirmar as principais reivindicações do artigo (e.g., resultados dos principais gráficos/tabelas);
2. descrição do processo de execução dos experimentos para chegar ao(s) resultado(s) do artigo;
3. descrição de detalhes técnicos específicos do ambiente (quando aplicável) como, por exemplo, detalhes da infraestrutura utilizada na Amazon Cloud ou Google Cloud. Eventualmente, incluir chaves de acesso e outras informações que permitam a reprodução do experimento.

Apêndice (obrigatório)

Para facilitar o processo de avaliação dos artefatos, foi criado um modelo de apêndice (obrigatório) onde os autores descrevem quais selos devem ser considerados no processo de avaliação do artefato e incluem informações para auxiliar os revisores do Comitê Técnico de Artefatos. O modelo LaTeX de apêndice está disponível em Exemplo-Apendice.

É obrigatório que as Seções de 1 a 4 estejam presentes. Se você tiver qualquer dúvida, por favor, entre em contato conosco.

Note: Antes de submeter o seu artefato (apêndice), é fortemente recomendado que os autores realizem a instalação e execução do seu artefato em um ambiente novo (máquina virtual) seguindo somente as instruções presente no apêndice para confirmar que as instruções estão consistentes e completas.

Note: Lembre que todo processo de revisão do CTA leva em consideração as informações presentes no Apêndice.

Exemplos de Artefatos

Intruções para revisão

Seu objetivo como um revisor de artefato consiste em garantir que a qualidade do artefato corresponda com o conteúdo do artigo e os requisitos mínimos esperados para a obtenção de cada selo. Para realizar esta atividade com excelência, antes de avaliar os artefatos (i) leia o artigo; e (ii) defina as principais contribuições do trabalho. Estas duas etapas tornam o processo de avaliação de cada selo mais simples.

Note: Observe que o período de revisão é relativamente curto. Recomendamos iniciar suas revisões assim que receber sua tarefa.

Passos para a avaliação de um artefato

O processo de revisão pode ser realizado em um ambiente de sua preferência, desde que satisfaça os requisitos mínimos do ambiente de execução esperado para o artefato. Recomendamos a execução do artefato (quando aplicável) em um ambiente virtual, por trazer praticidade para os revisores e garantir que componentes presentes na sua máquina local não prejudiquem o processo de avaliação (uma instalação limpa em um ambiente novo pode reduzir imprevistos).

Todos os recursos adicionais necessários para execução do artefato (infraestrutura de nuvem, chaves SSH etc.) devem estar presentes no apêndice que descreve o artefato.

O artefato em avaliação está relacionado a um artigo em avaliação pelos comitês do SF e WTICG. O foco de um revisor do CTA está voltado para o artefato e não para a revisão do artigo. No entanto, caso seja encontrado algum problema, ele deve ser relatado aos coordenadores de avaliação de artefatos.

Note: Lembre-se de que todos os artefatos, análises e discussões são confidenciais.

Processo de Revisão

O processo de revisão está dividido em duas etapas. Primeiramente, você deve selecionar os trabalhos cujos temas lhe sejam familiares para o posterior processo de revisão. Faça a escolha de trabalhos o quanto antes para que o comitê tenha conhecimento das revisões de cada membro. Os trabalhos estão presentes em uma planilha online que será compartilhada com os membros do CTA. Cada membro do CTA irá escolher 3 ou mais trabalhos para avaliar (número a ser confirmado pelos coordenadores posteriormente).

Após ter selecionado seus trabalhos, você já pode começar a realizar as revisões. Para orientar esta segunda etapa, um conjunto de instruções com pontos chaves do processo de avaliação de artefato foi definido pelo comitê, conforme consta nas definições de requisitos para a obtenção de cada selo. Para que o artefato esteja apto a receber um selo, os respectivos requisitos devem ser satisfeitos.

Para que o trabalho/artefato seja apto a receber o selo, os respectivos requisitos devem ser alcançados:

Artefatos Disponíveis (SeloD)

É esperado que o código e/ou dados estejam disponíveis em um repositório estável (como GitHub ou GitLab). Nesse repositório é esperado um README.md com uma documentação mínima (mas suficientemente clara para o entendimento), descrevendo o objetivo do(s) artefato(s), com o respectivo título e resumo do artigo.

Artefatos Funcionais (SeloF)

É esperado que o(s) código(s) de programa(s) do(s) artefato(s) possa(m) ser executado(s) e os revisores consigam observar suas funcionalidades. Para obter esse selo, é importante que informações adicionais estejam presentes no README.md do repositório, como:

1. lista de dependências;
2. lista de versões das dependências/linguagens/ambiente;
3. descrição do ambiente de execução;
4. instruções de instalação e execução;
5. um ou mais exemplos de execução.

Artefatos Sustentáveis (SeloS)

É esperado que o(s) código(s) de programa(s) do(s) artefato(s) esteja(m) modularizado(s), organizado(s), inteligível(is) e seja(m) de fácil compreensão**. Para obter o selo é necessário que:

1. exista uma documentação do(s) código(s) (descrevendo arquivos, funções, APIs etc);
2. haja uma legibilidade mínima no(s) código(s) e outros artefatos;
3. seja possível para os avaliadores identificar as principais reivindicações do artigo no(s) artefato(s).

Experimentos Reprodutíveis (SeloR)

É esperado que o revisor consiga reproduzir as principais reivindicações apresentadas no artigo. Para obter este selo é necessário que haja:

1. instrução para executar o(s) código(s) de forma a reproduzir e confirmar as principais reivindicações do artigo (e.g., resultados dos principais gráficos/tabelas);
2. descrição do processo de execução dos experimentos para chegar ao(s) resultado(s) do artigo;
3. descrição de detalhes técnicos específicos do ambiente (quando aplicável) como, por exemplo, detalhes da infraestrutura utilizada na Amazon Cloud ou Google Cloud. Eventualmente, incluir chaves de acesso e outras informações que permitam a reprodução do experimento.

Entrega das Revisões

Para cada artefato, você deve produzir um breve texto de revisão justificando a razão por atribuir ou negar um selo ao artefato. Esse texto de revisão só deve ser escrito após completado o processo de avaliação.

Para facilitar o processo de avaliação, complete os comentários para cada selo seguindo o seguinte modelo que leva em consideração os requisitos de cada um.

Exemplos:

(caso 1, selo atribuído) SeloD: artefato(s)  publicamente disponível(is) (comentários)
+ disponíveis em um repositório estável
+ documentação suficiente
+ título
+ resumo
Recomendo a atribuição do selo.

(caso 2, selo não atribuído) SeloD: artefato(s) publicamente disponível(is) (comentários)
+ disponíveis em um repositório estável
- documentação suficiente
+ título
- resumo
Não posso recomendar a atribuição do selo, porque o artefato não  possui uma documentação considerada suficiente para o entendimento e reprodução de suas características e porque o resumo do artigo não foi fornecido.

(caso 3, CASO O SELO NÃO TENHA SIDO SOLICITADO) SeloD: artefato(s) publicamente disponível (comentários)
O selo não foi solicitado para esta categoria.

Utilize os sinais (-) e (+) para demonstrar qual(is) dos critérios o artefato não satisfaz (sinal de -) ou satisfaz (sinal de +). Também é importante incluir uma conclusão na revisão, explicando as motivações para não atribuir o selo quando o artefato não alcança os critérios mínimos esperados.

Note Procure escrever sua revisão de forma precisa, impessoal e polida, considerando que a mesma estará disponível para os autores em uma fase posterior do processo.

Chamada para membros do CTA

Pelo segundo ano o SBSeg irá permitir que autores submetam artefatos tais como software, dados, documentação complementar, resultados brutos, provas de conceito, modelos, avaliações detalhadas, benchmarks etc.

Esperamos que os membros do comitê técnico de artefatos (CTA) sejam estudantes de pós-graduação, pós-doutorandos, pesquisadores ou profissionais atuando na área de segurança cibernética. Para o processo de revisão é esperado que o revisor dedique uma média de 5hs por artefato (considerando que todos os quatro selos tenham sido solicitados pelos autores).

Como membro do CTA, é esperado que você ajude a decidir se o artefato proposto está de acordo com o conteúdo apresentado no artigo e os respectivos critérios para a outorga do selo solicitado. Será permitida a discussão entre os membros do comitê durante o processo de avaliação. No entanto, nenhuma interação com os autores será permitida para que o processo permaneça anônimo.

Esperamos poder contar com a sua ajuda para termos um excelente processo com boas e valiosas revisões sobre a qualidade dos artefatos apresentados pelos artigos.

Como se inscrever/Nomination

Se você estiver interessado em fazer parte do CTA, realize a inscrição pelo formulário. Observe que existe um número limitado de vagas.

Estatísticas gerais

Estatísticas do processo de avaliação dos artefatos:

• 29 trabalhos avaliados;
• 134 revisões (média de 4,6 por trabalho);
• 30+ threads de emails;
• 220+ emails trocados entre coordenação, autores e revisores;
• 206 comentários registrados no HotCRP (interações entre: autores e revisores; revisores e revisores; chairs e revisores);
• 3.951 atividades registradas no HotCRP por chairs, membros do CTA e autores;
• 578 horas estimadas em trabalho somado dos chairs, membros do CTA e do Comitê de Seleção;
• Importante ressaltar que vários artefatos passaram por múltiplas revisões devido às interações contínuas com os respectivos autores;
• 8 membros compuseram o Comitê de Seleção dos artefatos e revisores destaque.

Trabalhos com Selos Atribuídos

Trabalhos Destaque na Categoria Artefatos

Título: Autenticação de Sistemas Baseados em Biometria Comportamental
Autores: Lucas Rafael Azevedo Correa, Agda Beatriz Gonçalves Costa, Paulo Sérgio de Souza Lei Assumpção, Wilson de Souza Melo Jr

Título: IWSHAP: Uma Ferramenta para Seleção Incremental de Características utilizando IWSS e SHAP
Autores: Felipe Scherer, Felipe Dresch, Diego Kreutz, Silvio Quincozes, Vagner Quincozes

Título: MH-AutoML: Transparência, Interpretabilidade e Desempenho na Detecção de Malware Android
Autores: Joner Assolin, Diego Kreutz, Gabriel Sousa Canto, Eduardo Feitosa

Título: MH-FSF: um Framework para Reprodução, Experimentação e Avaliação de Métodos de Seleção de Caracterı́sticas
Autores: Vanderson Rocha, Hendrio Luis Bragança, Diego Kreutz, Eduardo Feitosa

Título: MalSynGen: redes neurais artificiais na geração de dados tabulares sintéticos para detecção de malware
Autores: Angelo Diniz, Kayuã Paim, Rodrigo Mansilha, Hendrio Luis Bragança, Diego Kreutz

Título: SigAPI AutoCraft: uma ferramenta de seleção de caracterı́sticas com capacidade de generalização
Autores: Laura Tschiedel, Joner Assolin, Diego Kreutz, Silvio Quincozes, Hendrio Luis Bragança, Vanderson Rocha

Título: EXSS: Um Emulador Educativo de Ataques Cross-Site Scripting
Autores: Bianca Guarizi, Isabela Alves, Júlia Souza, Guilherme Pimentel, João Watanabe, Dalbert Mascarenhas, Ian Vilar Bastos, Marcelo Rubinstein, Igor Moraes

Título: Seleção de Características Multi-objetivo para Detecção de Malwares Android PreviousNext
Autores: Philipe Fransozi, Jhonatan Geremias, Eduardo Kugler Viegas, Altair Olivo Santin

Revisores Destaque

Aline de Lurdes Zuliani Lunkes (PUCPR)
Amanda Viescinski (UFPR)
Angelo Gaspar Diniz Nogueira (UNIPAMPA)
Anselmo Lacerda Gomes (Instituto Atlântico)
Bruno Albertini (USP)
Diego Kreutz (UNIPAMPA)
Françoa Taffarel (ITA e Marinha do Brasil)
Ioram Schechtman Sette (CESAR)
Leandro Bertholdo (UFRGS)
Leonardo Toshinobu Kimura (USP)
Roben Lunardi (IFRS)

Organizadores

Coordenadores do CTA

Tiago Heinrich (UFPR/MPI)
Diego Kreutz (UNIPAMPA)

Comitê Técnico de Artefatos (CTA)

Aline de Lurdes Zuliani Lunkes, PUCPR
Amanda Viescinski, UFPR
Anderson Aparecido do Carmo Frasão, UFPA
Anderson Bergamini de Neira, UFPR
Andre Leon Sampaio Gradvohl, Unicamp
Angelo Gaspar Diniz Nogueira, UNIPAMPA
Anselmo Lacerda Gomes, Instituto Atlântico
Antonio João Gonçalves de Azambuja, UFRGS
Augusto Parisot de Gusmão Neto, UFF
Bruno Albertini, USP
Diego Kreutz, UNIPAMPA
Eduardo Feitosa, UFAM
Eduardo Kugler Viegas, PUCPR
Eduardo Takeo Ueda, IPT
Felipe José Aguiar Rampazzo, Unicamp
Françoa Taffarel, Marinha do Brasil
Galileu Batista de Sousa, IFRN / Polícia Federal
Hugo Pereira Kuribayashi, UFPA
Ioram Schechtman Sette, CESAR
Jeandro de Mesquita Bezerra, UFC Quixadá/UFMG
Jéferson Campos Nobre, UFRGS
João Gondim, UnB
Joner Melo Assolin, UFAM
Jorge Pires Correia, UFPR
Kalinka Castelo Branco, ICMC/USP
Kamilla Dória da Silveira, UNIT
Leandro Bertholdo, UFRGS
Leonardo Toshinobu Kimura, USP
Lucas Airam Castro de Souza, UFRJ
Marcio Barbado Junior, YDUQS Estácio
Marco Antonio Torrez Rojas, IFC
Mateus Tymburibá, CEFET-MG
Natascha Sander de Abreu, GGF Agro
Roben Castagna Lunardi, IFRS
Rodrigo Brandão Mansilha, UNIPAMPA
Rodrigo Carneiro Munhoz Coimbra, TSE
Sidnei Barbieri, ITA
Thiago Guimarães Tavares, IFTO
Tiago Heinrich, UFPR/MPI
Vanderson da Silva Rocha, UFAM
Vitor Satoru Machi Matsumine, Unicamp / SiDi
William Akihiro Alves Aisawa, USP

Comitê de Seleção

Aline de Lurdes Zuliani Lunkes (PUCPR)
Anselmo Lacerda Gomes (Instituto Atlântico)
Antonio João Azambuja (UFRGS)
Diego Kreutz (UNIPAMPA)
Eder John Scheid (UFRGS) - externo
Leandro Bertholdo (UFRGS)
Ramon dos Reis Fontes(UFRN) - externo
Tiago Heinrich (UFPR/MPI)

Contato

Email: Comite.Tecnico.de.Artefatos@gmail.com