• Portal do Governo Brasileiro

Plataforma Sucupira

Dados do Trabalhos de Conclusão

CENTRO FEDERAL DE EDUCAÇÃO TECNOLÓGICA CELSO SUCKOW DA FONSECA
CIÊNCIA DA COMPUTAÇÃO (31022014009P5)
DIMENSIONAMENTO DE RECURSOS PARA EXECUÇÃO DE WORKFLOWS CIENTÍFICOS EM AMBIENTES DE COMPUTAÇÃO DE ALTO DESEMPENHO
LUIS CARLOS RAMOS ALVARENGA
DISSERTAÇÃO
21/08/2024

Cientistas cada vez mais necessitam executar experimentos altamente exigentes em termos computacionais. Estes experimentos são frequentemente modelados como workflows científicos e são executados em ambientes de computação de alto desempenho (HPC). Tipicamente estes ambientes fornecem uma grande variedade de recursos aos usuários. O dimensionamento adequado dos recursos para a execução de workflows científicos nestes ambientes é uma tarefa crucial. Um ambiente sub ou superdimensionado pode afetar diretamente o desempenho do experimento, gerando impactos negativos relacionados ao tempo e ao custo financeiro da execução. Com isso, pesquisas envolvendo estimação de recursos para execução de experimentos em ambientes de HPC vêm sendo realizadas, como a heurística GraspCC, que usa o procedimento de busca adaptativa randomizada gulosa (GRASP). O objetivo deste estudo é investigar a execução de workflows científicos em ambientes de alto desempenho, tais como clusters e nuvens de computadores, com o intuito de estimar eficientemente os recursos necessários considerando o tempo e os custos financeiros associados. O problema foi definido a partir da proposta de estruturação do workflow em estágios ou níveis paralelos de tarefas semelhantes entre si e que operam de maneira independente, chamada Layered-Bucket (LB). Para resolver o problema, foram propostas uma formulação de programação matemática inteira e uma adaptação da heurística GraspCC para considerar a abordagem LB, chamada GraspCC-LB. A abordagem proposta foi avaliada utilizando dados históricos de workflows das áreas de bioinformática e astronomia. As estimativas de recursos produzidas pela GraspCC-LB foram comparadas com o uso real de recursos em um ambiente HPC do mundo real para avaliar sua eficácia. Os resultados mostram a eficácia do GraspCC-LB como uma abordagem robusta para otimização de recursos no contexto de workflows científicos de grande escala que requerem capacidades HPC, apresentando-se como uma importante ferramenta de apoio à tomada de decisões.

Workflows científicos;Computação de Alto Desempenho;Computação em nuvem;Otimização;Sistemas de suporte à decisão
Scientists increasingly need to run highly computationally demanding experiments. These experiments, often modeled as scientific workflows, are run in high-performance computing (HPC) environments. Typically, these environments provide a wide range of resources to users. The proper sizing of resources for running scientific workflows in these environments is a crucial task. An undersized or oversized environment can directly affect the performance of the experiment, leading to negative impacts on the time and financial cost of execution. Thus, research involving resource estimation for experiment execution in HPC environments has been conducted, such as the GraspCC heuristic, which uses the adaptive randomized greedy search procedure (GRASP). The objective of this work is to investigate the execution of scientific workflows in high-performance environments, such as clusters and computer clouds, in order to efficiently estimate the required resources considering the associated time and financial costs. The problem was defined from the proposed structuring of workflow into parallel stages or levels of tasks that are similar to each other and operate independently, called Layered-Bucket (LB). To solve the problem, we proposed an integer mathematical programming formulation and an adaptation of the GraspCC heuristic to accommodate the LB approach, named GraspCC-LB. The proposed approach was evaluated using real traces of workflows from the fields of bioinformatics and astronomy. The resource estimations produced by GraspCC-LB were compared against the actual resource usage in a real-world HPC environment to assess its effectiveness. The results demonstrate the effectiveness of GraspCC-LB as a robust approach for resource optimization in the context of large-scale scientific workflows that require HPC capabilities, serving as an important decision-support tool.
Scientific Workflow;High-Performance Computing;Cloud computing;Optimization;Decision support systems
01
52
PORTUGUES
CENTRO FEDERAL DE EDUCAÇÃO TECNOLÓGICA CELSO SUCKOW DA FONSECA
O trabalho possui divulgação autorizada
Dissertação_Mestrado_Luis_Alvarenga-vf.pdf

Contexto

Ciência da Computação
CIÊNCIA DE DADOS E INTELIGÊNCIA ARTIFICIAL
GERÊNCIA E ADMINISTRAÇÃO DE BASES DE DADOS

Banca Examinadora

RAFAELLI DE CARVALHO COUTINHO
DOCENTE - PERMANENTE
Sim
Nome Categoria
DANIEL CARDOSO MORAES DE OLIVEIRA Participante Externo
YURI ABITBOL DE MENEZES FROTA Participante Externo
PEDRO HENRIQUE GONZALEZ SILVA Docente - COLABORADOR
RAFAELLI DE CARVALHO COUTINHO Docente - PERMANENTE
MARTA LIMA DE QUEIROS MATTOSO Participante Externo

Vínculo

CLT
Empresa Privada
Empresas
Sim
Plataforma Sucupira
Capes UFRN RNP
  • Compatibilidade
  • . . .
  • Versão do sistema: 3.85.11
  • Copyright 2022 Capes. Todos os direitos reservados.

Nós usamos cookies para melhorar sua experiência de navegação no portal. Ao utilizar o gov.br, você concorda com a política de monitoramento de cookies. Para ter mais informações sobre como isso é feito, acesse Política de cookies.Se você concorda, clique em ACEITO.

Politica de Cookies

O que são cookies?

Cookies são arquivos salvos em seu computador, tablet ou telefone quando você visita um site.Usamos os cookies necessários para fazer o site funcionar da melhor forma possível e sempre aprimorar os nossos serviços. Alguns cookies são classificados como necessários e permitem a funcionalidade central, como segurança, gerenciamento de rede e acessibilidade. Estes cookies podem ser coletados e armazenados assim que você inicia sua navegação ou quando usa algum recurso que os requer.

Cookies Primários

Alguns cookies serão colocados em seu dispositivo diretamente pelo nosso site - são conhecidos como cookies primários. Eles são essenciais para você navegar no site e usar seus recursos.
Temporários
Nós utilizamos cookies de sessão. Eles são temporários e expiram quando você fecha o navegador ou quando a sessão termina.
Finalidade
Estabelecer controle de idioma e segurança ao tempo da sessão.

Cookies de Terceiros

Outros cookies são colocados no seu dispositivo não pelo site que você está visitando, mas por terceiros, como, por exemplo, os sistemas analíticos.
Temporários
Nós utilizamos cookies de sessão. Eles são temporários e expiram quando você fecha o navegador ou quando a sessão termina.
Finalidade
Coletam informações sobre como você usa o site, como as páginas que você visitou e os links em que clicou. Nenhuma dessas informações pode ser usada para identificá-lo. Seu único objetivo é possibilitar análises e melhorar as funções do site.

Você pode desabilitá-los alterando as configurações do seu navegador, mas saiba que isso pode afetar o funcionamento do site.

Chrome

Firefox

Microsoft Edge

Internet Explorer