Conexão ao Cluster

Conexão Remota Segura ao Cluster

O acesso remoto somente poderá ser feito por meio de  equipamentos internos ao campus da UFV, de Florestal ou de Rio Paranaíba com a utilização do protocolo ssh (Secure Shell). Pode-se usar o programa PuTTY, tanto em ambiente Linux como em ambiente Windows. Como em Linux é mais comum o uso do comando de linha ssh, o programa PuTTY somente será apresentado para Windows.

Em ambiente Linux:

Uso em Linha de comando:

se o computador já tiver ssh instalado, tecle a linha seguinte e Enter:

ssh -X usuario@jupiter.dti.ufv.br

{Após o Enter será solicitada a senha de acesso}

Senão, o ssh deverá ser instalado para o acesso ao Cluster conforme exemplos a seguir:

Debian e seus derivados(Ubuntu etc):
sudo apt-get install openssh-client

OpenSUSE:
su –    (para entrar como usuário root)

zypper in openssh

Transferência de Arquivos:

use o scp (comando de linha) ou o protocolo fish (janela gráfica):

scp <arquivos_de_origem> <destino>

Exemplo:

Transferindo do computador que está sendo utilizado no momento para o Cluster:

scp Documentos/dados.txt  marta@jupiter.dti.ufv.br:/home/ney/Area-de-dados/

Transferindo do Cluster para o computador que está sendo utilizado no momento – inverso do caso anterior:

scp marta@jupiter.dti.ufv.br:/home/ney/Area-de-dados/dados.txt Documentos/

Explicações adicionais:
scp <usuario>@<computador>:<arquivo> <destino>

em que:
<usuario>      nome de usuário no Cluster
<computador>     jupiter.dti.ufv.br
<arquivo>           identificação do arquivo a ser copiado especificando, se necessário, o path completo do arquivo (o path default é o diretório home do usuário)
<destino>           identificação do local onde o arquivo será gravado especificando o path, se necessário (o path default é o diretório corrente)
           
Uso em janela gráfica:

O navegador konqueror permite a utilização do protocolo fish. É o navegador  padrão em sistemas Linux que utilizam interface gráfica KDE. Entretanto, pode ser instalado na  maioria dos sistemas Linux.

fish://<usuário>@<host>

exemplo:

fish://luisa@jupiter.dti.ufv.br   provocará a abertura de uma pequena janela solicitando senha de usuário no Cluster. Outra janela será aberta mostrando todos os arquivos do diretório home de ‘luisa’ permitindo o arraste numa ou noutra direção (para ou do Cluster em relação ao computador do usuário)

Em sistemas Linux com interface gráfica Gnome, o navegador padrão de arquivos Nautilus permite conexão via protocolo ssh com abertura de janela mostrando os arquivos e admitindo o arraste numa ou noutra direção. Para se conectar clique em:

Arquivo → Conectar ao servidor

Em seguida, será aberta uma pequena janela solicitando as informações da conexão.

No título Tipo de serviço troque FTP por SSH; no título Porta, tecle 22. Forneça Nome do usuário e clique em conectar.

Em ambiente Windows:

Se os programas PuTTY e WinSCP já estão instalados em seu computador Windows, Clique no ícone de PuTTY. Uma janela como a seguinte será aberta. Forneça jupiter.dti.ufv.br em Hostname, 22 em Port, assinale SSH e Enter ou clique em Open. Será aberta uma janela do tipo terminal Linux para linha de comando com solicitação de login as: e Password: para a senha de usuário no Cluster.

Transferência de arquivos:           

Após isso, clique no ícone WinSCP. Uma janela como a seguinte será apresentada. Forneça, novamente jupiter.dti.ufv.br em Hostname, 22 em Port number. Em User name coloque o nome de usuário do Cluster, em Password a senha do usuário e Enter ou clique em Login.

Uma janela como a seguir será apresentada permitindo o arraste de arquivos entre o Cluster e o computador em uso e vice-versa

Uso do Ambiente Cluster

O ambiente Cluster deve ser utilizado, preferencialmente, no modo lote (batch) e, preferencialmente, para processamento paralelo por conexão remota (ssh).
Não é permitido acesso interativo aos nós 1 a 15, estando reservados para o processamento batch ou em lote. Para o processamento interativo pode-se usar o nó Venus e o nó gráfico (GPU – Tesla C2050).

O sistema gerenciador de filas, responsável pela execução de jobs, é o PBSPro (Altair Portable Batch System Professional versão 11). A documentação deste software em formato pdf está disponível na página da DCT e inclui:

Alguns dos principais comandos do PBSPro são:

  • qsub – para submissão de jobs
  • qalter – para modificar jobs pendentes
  • qmove – para mover jobs
  • qdel – para remoção de jobs das filas
  • qhold – para alterar o estado de jobs para hold
  • qorder – para reordenar jobs
  • qrls – para liberar jobs em estado hold
  • qselect- para selecionar jobs
  • qstat – exibe o estado de filas e jobs
  • tracejob – para obter o histórico de jobs
  • xpbs – interface gráfica do PBSPro (As informações sobre estes comandos também estão disponíveis em suas manpages)
  • qsub jobscript
  • submete jobscript to PBS
  • qsub -I
  • submete um interactive-batch job
  • qsub -q queue
  • submete job diretamente para a fila específicada
  • qstat
  • lista informações sobre filas (queues) e jobs
  • qstat -q
  • lista todas as filas no sistema
  • qstat -Q
  • Lista limites das filas para todas as filas
  • qstat -a
  • Lista todos os jobs no sistema
  • qstat -au userid
  • Lista todos os jobs pertencente ao usuário (retorna jobid)
  • qstat -s
  • Lista todos os jobs com comentários de status
  • qstat -r
  • Lista todos os jobs em processamento
  • qstat -f jobid
  • lista todas as informações conhecidas sobre o job espeficidado
  • qstat -Qf queue
  • lista todas as informações conhecidas sobre a fila especificada
  • qstat -B
  • lista informações da lista de resumo sobre o servidor de PBS
  • qdel jobid
  • deleta job jobid
  • qalter jobid
  • Modifica os atributos do job ou jobs especificados pelo jobid
  • pbsnodes -a
  • indicates which nodes are currently up and some node characteristics.
  • pbsnodes -l
  • indica quais nós estão atualmente offline
  • qstat -n
  • Mostra a lista de nós alocada para os jobs
  • qstat -ans -u {username}
  • external hdthis will show the nodes, jobid’s of a given {username}

Parasubmeterumjob:

  • criarumscript,utilizandoqualquershell,incluindooscomandos
    quecriamum“roteiro”aserexecutado
  • executarocomandoqsubnome-do-script

Exemplodescriptparaaexecuçãodeumjobemparalelo:

#!/bin/bash-x

#—————————-NomedoServiço——————————
#
ConfiguraçãodoPBS

#PBS-Nnomedojob
#PBS
lselect=n:ncpus=m
#PBS
-mae
#
mensagemseráenviada:aabort;bbegin;eend
#PBS-Mlista de e-mails separados por vírgula que receberão comunicação


cd
$PBS_O_WORKDIR

source /usr/share/modules/init/bash

#Carregaomódulo
module
loadmpich2

#Determinaoshostsqueestãodisponíveis
HOSTLIST=`cat
$PBS_NODEFILE |paste-s-d“,”`
cat
$PBS_NODEFILE

#Rodaaaplicaçãocomprocessosemparalelo
mpirun
-machinefile$PBS_NODEFILE-npn$HOME/bin/mbarquivo.nex>saida.txt

#Fimdoscript
]

Solicita-se aos autores de trabalhos desenvolvidos com o uso do cluster UFV que em suas publicações na parte relativa aos “Agradecimentos” colocar:

Pesquisa desenvolvida com o auxílio do cluster da UFV (Universidade Federal de Viçosa).

Críticas e sugestões para o aprimoramento desse texto são muito bem vindas.
Envie para: dct@ufv.br