Instalar EMR Cli em Linux Centos (Procedimento)

Elastic MapReduce Client

Procedimento

# yum install rubygems
# mkdir elastic-mapreduce-cli

# wget http://elasticmapreduce.s3.amazonaws.com/elastic-mapreduce-ruby.zip
# unzip elastic-mapreduce-ruby.zip 

No arquivo credentials.json colocar suas credencias conforme o layout abaixo:

{
"access_id": "Your AWS Access Key ID",
"private_key": "Your AWS Secret Access Key",
"keypair": "Your key pair name",
"key-pair-file": "The path and name of your PEM file",
"log_uri": "A path to a bucket you own on Amazon S3, such as, s3n://mylog-uri/",
"region": "The region of your cluster, either us-east-1, us-west-2, us-west-1, eu-west-1, ap-northeast-1, ap-southeast-1, ap-southeast-2, or sa-east-1"
}

Vida Longa e Próspera !

[]´s

Instalar AWS Cli em Linux Centos (Procedimento)

AWS Cli

Procedimento:

# yum install python-setuptools yum
# yum install python-setuptools-devel

Fazer download do arquivo ez_stup.py e get-pip.py. para seu servidor ou copiar o conteudo para arquivos.
http://www.pip-installer.org/en/latest/installing.html

# python ez_setup.py
# python get-pip.py

aws cli

# easy_install awscli

Verificar se instalou

# aws help

Criar arquivo .aws no < home directory> com o layout abaixo:
Para conseguir as informações é necessário acessar o site aws e ir em "Security Credentials" e depois

"Access Keys (Access Key ID and Secret Access Key)"

[default]
aws_access_key_id = < >
aws_secret_access_key = < >
region = < >

Vida Loga e Próspera !

[]´s

Desabilitar Modo Evasive Atomix (asl) linux.

Edir o arquivo config

vi /etc/asl/config

achar a linha #mode_evasiveconfiguration

Alterar a linha conforme abaixo:

MODEV_ENABLE="no"

Por default vem "yes"

Após gravar as alterações executar:

# asl s f

Vida Longa e Próspera 

[]´s

Instalar phpdoc e configurar acesso web apache Centos

1 - Instalar php e pear

# yum install php pear
# yum install php

2 - Instalar apache

# yum install httpd mod_ssl

3 - Configurar apache

# /usr/sbin/apachectl start

Erro esperado:

Starting httpd: httpd: Could not reliably determine the server's fully qualified domain name,
using 127.0.0.1 for ServerName

# vi /etc/httpd/conf/httpd.conf

Ache a linha #ServerName www.example.com:80

Logo abaixo insira a linha: ServerName demo

# /usr/sbin/apachectl restart

Se usar iptables:

# iptables -I INPUT -p tcp --dport 80 -j ACCEPT
# service iptables save

Testar:

http://<ip do seu servidor>

4 - Instalar phpdoc

# pear channel-discover pear.phpdoc.org
# pear install phpdoc/phpDocumentor


5 - Configurar acesso web.

Tem outra forma, mas pra mim o que funcionou foi desse jeito:

# cp -pR -f  /path/to/httdocs/pear/ /var/www/html/

6 - Editar httpd.conf para processar .html como .php

#  vi /etc/httpd/conf/httpd.conf

Procure a linha  #DirectoryIndex: sets the file that Apache will serve if a directory

E no logo abaixo na linha não comentada substitua por essa linha:

DirectoryIndex index.php index.html index.htm default.htm home.htm at_domains_index.html index.html.var index.shtml index.cfm

7 - Reload Apache

#  /usr/sbin/apachectl restart

8 - Acesse a interface web Phpdocumentor

http://<ip seu servidor>/pear/PhpDocumentor/i

ndex.html

Vida Longa e Próspera

[]´s
 

Query Vcenter - Vm x Sistema Operacional

Acesse o banco do vcenter e execute a query abaixo:
O resultado nessa query será a quantidade de VMs por Sistema Operacional Windows e que estão rodando.
Ajuda bastante para os relatórios de SPLA :)


select a.GUEST_FULL_NAME , COUNT(1) from
VPX_VM_CONFIG_INFO a,
Vpx_vm b,
VPX_HOST c
where
a.ID = b.ID and
b.HOST_ID = c.ID and
b.GUEST_STATE = 'running' and
a.GUEST_FULL_NAME like '%Windows%'
group by a.GUEST_FULL_NAME
order by COUNT(1) desc;


Vida Longa e Próspera 

[]´s

Sqoop e Microsoft Sql Server

Instalando o jdbc mssql e rodando o sqoop para importar e exportar dados entre hadoop e sql server.

Meu servidor é um centos 6.4

1 – Download do JDBC driver MSSQL (arquivo *.tar.gz)

 http://www.microsoft.com/download/en/details.aspx?displaylang=en&id=21599

2 – Descompactar arquivo

tar –zxvf <nome arquivo>.tar.gz

Será criada uma pasta no seu diretório atual. Que no meu caso ficou com o nome de “sqljdbc_3.0”

3 – Copiar arquivo .jar para $SQOOP_HOME/lib

cp –p sqljdbc4.jar  $SQOOP_HOME/lib

Na minha vm $SQOOP_HOME/lib = /usr/lib/sqoop/lib/sqljdbc4.jar

4 – Testar se a conexão com o SQL Server está ok:

sqoop list-databases --connect "jdbc:sqlserver://<ip server>\<name instance>;username=<username>;password=<passwd>"

Import /Export

sqoop export --connect "jdbc:sqlserver://<ip server>\<name instance>;username=<user>;password=<pass>;database=<name database>"  --table=<table name> --direct --export-dir <dhfs dir>

sqoop import --connect "jdbc:sqlserver://<ip server>\<name instance>;username=<user>;password=<pass>;database=<name database>"  --table=<table name> --target-dir <dhfs dir>

sqoop import --connect "jdbc:sqlserver://<ip server>\<name instance>;username=<user>;password=<pass>;database=<name database>"  --table=<table name> --where “<condição>” --target-dir <dhfs dir>

Exemplo no where

--where “id=500”

[]´s

Vida Longa e Próspera !

Usando HDFS Command Line

Muito Boa Tarde Pessoas,

Faz tempo que não escrevo nada, andei em modo zombie on :) mas o motivo tem haver com as nuvens.

Logo vou colocar bastante posts sobre hadoop, hive, sqoop e aws...

Os comandos abaixo são para quem está começando a usar Apache Hadoop e quer dar uns comandos no HDFS (Hadoop Distributed File System)

Primeira coisa, o hdfs é um file system "write once", ou seja, escreveu a primeira vez no hdfs não é mais possível alterá-lo, apenas removê-lo.
Para acessar o dhfs é preciso sempre colocar "hadoop fs-" na frente do comando.

Exemplo, estou no meu diretório linux /root e tenho um arquivo chamado gnomo.txt e não tenho nada no dhfs e quero mandar esse arquivo pra lá:
 
# ls 
#gnomo.txt 

--Dhfs

#hadoop fs -ls

Criar diretório gnomo no dhfs:

# hadoop fs -mkdir gnomo 

Enviar arquivo gnomo.txt para o dhfs

# hadoop fs -put /root/gnomo.txt gnomo 
# hadoop fs -ls gnomo
# Found 1 item  
   gnomo.txt 

Recuperar arquivo do dhfs para sua pasta local

#hadoop fs -get /gnomo/gnomo.txt

Ler arquivo no hdfs

#hadoop fs -more /gnomo/gnomo.txt

Remover arquivo dhfs 

#hadoop fs -rm -r /gnomo/gnomo.txt

Sem problemas certo, pode usar tranquilamente shell com comando hadoop, um exemplo é criar um pipe para desomprimir um arquivo enquanto envia para o dhfs: 

# gunzip --best gnomo.gz | hadoop fs -put - gnomo/gnomo.txt

É possível minha aplicação escrever direto no hdfs?  Sim, através de api java.

https://sites.google.com/site/hadoopandhive/home/how-to-write-a-file-in-hdfs-using-hadoop

Vida Longa e Próspera !
 
 []´s