Developper Guide

Developer Guide
PRDW
Alexandre Cortyl
Shuhan LIN
Frédéric Cuni
PRDW: ASTER DEVELOPER GUIDE
1
Sommaire
1 Introduction à Aster
3
2 Mise en place de l’environnement
4
3 Utilisation d’ACT et Manipulation de la base de données
13
4 Teradata Studio
15
PRDW: ASTER DEVELOPER GUIDE
2
1 Introduction à Aster
ASTER est une plateforme d’analyse Big Data profitant d’une architecture MPP (Massive
Parallel Processing). Il est très puissant, et correspond parfaitement aux besoins d’une
résolution de problèmes d’analyse Big Data.
Ce guide a pour but de vous indiquer comment construire un environnement d’analyse
avec Aster.
Il aborde la mise en place de l’environnement Aster, l’utilisation de l’outil linux ACT ainsi
que la prise en main de Teradata Studio.
PRDW: ASTER DEVELOPER GUIDE
3
2 Mise en place de l’environnement
2.1 Mise en place des Machine Virtuelle Aster
Etape 1 Installer le VMware player (Windows) ou le VMware fusion (Mac OS)
Dans cette étape, nous devons d’abord télécharger VMware player ou VMware fusion sur
le site de VMware.(J’ai utilisé VMware Fusion comme exemple).
Figure 2.1.1 L’interface de VMware Fusion
Etape 2 Ajouter les VM dans le VMware
Ouvrir le VMware Fusion et appuyer sur l’option ‘Open’ dans le menu ‘File’ pour ajouter
une nouvelle machine virtuelle. (Nous appelons VM par la suite).
Choisissez vos VM et ajoutez les dans VMware. Dans notre cas, nous devons ajouter deux
VMs, le première étant Aster Queen et le seconde étant Aster Worker.
PRDW: ASTER DEVELOPER GUIDE
4
Etape 3 L’ajout des adapteurs de réseaux
Figure 2.1.2 L’ajout des nouvelles VM: Queen et Worker
Cliquer sur le bouton ‘Setting’ dans le menu du haut, pour modifier les paramètres
réseaux de la Queen et du Worker.
Figure 2.1.3 Ajouter les Network Adapter
PRDW: ASTER DEVELOPER GUIDE
5
Pour chacun, mettre la première carte réseau en mode ‘Bridged’, et la deuxième en mode
‘NAT’ (Internet Sharing pour Mac OS).
Figure 2.1.4 Première Adapteur
Figure 2.1.5 Deuxième Adapteur
PRDW: ASTER DEVELOPER GUIDE
6
Etape 4 Configuration des réseaux
Maintenant, vous pouvez ouvrir les VM, en commençant d’abord par la Queen, puis le
Worker. Les identifiants de connexions sont login=aster et mdp=aster.
Figure 2.1.6 Le VM Aster
Utiliser ‘su root ’ pour aller dans le compte ‘root’, avec le même mot de passe.
Ouvrir le fichier de configuration des réseaux avec la commande ‘vim /etc/sysconfig/
network/ifcfg-eth0 ’, en ajoutant la configuration comme ci-dessous:
PRDW: ASTER DEVELOPER GUIDE
7
figure 2.1.7 Configuration pour ifcfg-eth0
Ouvrir le fichier ifcfg-eth1 dans la même répertoire, puis faire les configurations comme
présenté sur la capture d’écran suivante :
Figure 2.1.8 Configuration pour ifcfg-eth1
PRDW: ASTER DEVELOPER GUIDE
8
Redémarrer le réseau avec ‘service network restart’
Maintenant, les deux VMs ont une adresse IP. Nous supposons que l’adresse de la Queen
est 192.168.100.100 et que celle du Worker est 192.168.100.150.
Pour vérifier l’état de réseaux, vous pouvez taper ‘ping 192.168.100.150’ à partir de la
Queen pour s’assurer que celle-ci arrive à joindre le Worker.
Comme ci-dessous, le réseaux est bien connecté :
figure 2.1.9 Résultat de ping
PRDW: ASTER DEVELOPER GUIDE
9
2.2 Démarrage de VM et Mise en place Aster
Maintenant que la Queen et le Worker sont bien connectés, nous utilisons l’outil ‘Aster
Command Console’ pour démarrer les VMs.
Ouvrez votre navigateur, et se rendre sur l’adresse IP eth1 de la Queen (obtenue par
DHCP dans l’étape précédente).
figure 2.2.1 Mettre Ip adresse dans le navigateur
Pour la connexion, le compte et le mot de passe sont ‘db_superuser’.
Figure 2.2.2 L’accès
Vous avez ainsi accès au Aster Management Console.
PRDW: ASTER DEVELOPER GUIDE
10
Figure 2.2.3 Aster Manangement Console
Comme vous pouvez le voir ici, la Queen est active, mais le worker est dans l’état
‘Prepared’. Il faut se rendre dans l’onglet Admin en haut.cliquer Admin en haut.
Figure 2.2.4 Cliquer sur le VM que vous voulez activer
Choisir ensuite le noeud que vous voulez activer.
PRDW: ASTER DEVELOPER GUIDE
11
Figure 2.2.5 Cliquer sur la bouton Active Cluster
Ainsi, le worker est bien activé, et l’environnement d’Aster est bien établi.
Figure 2.2.6 Les VM sont bien activé
PRDW: ASTER DEVELOPER GUIDE
12
3 Utilisation d’ACT et Manipulation de la base de
données
3.1 ACT
ACT (Aster Command Tool) est un outil de commande linux destiné à manipuler la base
de données Aster. Nous pouvons le télécharger à partir du site ‘developer.teradata.com’.
Pour nous connecter à la base de données, nous pouvons entrer dans le Shell la
commande suivante : ‘act -d database -U user_name -w password’.
Figure 3.1.1 Connexion de base de données avec ACT
Une fois la connexion établie, nous pouvons utiliser la commande ‘\d’ pour regarder les
tables existantes dans le schéma actuel.
PRDW: ASTER DEVELOPER GUIDE
13
Figure 3.1.2 List des tables
Pour accéder à un schéma en particulier, nous utilisons la commande ‘SET SESSION
search_path TO schema_name ’.
Figure 3.1.3 Changement de schéma
PRDW: ASTER DEVELOPER GUIDE
14
Vous pouvez maintenant directement effectuer vos requêtes SQL.
Pour quitter la base de donnée, utilisez la commande ‘\q’ .
Pour éxecuter directement un scirpt SQL, il suffit de lancer la commande Shell suivante :
“act -d datables -U user_name -w password -f filepath “
3.2 ncluster_loader
ncluster_loader est un outil qui permet de charger les données dans votre environnement
à partir d’un fichier CSV.
Cet outil est fourni avec ACT.
La grammaire d’utilisation est la suivante :
ncluster_loader -d database -U user_name -w user_name -D delimiter, —skip-rows
number table_name file_path
-D: Spécifie le séparateur entre les valeurs. Pour un fichier CSV, c’est la comma par
défaut.
—skip-rows: pour sauter n lignes à la lecture. “number” représente le nombre de ligne à
sauter. Si le fichier comporte un ‘header’ alors on renseigne --skip-rows 1
table_name: la table à insérer
file_path: le chemin absolu vers le fichier à charger
4 Teradata Studio
Afin de manipuler la base de données Aster, nous pouvons aussi utiliser un outil
disposant d’une interface graphique: Teradata Studio
PRDW: ASTER DEVELOPER GUIDE
15
figure 4.1 Teradata Studio
D’abord, nous cliquons sur le bouton suivant pour établir une nouvelle connexion.
Figure Connexion de base de données.
Figure 4.2 Connexion de base de données
PRDW: ASTER DEVELOPER GUIDE
16
Dans le menu, nous entrons l’ adresse IP du serveur, le nom d’utilisateur et le mot de
passe ainsi que le nom de la DB.
Finalement, la base de données est bien connecté. On peut effectuer les requêtes
souhaitées directement dans l’espace dédié.
Figure 2.3 Base de données connectée
PRDW: ASTER DEVELOPER GUIDE
17

Download Report