Projets Matlab & Microcontrôleur #1: Commande graphique d’une matrice des LEDs avec Maltab et Arduino

Idée du projet :

Transfert des commandes issues d’une image (ou caméra) par une interface série entre Matlab et le µC vers une matrice des LEDs de résolution 8×8

Objectifs du projet :

Savoir comment établir la liaison série entre Matlab & Arduino
Savoir comment lire la caméra de son ordinateur avec Matlab
Savoir comment transférer les données avec Matlab et les récupérées avec Arduino
Savoir commander une matrice des LEDs avec Arduino
Et autres astuces.

Pourquoi c’est important ?

Vision par ordinateur & Arduino
Commande visuel à distance avec matlab & Arduino
Contrôle à distance d’un actionneur (Ex. Opération chirurgicale en utilisant un robot, commande d’un drone avec les mouvements des ces mains, etc.)
Détection ou reconnaissance d’objet
Transmission des commandes par voie visuelle ou texte (Ex. personnes ayant des difficultés de communier par la voie audible, etc.)
Système de sécurité et de surveillance
Etc.

Comment ça marche ?

Emétteur : Matlab en utilisant l’interface série. La trame est constituée de données à envoyées (coordonnées (x,y) ou (i,j)) sur deux octets de la données, un caractère de début « # » et un caractère de fin de transmission « * ».

Récepteur : La carte Arduino en utilisant l’interface série. L’interface doit être configurée de la même façon de celle du matlab (vitesse, nombre de bits, etc.).

Partie 1 : Transmission d’un pixel du matlab vers la matrice à LED

Transmission d’un seul pixel sélectionner au même temps par la souris vers l’Arduino puis à la matrice des LED via la liaison série. Durant la phase de réception, l’Arduino recherche en boucle le caractère de début « # » et du fin « * », il récupère les coordonnées (x, y) transmises dés la détection du début de transmission «# », puis les retransmises au pixel correspond dans la matrice à LED 8×8. Le début du cycle suivant est assuré par l’arrivé du caractère du fin de transmission « * ».

Note : L’envoie des données est réalisée grâce à la touche droite de la souris dans l’interface matlab. Assurez bien d’effectuer au minimum une sélection avant d’envoyer la donnée à l’afficher à LED.

L’apparition du pixel sélectionné par la souris est quasiment instantanée dans la matrice des LED (voir la vidéo ci-dessous). La vitesse de transmission peut être ajustée en ajustant la vitesse des ports COM d’Arduino et matlab.

Les étapes clés pour un fonctionnement normal du projet :

1. Connectez correctement la carte Arduino avec l’afficheur en respectant le câblage suivant :

Pin 8 connecté au DataIn
Pin 9 connecté au CLK
Pin 10 connecté au LOAD

2. Programmez et connectez la carte Arduino avec l’ordinateur
3. Trouvez le numéro du port COM occupé par la carte Arduino (le numéro par défaut est 4 « COM4 »
4. Ouvrir le script Open.m et mis à jour le nom du port
5. Enregistrer les modifications
6. Exécuter le script principal Project_x.m (voir le programme ci-dessous). Attention ! Assurez bien que le port COM n’est pas utiliser par Arduino (fermer la fenêtre de l’interface série du logiciel Arduino).

A. Transmission d’un pixel à partir d’une image dans le disque

Utilisation d’une image prédéfinie par matlab ou une image externe définie par l’utilisation. La lecture de l’image est effectue grâce à la fonction « imread(nom de l’image) ».

Exemple d’image 1 : A gauche l’image originale, à droite l’image binaire indiquant la position du pixel transmis

Exemple d’image 2 :

B. Transmission d’un pixel à partir de la caméra de son ordinateur

Lecture directe de l’image à partir du camera de son ordinateur !

Code Matlab: Le fichier principal (Part_1.m)

% clear all;
close all;
clc;


%% ****** Transmission d'un seul caractère ****** %%
%% ****** Transmission d'un seul caractère ****** %%


%% Open serial port (if exit!)

SerialCOM = Open(); % Commentez la ligne une foie que port est ouvert

%% Get image from disk      % (A)

imm=imread('cameraman.tif');
% imm=imread('im_2.jpg');

%% Get image from camera    % (B)

% vid=videoinput('winvideo',1);
% set(vid,'ReturnedColorSpace','grayscale');
% imm=getsnapshot(vid);
% imm=imresize(imm,[512 512]);

%% Normalize image

num_disp=8;         % Résolution de la matrice
num_im=32;         % La résolution de l'image d'entrée (8 pour plus de précision)
imm=imresize(imm,[num_im num_im]);
im_0=uint8(zeros(num_disp,num_disp));


%% Read & Write Pixels

while(1)

    %% Get values from screen

    % Display original image
    figure(1);
    subplot(121); imshow(imm); axis square; axis on;
    [xi,yi,P]=impixel;
    xi=round(num_disp*xi(1:end-1)/num_im);
    yi=round(num_disp*yi(1:end-1)/num_im);

    for i=1:length(yi)
        if yi(i)==0
            yi(i)=1;
        end;
        if xi(i)==0
            xi(i)=1;
        end;
        im_0(yi(i),xi(i))=255;
    end;


    % Display LED image
    subplot(122); imshow(uint8(im_0)); axis on;

    % Update
    im_0=0*im_0;

    % Affichage des coordonnées
    xi
    yi

    %% Send data to ARDUINO

    Startt='#';     % Caractère de début de Tx
    Endd='*';       % Caractère de fin de Tx
    WriteData1(xi,yi,Startt,Endd, SerialCOM); % Transmision de données

end


%% Port Delete (Previous port if exist)

Delete(SerialCOM);


Code matlab: La fonction d'ouverture du port série (Open.m)

function SerialCOM = Open()

% Paramètres de la liaison série (COM)

BauValue=9600;          % Vitesse
NumBits=8;              % Nomble de bits

% Création d'un objet Serial Port
SerialCOM = serial('COM4','BaudRate',BauValue,'DataBits', NumBits, 'Parity', 'none');
SerialCOM.Terminator = 'LF';
set(SerialCOM, 'Timeout',2);

% Connexion du port
fopen(SerialCOM);

end


Code matlab: La fonction de la fermeture du port (Delete.m)

function Delete(SerialCOM)

fclose(instrfind);
delete(SerialCOM);
clear all;
close all;
clc

end

Code matlab: La fonction d’ouverture du port série (Open.m)

function SerialCOM = Open()

% Paramètres de la liaison série (COM)

BauValue=9600;          % Vitesse
NumBits=8;              % Nomble de bits

% Création d'un objet Serial Port
SerialCOM = serial('COM4','BaudRate',BauValue,'DataBits', NumBits, 'Parity', 'none');
SerialCOM.Terminator = 'LF';
set(SerialCOM, 'Timeout',2);

% Connexion du port
fopen(SerialCOM);


end

Code matlab: La fonction de la fermeture du port (Delete.m)

function Delete(SerialCOM)

fclose(instrfind);
delete(SerialCOM);
clear all;
close all;
clc

end

Code matlab: Fonction de transmission de données (WriteData1.m)

function WriteData1(xi,yi,Separa,EndTrans, SerialCOM)

for i=1:length(xi)
    x_y=uint8([yi(i)-1, xi(i)-1]);
    x_y_c=int2str(x_y);
    fwrite(SerialCOM, Separa);pause(0.1);   
    fwrite(SerialCOM, x_y_c); pause(0.1);
    fwrite(SerialCOM, EndTrans); pause(0.1);
end

end

Code Ardiuno: Le fichier principal

//Libraire à importer ! 
#include "LedControl.h"

/*
 Configuration des pins (MAX72XX) 
 LedControl lc=LedControl(8,9,10,1);
 Pin 8  connecté au DataIn 
 Pin 9  connecté au CLK 
 Pin 10  connecté au LOAD 
*/

LedControl lc=LedControl(8,9,10,1);

/* Temporisation de mise en service de l'afficheur */
unsigned long delaytime=100;
byte x=0,y=0;
byte Data[8]={0,0,0,0,0,0,0,0};

byte inByte = 0;         // incoming serial byte


void setup() {
  
  /* ******************* MAX72XX ********************** */
  
  lc.shutdown(0,false);
  /* Set the brightness to a medium values */
  lc.setIntensity(0,8);
  /* and clear the display */
  lc.clearDisplay(0);
  
  
  /* ******************* UART ********************** */
  
  Serial.begin(9600);
}


void loop() 
{ 
  
  
  
  /* ****  Get data fom UART - Partie  1  **** */
  /*
  while (1) 
  {
      // Get and set data 
      y = Serial.parseInt();
      x = Serial.parseInt();
      
      if (Serial.read() =='#') break; 
      
  }
  lc.setLed(0,y,x,1);
  */
  
  
  
  /* ****  Get data fom UART - Partie  1 & 2  **** */
  
  if (Serial.read() =='#') 
  {
    while(1)
    {
      // Get and set data 
      y = Serial.parseInt();
      x = Serial.parseInt();
      lc.setLed(0,y,x,1);
      
      if (Serial.read() =='*') break;
    }
  }
  
  
  
  
  // Update 
  delay(200);
  lc.clearDisplay(0);
}



/******************* FUNCTIONS **********************/

void int2BitArray(unsigned char dataIn,unsigned char taille, byte *dataArray)
{
  int i=0;
  
  for(i=0;i<taille;i++)
    dataArray[taille-i-1]= (dataIn>>i)&0x01;	
}

void DataShiftArray(unsigned char NumShift,unsigned char taille,  byte *DataIn, byte *DataOutShift)
{
  int i=0;
  
  for(i=0;i<taille;i++)
    DataOutShift[i]= (DataIn[i]>>NumShift);	
}

Partie 2 : Transmission d’un vecteur de pixels vers la matrice à LED

Transmission d’un ensemble de pixels sélectionnés par la souris vers l’Arduino via l’interface série. La transmission s’effectuée pixel par pixel.

Exemple 1 : ballon de foot

Exemple 2 : objet quelconque

Note : l’utilisation de la souris en premier temps c’est pour une raison pédagogique, afin de comprendre le principe mais vous pouvez imaginer par exemple un algorithme de calcul automatique des coordonnées à envoyées à la matrice des LED. Idem pour la matrice des LED, c’est un exemple d’actionneur qu’on commande via l’interface matlab. Vous pouvez imager un moteur, vérin, etc. à la place des LED. Pour conclure, le domaine d’application du projet est plu vaste. On verra dans les projets à venir des notions du traitement d’image et d’algorithmique en unissant matlab et Arduino et évidement des actionneurs.

Code matlab: La fonction principale (Part_2.m)

% clear all;
close all;
clc;


%% ****** Transmission d'un vecteur ****** %%
%% ****** Transmission d'un vecteur ****** %%


%% Get image from disk

% imm=imread('cameraman.tif');
% imm=imread('im_2.jpg');
% imm=imread('cell.tif');
imm=imread('im_3.jpg');
% imm=imread('blobs.png');
% imm=rgb2gray(imread('football.jpg'));

%% Get image from camera

% vid=videoinput('winvideo',1);
% set(vid,'ReturnedColorSpace','grayscale');
% imm=getsnapshot(vid);
% imm=imresize(imm,[512 512]);

%% Normalize image

num_disp=8;
num_im=140;
imm=imresize(imm,[num_im num_im]);
im_0=uint8(zeros(num_disp,num_disp));


%% Read & Write Pixels

while(1)
    
    %% Get values from screen
    
    % Display original image
    figure(1);
    subplot(121); imshow(imm); axis square; axis on;
    [xi,yi,P]=impixel;
    xi=round(num_disp*xi(1:end-1)/num_im);
    yi=round(num_disp*yi(1:end-1)/num_im);
    
    for i=1:length(yi)
        if yi(i)==0
            yi(i)=1;
        end;
        if xi(i)==0
            xi(i)=1;
        end;
        im_0(yi(i),xi(i))=255;
    end;
    
    
    % Display novel image
    subplot(122); imshow(uint8(im_0)); axis on;
    
    % Update
    im_0=0*im_0;
    
    % Affichage des coordonnées
    xi
    yi
    
    %% Send data to ARDUINO
    
    Startt='#';     % Caractère de début de Tx
    Endd='*';       % Caractère de fin de Tx
    WriteData1(xi,yi,Startt,Endd, SerialCOM); % Transmision de données
    
end


%% Port Delete (Previous port if exist)

Delete(SerialCOM);
SerialCOM = Open();

Partie 3 : Transmission en continue d’une valeur aléatoire vers la matrice à LED

% clear all;
close all;
clc;


%% ****** Transmission d'une valeur aléatoire ****** %%
%% ****** Transmission d'une valeur aléatoire ****** %%


%% Open serial port (if exit!)

SerialCOM = Open(); % Commentez la ligne une foie que port est ouvert


%% Transmit data to Arduino

figure(1);

while(1)
    
    %% Get Random values
    
    xi=randi(8,1,1,'uint8');
    yi=randi(8,1,1,'uint8');
    
    % Setimage pixel 
    im_0(yi,xi)=255;
    
    % Diplay (xi,yi) for dislay 
    xi-1
    yi-1
    
    % Display novel image
    imagesc(uint8(im_0)); colormap(gray);
    
    % Update
    im_0=0*im_0;
    
    %% Send data to ARDUINO
    
    Startt='#';
    Endd='*';
    WriteData1(xi,yi,Startt,Endd, SerialCOM);
    pause(0.2);
    
end

%% Port Delete (Previous port if exist)

Delete(SerialCOM);