Comment faire bouger le curseur de la souris avec Matlab ?
Matlab est un outil puissant en traitement du signal et d’image. Dans le présent article on abordera une astuce qui permet de Controller la position du curseur de la souris avec Matlab. La technique est intéressante lorsque on chercher à automatiser des tâches qui nécessitent l’intervention physique d’une personne. Par exemple, valider une action de bourse en fonction d’une tendance, lancer une machine par l’intermédiaire d’une interface graphique, lancer la simulation d’un programme dans un timing définit (lancement du programme durant l’absence physique de la personne), éteindre sont ordinateur, rejoindre un groupe fb 🙂 etc.
Comment savoir les coordonnées d’un objet dans l’écran de son ordinateur ?
Savoir les coordonnées (i,j) exactes d’un bouton, d’un objet cliquable dans l’écran de son ordinateur est important. En effet, on peut positionner le curseur de la souris exactement dans les cordonnées (i,j) de l’écran avant d’effecteur par exemple un clic droit sur la souris. Ci-dessous la procédure de capture d’écran et la définition des coordonnées (i,j) :
- Effectuer un capture d’écran
- Ouvrir le programme Paint
- Ctrl+V (coller l’écran capturé)
- Enregistrer l’image dans le répertoire content le script Matlab sous le nom « im_in »
- Lire l’image avec Matlab
- Redimensionner l’image avec les coordonnées réelles de l’écran d’ordinateur
- Afficher l’image, et prendre manuellement les coordonnées (i,j)
- Ajouter (i,j) dans le programme
- Positionner la souris dans les coordonnées (i,j), le code ci-dessous montre l’implémentation des étapes
Exemple 1: Positionner le curseur de la souris
clear all; close all; clc;
% Lire l'image du bureau
im_in=imread('im_bureau.png');
[m, n, p]=size(im_in);
% Lire les coordonnées du bureau
import java.awt.Robot;
mouse = Robot;
screenSize = get(0, 'screensize');
n_1=screenSize(3);
m_1=screenSize(4);
% Mise à jour d'image du bureau
im_out=imresize(im_in,[m_1,n_1]);
% Affichage
imshow(im_out); axis on;
% Définir les coordonnées de l'objet (bouton)
% Position: [226 72]
% Positionner la souris automatiquement
mouse.mouseMove(224, 70);
Exemple 2: Déplacement horizontale du curseur
import java.awt.Robot;
mouse = Robot;
screenSize = get(0, 'screensize');
m_1=screenSize(3);
n_1=screenSize(4);
j=round(n_1/2);
for i=1: m_1
mouse.mouseMove(i,j);
pause(0.001);
end;Exemple 3: Déplacement aléatoire du curseur
import java.awt.Robot;
mouse = Robot;
screenSize = get(0, 'screensize');
m_1=screenSize(3);
n_1=screenSize(4);
while 1
i=randi(m_1);
j=randi(n_1);
mouse.mouseMove(i,j);
pause(0.001);
end;