Automation Programming PyAutoGUI Python

簡単!Pythonの画像認識で操作を自動化

投稿日:

こんにちは、エドワイズです。

今回はPythonを使った簡単な画像認識で操作を自動化する方法を紹介します。

画像認識というと一見難しそうに聞こえますが『PyAutoGUI』という便利なライブラリを使用することで簡単に行うことができます。

 


手順

1.Pythonのpipコマンドで『PyAutoGUI』をインストール

 

2.認識させたい画像を用意

 

3.Pythonファイルに以下のコードを記述

 

これだけで画面上に用意した画像が表示されていればその画像をクリックすることができます。

 

実験

試しに昔流行った『クッキークリッカー』のアイテム購入を自動化してみました。

 

カーソルとグランマを交互に買い続けるプログラム

これは画像認識に失敗するまで無限ループするヤバいプログラムですが、PyAutoGUIの機能でマウスカーソルを画面の左上端に持っていくと実行を中断することができます。

 

実行映像

 

このように自動で特定の画像をクリックさせることができます。

ただし、クリックしたいものがアニメーション等で動いてるとうまく認識されず失敗してします。

その場合は、認識するまでリトライしたり、もはや画像認識は使わず直接指定した座標をクリックしたりする方法が良いと思います。

 

以上、画像認識による自動化の紹介でした。

-Automation, Programming, PyAutoGUI, Python
-, ,

執筆者:


comment

メールアドレスが公開されることはありません。 * が付いている欄は必須項目です

関連記事

電車遅延を自動通知させてみた

皆さん、毎朝電車遅延の情報はどうやって仕入れていますか? 僕は出掛ける準備をしながらAmazon Echoに尋ねていたのですが、声を出すのも面倒になったのでスマホの目覚ましアラームを止めた時に確認でき …

PythonでWebページの入力を自動化

こんにちは、エドワイズです。 今回はPythonを使ってWebページの入力を自動化する方法を紹介します。 ここではテスト用ページ(http://example.selenium.jp/reserveA …

Unityを学ぶためのサイトまとめ

こんにちは、エドワイズです。 今学校でUnityを教える立場にいますが、実務ではあまり使っていなかったので復習しつつ新しいスキルを身に着けていかねば。 ということで、良さそうなサイトを種類別にまとめま …

2日間で初めてのWebサービスを作ってみた

こんにちは、エドワイズです。 土日に開催された社内のハッカソンイベントで初めてのWebサービスを作ってみました。   忙しいビジネスマン向けに、食事をより効率良く、かつ感動体験をプラスするサ …

こんにちは、エドワイズです。
セガでゲームプログラマーをしていました。
今は、とある専門学校でゲームクリエイター科講師をしています。
主にゲームに書いていくつもりです。




関連記事

2日間で初めてのWebサービスを作ってみた

こんにちは、エドワイズです。 土日に開催された社内のハッカソンイベントで初めてのWebサービスを作ってみました。   忙しいビジネスマン向けに、食事をより効率良く、かつ感動体験をプラスするサ …

PythonでWebページの入力を自動化

こんにちは、エドワイズです。 今回はPythonを使ってWebページの入力を自動化する方法を紹介します。 ここではテスト用ページ(http://example.selenium.jp/reserveA …

電車遅延を自動通知させてみた

皆さん、毎朝電車遅延の情報はどうやって仕入れていますか? 僕は出掛ける準備をしながらAmazon Echoに尋ねていたのですが、声を出すのも面倒になったのでスマホの目覚ましアラームを止めた時に確認でき …

Unityを学ぶためのサイトまとめ

こんにちは、エドワイズです。 今学校でUnityを教える立場にいますが、実務ではあまり使っていなかったので復習しつつ新しいスキルを身に着けていかねば。 ということで、良さそうなサイトを種類別にまとめま …