Power automate desktopの使い方【OCRで画像を読み込んでExcelに転記】サンプル作ってみた

RPA Power automate desktopの使い方【OCRで画像を読み込んでExcelに連携】サンプル作ってみた

この記事はこんな人に読んでほしい!

  1. Power automate desktopの使い方が知りたい人
  2. Power automate desktopでOCRを使ってみたい人
  3. Power automate desktopでOCRとExcelを連携させたい人
  4. Power automate desktopのマニュアルを見たい人
  5. Power automate desktopのサンプルが欲しい人
ラテ
Windows操作を自動実行できるアプリPower automate desktopの使い方がわかるように
OCRで画像を読み込んでExcelに連携するサンプルを作成しました。
フロー作成の参考になると幸いです。

 

 

 

 

この記事の使い方について Power automate desktop はインストール済の状態を想定しています。
インストール方法についてはこちらの記事を参照してください。

インストール手順はこちらの記事から

Windows操作を自動化できる無料ツール PowerAutomateDesktop をインストールする手順についてご案内します。 無料で使えるようになったWindows操作の自動化ツール(power automate deskt[…]

PowerAutomateDesktop【Windows操作を自動実行できる無料アプリ】のインストール手順

 

※この記事内の画像はクリック または タップすることで大きくすることができます。見にくい時は拡大して参照ください。

 

OCRとは

活字、手書きが含まれる画像から、パソコンが扱える文字列に変換するソフトウェアのことです。
OCRを使うと画像からテキスト(文字列)を抜き出すことが出来ます。

 


精度の高いGoogleエンジン使用OCR

今なら50%OFF!/

 

 

 

 

 

 

 

 

OCR取り込みサンプル(請求書の画像を読み込んで請求金額をエクセルに転記する)

今回は請求書の画像を読み込むことを想定して、以下の”請求書”のJPEGを用意しました!

 

子ラテ
よく見る請求書のフォーマットだね。

 

この請求書の画像から合計金額を抜き出してExcelに転記するまでを自動化したいと思います。

 

 

 

 

シナリオ作成手順 Power Automate Desktop(使い方)

シナリオ作成手順

ということで、今回作成したい自動化の手順は以下の通りとなります。

  1. 請求書の画像からOCRで紙面全体のテキストを抜き出す
  2. テキストから合計金額だけを抜き出す
  3. 合計金額をエクセルに転記
  4. エクセルを保存して終了

 

 

 

それでは作成していきたいと思います。
+新しいフロー をクリック!

 

 

 

今回のフロー名は、”請求書をOCRで読み込みエクセルに転記”という名前をつけました。

 

 

 

 

手順1.請求書の画像からOCRで紙面全体のテキストを抜き出す フロー作成

請求書の画像からOCRで紙面全体のテキストを抜き出す手順になります。

OCRで請求書画像を読み込みたいのでアクション→Tesseract OCR エンジンを作成

Tesseract言語:日本語を選びたいのですが日本語が選べません!
調べてみるとTesseractOCRをインストールしないといけませんでした。

 

Tesseract OCRのインストール

Tesseract OCRをインストールしていきます。

下記URLからインストールexeをダウンロードしました。
GitHub – Tesseract at UB Mannheim

 

ダウンロードしたexeを実行
Next>

 

I Agree>

 

Next>

 

 

Additional language dataに✔を入れて Next>
✔を入れないと日本語の言語データがインストールされません!

 

Next>

 

これでTesseract OCR のインストールは終了です。

 

 

 

 

 

フローの続きを作成します。

Tesseract OCR エンジンを作成 を追加
他の言語を使う:ON
言語の省略形:jpn
言語データパス:Tesseract OCR インストールフォルダ/tessdata
画像の幅と高さの乗数:それぞれ 1
を入力して保存

 

 

 

OCR を使ってテキストを抽出 を追加
OCRソース:ディスク上の画像
画像ファイルパス:読み込みたい請求書No1.jpgのパスを指定
検索モード:指定されたすべてのソース
を入力して保存

 

早速”実行”して画像からテキストを読み込めたか確認します。
実行後にOcrTextの値を確認してみました。

ラテ
うーん。精度はイマイチですが何とか読み込めています。

 

 

 

 

 

 

 

 

手順2.テキストから合計金額だけを抜き出す フロー作成

OcrText の中から【】で囲まれている合計金額を抜き出すフローを作りました。

合計金額は【】で囲まれてるるので、OcrTextの中から【】の位置を取得してその間の値(\110,000)を取得します。
作成した3行のフローはこちらになります。

 

アクション→テキストから以下の3行を追加しました。
テキストの解析 ”【” の場所を”StartPositon”として取得
テキストの解析 ”】” の場所を”EndPositon”として取得
サブテキストの取得 でOcrテキストの中からStartPositon~EndPositonの間を”Subtext”として取得しています。

 

 

 

手順3.合計金額をエクセルに転記 フロー作成

合計金額が”Subtext”として取得出来ましたので、
エクセルに転記していきます。

Excelの起動 を追加して保存

 

 

Excelワークシートに書き込み を2行追加
・”A1″セルに”合計金額”という文字列を設定。
・”B1″セルに”Subtext”の値を設定しています。

 

 

 

 

手順4.エクセルを保存して終了

 

Excelを閉じる を追加
Excelを閉じる前:名前を付けてドキュメントを保存
ドキュメント形式:.xlsx
ドキュメントパス:任意の保存先のパスとファイル名
を入力して保存

 

 

完成したシナリオが以下になります。9アクションのシナリオとなりました。

 

シナリオの作成が完成したので”実行”します

シナリオが出来たので実行してみましょう!実行ボタンクリック

 





→4秒ほどで完了!

 

 

エクセルを開いてみます。

 

ラテ
やったー!できました。

 

合計金額の転記が自動化できてます。!感動!
無料ソフトだけで、専門知識もなくても割と簡単に作ることが出来ました。

ただ、OCRの読み込み精度が気になるので運用する前に検証の必要があるとおもいました。

ラテ
OCRの読込精度がちょっと気になりましたが、なんとかテキストを抜き出すことに成功しました。

 

 

 

 

 

 

最後に

サンプルはいかがでしたか?
OCRで画像からテキストを抜き出してExcelに転記することがプログラミングなしのノーコードで作ることができました!
ほかにも工夫次第ではいろいろなオペレーションを自動実行できそうです。

ラテ
お疲れさまでした。無駄な作業は自動化して自由な時間を楽しみましょう!

 

 

 

 

 

 

 

 

 


精度の高いGoogleエンジン使用OCR

 今なら50%OFF!/

 

あとがき

OCRの読込精度がきになっていたので以下の2パターンを試してみました。
  1. GoogleDriveに画像をアップロードしてOCRをかけてみる
  2. ONLINE OCR に請求書をPDFにしてOCRをかけてみる

 

GoogleDriveに画像をアップロードしてOCRをかけてみる

ラテ
さすがGoogleなかなか精度高いとおもいました。

 

 

次にONLINE OCR に請求書をPDFにしてOCRをかけてみる

ラテ
すごいです!ビックリしました精度高すぎます。ほぼPDFと同じレイアウトのテキストが出来ているじゃありませんか。
OCRはPDFでONLINE OCRにかけるのが一番精度高そうなので、ONLINE OCRを使ったフローを別記事で記載するかもしれません。
最初っから ONLINE OCRを使ったフローにすればよかった><
最後まで読んでいただきありがとうございました。 ラテ@ライフテックブログ でした。

 

その他の関連記事もありますのであわせてどうぞ
Excleとブラウザサンプル

この記事はこんな人に読んでほしい! Power automate desktopの使い方が知りたい人 Power automate desktopでエクセルやブラウザの操作を自動実行したい人 Power aut[…]

powerautomatedesktop使い方
PADとは

この記事はこんな人に読んでほしい! Window操作を自動実行してみたい人 Window操作を自動実行するツールに興味ある人 RPAに興味がある人 Power Automate Desktopについて知り[…]

 

参考にしたサイト

Tesseract OCRについてはこちらの記事を参考にさせて頂きました。
Qiita

Power Automate Desktop とは ローコード開発プラットフォームの Power Platform…

テキストから文字を抜き出す方法は”クラベル”さんの記事を参考にさせて頂きました。
かなり詳しく使い方を解説してくれているので参考になります。

クラベル

初めてRPAツールを触る方や基本的なプログラミング学習向けに、Power Automate Desktopの文字列変数つ…