2019-05-18

【ExcelVBAでスクレイピング入門】Googleで検索順位を自動取得してみる① ～IEを開く、待つ、閉じるまで～

Excel VBA

スクレイピングとは？

ウェブスクレイピング。ウェブサイトのHTMLから欲しい情報を指定して取得すること。

簡単に言うと手作業でウェブサイトからExcelにデータをコピペコピペコピペ・・・という地獄の作業を自動化してしまおうというものです。最近流行りの業務の自動化という考え方 RPA（Robotic Process Automation）にも通ずるというかRPAツール使わなくてもVBAでRPAできるってこと。

そもそもプログラム勉強するの嫌だけど仕事は自動化したいという人のために作られたのがRPAツールなので、プログラム勉強するモチベーションがある人は、是非とも仕事を自動化するプログラムを作ることに全力を注いでほしいです。（ただし、自分以外の仕事を自動化するという場合はメンテナンスが問題になるのでそこはご注意ください

さて、本連載ではmarumoの得意分野をさらに磨くべく、ExcelVBAでここまでできるんだぞと布教するべく、検索順位チェックツールのようなものを作っていきます。今回はデータ取得が主ですが、リンクをクリックするメソッドなどもあるのでWEBベースのシステムを使った業務であれば応用次第で割と簡単に業務自動化を実現できるかもしれませんね。

API使えや・・・という意見もあるかと思いますが、やっぱりブラウザ経由のスクレイピングは汎用性が高くて便利。あとJSONのパースとかしなくていい。APIキー取得しなくていい。APIで提供されていない項目も取得できる。などの理由もあり今回はわかりやすい題材として検索順位を取得対象にしています。

APIでのデータ取得もそのうちやりたいな。楽天市場の検索APIとかね。

スクレイピングとは？
- この連載記事でできるようになること
- もしかしたら、おまけでやるかもしれないやーつ
設計～Google検索するまで
- やりたいことと処理の流れをイメージ
  - 処理フロー概要
- VBAで書いていくよ
  - VBE（VBAを書くやつ）を起動してModule1を作成
  - ブックをxlsm形式で保存
  - 前準備（参照設定）
  - Internet ExplorerでGoogleを開く
  - Internet Explorerを閉じる
  - 「待つ」処理を追加する
    - sleepメソッドで3秒待つ
    - Waitメソッドで3秒待つ
- まとめ

この連載記事でできるようになること

指定したキーワードでGoogleの検索順位を一括取得
次のページへのリンクをクリックしてページ移動しながら取得
スクレイピングに便利なCSSセレクタを知る
Seleniumの使いどころを知る

もしかしたら、おまけでやるかもしれないやーつ

指定文字列を含むリンクタグを取得するFunction
JavaScriptを実行させる方法
要素取得のリトライ処理（Seleniumみたいな使い勝手にしたい）

設計～Google検索するまで

第一回目では「Googleで検索する」ところまでをやっていきたいと思います。

一気に記事書くと説明が雑になりそう、後半力尽きて雑になりそう、飽きてきて雑になりそうなどの理由です。楽しくなってくるのは第二回目でシートに情報を書き込んで行くところからかなーと思います。

2019-03-11

ExcelVBAからパスワード付き圧縮コマンド(7-zip/Lhaplus)を実行する

VBA bat

ExcelVBAからパスワード付き圧縮コマンド(7-zip/Lhaplus)を実行する

この記事でできるようになること

コマンドでファイルをパスワード付きZIP圧縮
ExcelVBAからcmd.exeにコマンドを渡す

毎日の作業を楽にするべくExcelVBAで作ったメール一括送信ツール。しかし、仕事で実用化するには添付ファイルにまつわる悪しき習慣"パスワード付きZIP"が立ちはだかる。

添付ファイルは何故パスワード付きzip？

ファイル送信直後にパスワードを記載したメールをもう一通送る。メールを不正に傍受する攻撃者がいたとしたら2通目も傍受しているはずであり、結局はパスワードを付けて暗号化していたとしてもパスワードを手に入れられたら無防備と変わらない。

しかし、調べてみると全く意味がないわけではないらしい。

一つ目はヒューマンエラー対策。メーラーのTo入力時に入力候補が出るような時、うっかり見た目が似ているアドレスに誤送信してしまうパターン。この場合にzipファイルを暗号化していれば受信者が悪意を持って解読しない限り、体裁上は暗号化していたので一安心となるわけである。

二つ目はPマークやISMS認証のためというもの。社外とデータをやり取りする場合は暗号化を施していないと審査に影響があるらしい。

以上のように全く意味がないわけではないが、送る方も受け取る方も手間のかかる作業であることに変わりはない。

参考：https://www.lrm.jp/mailzipper/attachment-encryption/

せめて送信者側の負担を軽減しましょうということでExcelVBAからパスワード付きZIP圧縮を実行する方法を紹介する。

2019-02-25

【落書き】勢いでExcelVBA使って神龍Webテストを再現してみた

Excel VBA

qiita.com

神龍何回名乗るんだよｗｗと思いながらも面白そうだったのでチャレンジ。

VBAのClassモジュールは初めて使ったけど作り込んだら便利そう。

mainモジュール

Sub callDragon()

    Dim 我が名は神龍 As New ieDoragon
        我が名は神龍.URLにアクセスしてやろう "https://kids.yahoo.co.jp/"
        我が名は神龍.フィールドに入力してやろう "調べたいことばをいれてみよう！", "ねこ"
        我が名は神龍.クリックしてやろう "さがす", "button"
        我が名は神龍.テキストがあるか確認してやろう "ネコ - Wikipedia"
        我が名は神龍.入力フィールドに文字を追加してやろう "調べたいことばを入れてみよう！", "　買い方"
        我が名は神龍.クリックしてやろう "さがす", "button"
        我が名は神龍.テキストがあるか確認してやろう "さがしているのは"
        我が名は神龍.クリックしてやろう "猫の飼い方", "a"
        我が名は神龍.入力フィールドに文字が入っているか確認してやろう "調べたいことばを入れてみよう！", "猫の飼い方"
        我が名は神龍.フィールドに入力してやろう "調べたいことばを入れてみよう！", "不倫"
        我が名は神龍.クリックしてやろう "さがす", "button"
        我が名は神龍.テキストがあるか確認してやろう "このページは表示できません。"
        我が名は神龍.スクリーンショットを撮ってやろう ThisWorkbook.Path
        
End Sub