2019-05-18

【VBA】querySelectorAllで取得した要素に対してForEachを使うと謎のエラーが発生する

VBA Excel

この記事でできるようになること

querySelectorAllで取得したコレクションに対してループ処理

ExcelVBAでWebページから情報を自動収集（スクレイピング）する時に超便利なメソッド querySelectorとquerySelectorAll 。

CSSセレクタがそのまま使えて超便利だが、何故かquerySelectorAllに対してFor Eachを使ってループ処理を行うと処理を終えるタイミングで謎のエラーが発生して切断される事象に頭を悩ませていました。

f:id:maru0014:20190517222059p:plain — このWebページに問題があるため、Internet Explorerのタブを開き直しました

会社の人に相談しながらどうにか回避策を見つけたので共有したい。

2019-05-18

【ExcelVBAでスクレイピング入門】Googleで検索順位を自動取得してみる② ～キーワードを検索して結果をシートに書き込む～

Excel VBA

第一回ではGoogleを表示するところまででしたが、今回はスクレイピングの肝となるデータを抜き出す部分です。

もうちょっと間空けて投稿しようかと思ったけど勢いで公開。ここらへんまでやらないと面白くないもんね。

code-life.hatenablog.com

前回までのおさらい
キーワードを検索する
- プログラムにキーワード検索する部分を追加する
検索結果から情報を取得する
- Googleの検索結果から情報を取得するには
取得した情報をMsgBoxで表示するよう書き加える
要素を探す前にページの読み込みを待たないとエラーになる　
Excelのシートに連続で入力していく
- 処理の流れを確認
- 16-17行目 querySelectorAll
- 23-25行目 For～Next文
- 19-21行目シートの記入開始行番号
- 27-34行目シートへの記入
まとめ

前回までのおさらい

前回のプログラムの処理フローを再確認します。

IEを準備する
IEを表示する
Googleを開く
3秒まつ
IEを閉じる

これらの動きをVBAで書いたものが以下のプログラムです。

Public Declare PtrSafe Sub Sleep Lib "kernel32" (ByVal dwMilliseconds As Long)
Sub web_scraping()

    Dim oIE As InternetExplorer 'oIEという変数はInternet Explorerが入ると宣言
    Set oIE = New InternetExplorer 'oIEに新しいIEを起動して定義
    
    oIE.Visible = True 'IEを表示させる
    oIE.Navigate2 "https://www.google.co.jp/" 'URLにアクセス
    
    slepp 3000 '3秒待機
    
    oIE.Quit 'IEを閉じる
    
End Sub

これに「Googleでキーワードを検索する」「検索結果が表示されるのを待つ」「検索結果から情報を取得」「取得した情報をシートに書き込む」という処理を加えていきます。

2019-05-18

【ExcelVBAでスクレイピング入門】Googleで検索順位を自動取得してみる① ～IEを開く、待つ、閉じるまで～

Excel VBA

スクレイピングとは？

ウェブスクレイピング。ウェブサイトのHTMLから欲しい情報を指定して取得すること。

簡単に言うと手作業でウェブサイトからExcelにデータをコピペコピペコピペ・・・という地獄の作業を自動化してしまおうというものです。最近流行りの業務の自動化という考え方 RPA（Robotic Process Automation）にも通ずるというかRPAツール使わなくてもVBAでRPAできるってこと。

そもそもプログラム勉強するの嫌だけど仕事は自動化したいという人のために作られたのがRPAツールなので、プログラム勉強するモチベーションがある人は、是非とも仕事を自動化するプログラムを作ることに全力を注いでほしいです。（ただし、自分以外の仕事を自動化するという場合はメンテナンスが問題になるのでそこはご注意ください

さて、本連載ではmarumoの得意分野をさらに磨くべく、ExcelVBAでここまでできるんだぞと布教するべく、検索順位チェックツールのようなものを作っていきます。今回はデータ取得が主ですが、リンクをクリックするメソッドなどもあるのでWEBベースのシステムを使った業務であれば応用次第で割と簡単に業務自動化を実現できるかもしれませんね。

API使えや・・・という意見もあるかと思いますが、やっぱりブラウザ経由のスクレイピングは汎用性が高くて便利。あとJSONのパースとかしなくていい。APIキー取得しなくていい。APIで提供されていない項目も取得できる。などの理由もあり今回はわかりやすい題材として検索順位を取得対象にしています。

APIでのデータ取得もそのうちやりたいな。楽天市場の検索APIとかね。

スクレイピングとは？
- この連載記事でできるようになること
- もしかしたら、おまけでやるかもしれないやーつ
設計～Google検索するまで
- やりたいことと処理の流れをイメージ
  - 処理フロー概要
- VBAで書いていくよ
  - VBE（VBAを書くやつ）を起動してModule1を作成
  - ブックをxlsm形式で保存
  - 前準備（参照設定）
  - Internet ExplorerでGoogleを開く
  - Internet Explorerを閉じる
  - 「待つ」処理を追加する
    - sleepメソッドで3秒待つ
    - Waitメソッドで3秒待つ
- まとめ

この連載記事でできるようになること

指定したキーワードでGoogleの検索順位を一括取得
次のページへのリンクをクリックしてページ移動しながら取得
スクレイピングに便利なCSSセレクタを知る
Seleniumの使いどころを知る

もしかしたら、おまけでやるかもしれないやーつ

指定文字列を含むリンクタグを取得するFunction
JavaScriptを実行させる方法
要素取得のリトライ処理（Seleniumみたいな使い勝手にしたい）

設計～Google検索するまで

第一回目では「Googleで検索する」ところまでをやっていきたいと思います。

一気に記事書くと説明が雑になりそう、後半力尽きて雑になりそう、飽きてきて雑になりそうなどの理由です。楽しくなってくるのは第二回目でシートに情報を書き込んで行くところからかなーと思います。

2019-03-11

ExcelVBAからパスワード付き圧縮コマンド(7-zip/Lhaplus)を実行する

VBA bat

ExcelVBAからパスワード付き圧縮コマンド(7-zip/Lhaplus)を実行する

この記事でできるようになること

コマンドでファイルをパスワード付きZIP圧縮
ExcelVBAからcmd.exeにコマンドを渡す

毎日の作業を楽にするべくExcelVBAで作ったメール一括送信ツール。しかし、仕事で実用化するには添付ファイルにまつわる悪しき習慣"パスワード付きZIP"が立ちはだかる。

添付ファイルは何故パスワード付きzip？

ファイル送信直後にパスワードを記載したメールをもう一通送る。メールを不正に傍受する攻撃者がいたとしたら2通目も傍受しているはずであり、結局はパスワードを付けて暗号化していたとしてもパスワードを手に入れられたら無防備と変わらない。

しかし、調べてみると全く意味がないわけではないらしい。

一つ目はヒューマンエラー対策。メーラーのTo入力時に入力候補が出るような時、うっかり見た目が似ているアドレスに誤送信してしまうパターン。この場合にzipファイルを暗号化していれば受信者が悪意を持って解読しない限り、体裁上は暗号化していたので一安心となるわけである。

二つ目はPマークやISMS認証のためというもの。社外とデータをやり取りする場合は暗号化を施していないと審査に影響があるらしい。

以上のように全く意味がないわけではないが、送る方も受け取る方も手間のかかる作業であることに変わりはない。

参考：https://www.lrm.jp/mailzipper/attachment-encryption/

せめて送信者側の負担を軽減しましょうということでExcelVBAからパスワード付きZIP圧縮を実行する方法を紹介する。

2019-02-25

【落書き】勢いでExcelVBA使って神龍Webテストを再現してみた

Excel VBA

qiita.com

神龍何回名乗るんだよｗｗと思いながらも面白そうだったのでチャレンジ。

VBAのClassモジュールは初めて使ったけど作り込んだら便利そう。

mainモジュール

Sub callDragon()

    Dim 我が名は神龍 As New ieDoragon
        我が名は神龍.URLにアクセスしてやろう "https://kids.yahoo.co.jp/"
        我が名は神龍.フィールドに入力してやろう "調べたいことばをいれてみよう！", "ねこ"
        我が名は神龍.クリックしてやろう "さがす", "button"
        我が名は神龍.テキストがあるか確認してやろう "ネコ - Wikipedia"
        我が名は神龍.入力フィールドに文字を追加してやろう "調べたいことばを入れてみよう！", "　買い方"
        我が名は神龍.クリックしてやろう "さがす", "button"
        我が名は神龍.テキストがあるか確認してやろう "さがしているのは"
        我が名は神龍.クリックしてやろう "猫の飼い方", "a"
        我が名は神龍.入力フィールドに文字が入っているか確認してやろう "調べたいことばを入れてみよう！", "猫の飼い方"
        我が名は神龍.フィールドに入力してやろう "調べたいことばを入れてみよう！", "不倫"
        我が名は神龍.クリックしてやろう "さがす", "button"
        我が名は神龍.テキストがあるか確認してやろう "このページは表示できません。"
        我が名は神龍.スクリーンショットを撮ってやろう ThisWorkbook.Path
        
End Sub