以下のような検索キー列がユニークであるテーブルからデータを取得したい(VLOOKUPみたいなイメージ)場合、処理回数が多いと WorksheetFanction.Vlookup
やFor文での線形探索では時間がかかり過ぎる。
そんなときに役立つのが連想配列(Dictionaryオブジェクト)。
配列のようにインデックス番号からデータを取り出すのではなくキーの完全一致で要素を取り出せるので、処理が理解しやすいかつ高速であることが最大の利点。
続きを読む
以下のような検索キー列がユニークであるテーブルからデータを取得したい(VLOOKUPみたいなイメージ)場合、処理回数が多いと WorksheetFanction.Vlookup
やFor文での線形探索では時間がかかり過ぎる。
そんなときに役立つのが連想配列(Dictionaryオブジェクト)。
配列のようにインデックス番号からデータを取り出すのではなくキーの完全一致で要素を取り出せるので、処理が理解しやすいかつ高速であることが最大の利点。
続きを読む
Slackのログを分析するときは管理画面から一括ダウンロードするのが早い。しかし、出てくるデータはチャンネルごとにフォルダがバラバラかつ日付ごとにバラバラのJSONファイルとして出てくる。
CSVならあまり頭を使わなくてもそのまま開いたり、日付ごとのファイルでもbatで統合するなりすればいいがJSONファイルをExcelで扱うにはPowerQueryが最適。VBA-JSONを使う手もあるが、初心者向けではない。
Slackの管理画面https://<ワークスペース名>.slack.com/admin/settings
にアクセスし、画面右上の「データのインポート/エクスポート」をクリック。
続きを読む
第二回では1キーワードを検索してExcelシートにキーワード、検索順位、ページタイトルを入力するところまでできました。
今回やっていくのは以下の内容。ここまでできれば検索結果のスクレイピングとしては十分な機能かな。
この記事でできるようになること
ExcelVBAでWebページから情報を自動収集(スクレイピング)する時に超便利なメソッド querySelector
とquerySelectorAll
。
CSSセレクタがそのまま使えて超便利だが、何故かquerySelectorAllに対してFor Eachを使ってループ処理を行うと処理を終えるタイミングで謎のエラーが発生して切断される事象に頭を悩ませていました。
会社の人に相談しながらどうにか回避策を見つけたので共有したい。
続きを読む第一回ではGoogleを表示するところまででしたが、今回はスクレイピングの肝となるデータを抜き出す部分です。
もうちょっと間空けて投稿しようかと思ったけど勢いで公開。ここらへんまでやらないと面白くないもんね。
前回のプログラムの処理フローを再確認します。
これらの動きをVBAで書いたものが以下のプログラムです。
Public Declare PtrSafe Sub Sleep Lib "kernel32" (ByVal dwMilliseconds As Long) Sub web_scraping() Dim oIE As InternetExplorer 'oIEという変数はInternet Explorerが入ると宣言 Set oIE = New InternetExplorer 'oIEに新しいIEを起動して定義 oIE.Visible = True 'IEを表示させる oIE.Navigate2 "https://www.google.co.jp/" 'URLにアクセス slepp 3000 '3秒待機 oIE.Quit 'IEを閉じる End Sub
これに「Googleでキーワードを検索する」「検索結果が表示されるのを待つ」「検索結果から情報を取得」「取得した情報をシートに書き込む」という処理を加えていきます。
続きを読む