表示 | nujonoa_blog

【簡単】VBAとIEでページ内の商品情報(div)を順番にすべて取り出す方法

nujonoa — Tue, 15 Sep 2020 23:00:00 +0000

【簡単】VBAとIEでページ内の商品情報(div)を順番にすべて取り出す方法
コードサンプル
重要な要素を簡単に説明
まとめ

【簡単】VBAとIEでページ内の商品情報(div)を順番にすべて取り出す方法

VBAを用いてIEを動かし、HTMLの情報を持ってくることに慣れてくると、

Div

の内容を書き出したいという要望が出てくると思います。

というのも、「DIV」とは、単体では特に意味を持たないタグですが、

で囲った部分をブロックレベル要素としてグループ化することができるタグになっています。

グループ化することで、
・水平方向の位置をまとめて指定したり、
・指定した範囲にスタイルシートを適用したりすることができる
ため、商品の情報などは、divタブに囲まれていることが多々あります。

例えば、楽天の商品ですが、下記のように、
div でグループ化されており、
class="dui-card searchresultitem"が紐づけられています。

ですので、商品情報を持ってきたい場合、
classnameが、"dui-card searchresultitem"のdivの内容順番に取り出すて行くことで、
表示されているページの、商品情報の一覧を得ることができます。

コードサンプル

コードのサンプルとして、
「ふるなび」のあるページの商品情報を持ってくるコードを書いてみました。

ふるなびの場合、"product-info"がクラスネームになっておりますので、

・If A.className = "product-info" Then　(product-infoだった場合、)
・For Each B In A.ALL　　(div内の要素を取りだし)
・YOUSO(i + 1, J) = B.INNERTEXT　(innertextを配列に格納)

最後にエクセル内に書き出すことで、商品情報一覧を書き出しています。

Sub IEoutput2()
  
 Application.ScreenUpdating = False
   
'IEの起動
Dim objIE As Object
   
Set objIE = GetObject("", "InternetExplorer.Application")
   
objIE.Visible = True
       
       
    objIE.Navigate "https://furunavi.jp/Product/Search?subcategoryid=164,165,166,167,168&categoryid=17&order=3&layout_toggle=2&pagesize=100"  ' このURLを任意に変更
       
    ' ページの表示完了待ち｡
    While objIE.ReadyState <> 4 Or objIE.Busy = True
        DoEvents
    Wend
   
    On Error Resume Next      '値がないとエラーが出るので、エラー回避用
  
    i = 1  '開始行を指定
    J = objIE.document.ALL.Length  '要素の数を知る
      
     
     Dim A As Object
     
        Application.Wait Now() + TimeValue("00:00:03")
     
       
    Dim YOUSO(10000, 0 To 14) As String
    J = 0
        
    For Each A In objIE.document.getElementsbytagname("*")
    
    If A.className = "product-info" Then

        For Each B In A.ALL
         YOUSO(i + 1, J) = B.INNERTEXT
         J = J + 1
         
        Next

        J = 0
        i = i + 1
           
       
    End If
                    

        
    Next
      
    Range(Cells(2, 2), Cells(i, 15)) = YOUSO
 
     Cells.WrapText = False
  
  
 Application.ScreenUpdating = True
 Application.StatusBar = False
  
   
End Sub

重要な要素を簡単に説明

特に難しいところはないと思いますが、特定のページを立ち上げた後、

まずは、

For Each A In objIE.document.getElementsbytagname("*")

で、HTMLのすべての要素を検索しに行っています。

その中で、classnameが特定の値であった場合、分岐させて、

For Each B In A.ALL

で次はdivの中身を検索しに行っています。
中身の情報は、
divごとに行を分け、
列方向に、情報を書き出していっています。

まとめ

このコードを覚えることで、
様々なサイトの商品情報などを簡単にまとめることができます。

ぜひ一度試してみてください。

その他、VBAでIEを動かすために必要な情報をまとめています！！

こちらを参照ください！

【まとめ】VBAでIEを動かすプログラムまとめ！

まだ、あまり確立されていないVBAでIEを動かすプログラムについて、素人ながらまとめてみました！【まとめ】VBAでIEを動かすプログラムまとめ！・VBA(マクロ)でIEを動かしたい！・社内プログラムでIEと連動させたい。・けれど、参考になる...

【簡単】VBAで既に開いているIEの任意のサイトを表示させる方法～VBA(マクロ)でIE操作

nujonoa — Wed, 10 Jun 2020 01:17:27 +0000

既に開いているIEの任意のサイトを開きたいと思います。

VBAでIEを操作する方法はネットを検索しても、
まだ確立されきっていないように感じますので、
素人が学びながら、そこまで深堀せずに簡単に説明していきたいと思います。

【簡単】VBAで既に開いているIEの任意のサイトを表示させる方法～VBA(マクロ)でIE操作
重要な要素を簡単に説明

【簡単】VBAで既に開いているIEの任意のサイトを表示させる方法～VBA(マクロ)でIE操作

VBAの入門編として、まずIEの画面を表示させる必要があります。
下記コードでは、既に開いているグーグルのページを開くための
コードを記載してみました。

ダブルクリックでコピーできますのでとりあえず張り付けて実行してみてください。

グーグルの検索ページが開いている状態で実行すると
当ブログが検索されると思います。

Sub IEdisplay2()

'IEの起動
Dim objIE As Object 'IEを格納する変数（オブジェクト型）
Dim sh As Object '起動中のShellWindow一式を格納する変数
Dim win As Object 'ShellWindowを格納する変数

Dim document_title As String 'ドキュメントタイトルの一時格納変数
'起動中のShellWindow一式を変数winsに格納
Set sh = CreateObject("Shell.Application")
'ShellWindowから1つずつ取得して処理
For Each win In sh.Windows
'ドキュメントタイトル取得失敗を無視（処理継続）
On Error Resume Next
document_title = ""
document_title = win.document.Title

Debug.Print document_title

On Error GoTo 0
'タイトルバーにGoogleが含まれるかチェック
If InStr(document_title, "Google") > 0 Then
'変数ieに取得したwinを格納
Set objIE = win
'ループを抜ける
Exit For
End If
Next


    Dim A As Object
        
    For Each A In objIE.document.getElementsByTagName("INPUT") '①FOR EACH でINPUTをすべて抜き出す。
       
        If A.Name = "q" Then A.Value = "nujonoa_blog" '②IF分で入力したい要素を見つけて　③値を代入
        
    Next
    For Each A In objIE.document.getElementsByTagName("INPUT") '①FOR EACH でINPUTをすべて抜き出す。
       
        If A.Name = "btnK" Then A.Click '②IF分で入力したい要素を見つけて　③Click
        
    Next
       
    On Error GoTo 0

End Sub

重要な要素を簡単に説明

重要な要素簡単に説明していこうと思います。

Set objIE = GetObject("", "InternetExplorer.Application")objIE.Visible = True

GetObject(pathname, class)は、

GetObject(pathname, class)は、
外部のアプリケーションにアクセスする関数になっています。
今回はIEに接続するので、classに”InternetExplorer.Application”を入力しています。
これを"Word.Application"に変えるとワードが開けるなどなど
microsoftのアプリケーションにアクセスするための最初の手段となっております。

Set ○○=▲▲　

Set ○○=▲▲　は○○を▲▲として扱うというものになり、
簡単な例を示すとでいうと、
Set C11=worksheets("sheet1").cells(1,1)とすると、
それ以降、C11は worksheets("sheet1").cells(1,1) の代わりになります。
ですので、
worksheets("sheet1").cells(1,1).value　は　C11.value　と非常にシンプルに置き換えることができます。
今回はこれ以降、objIE を GetObject("", "InternetExplorer.Application")として取り扱います。

objIE.Visible = True

GetObject関数でIEは開いているのですが、
バックグラウンドで開いているだけになっていますので、
.visible＝trueとすることで、表示をさせることができます。

objIE.Navigate "URL"

.Navigate "URL"を用いることで、任意のURLを表示させることができます。
現在はサンプルサイトを表示されるようにしておりますが、
任意のURLに置き換えていただけたらと思います。

While objIE.ReadyState <> 4 Or objIE.Busy = True DoEvents Wend

重たいサイトなどは読み込みをしないと次の動作に移れませんので、
読み込みを完了するのを待つためのコードです。

その他、VBAでIEを動かすために必要な情報をまとめています！！

こちらを参照ください！

【まとめ】VBAでIEを動かすプログラムまとめ！

【簡単】VBAでIEの全要素のデータを取得する方法(改良版)～VBA(マクロ)でIE操作

nujonoa — Thu, 21 May 2020 05:58:21 +0000

要素取得のマクロの改良版です。
速度が半端なく上がりました。

↓のサイトで、IEを表示することができました。
次は、HTMLの中身を確認し、任意の情報を取り出す方法を書いていこうと思います。

【簡単】VBAでIEの任意のサイトを表示させる方法～VBA(マクロ)でIE操作

VBAでIEを操作する方法はネットを検索しても、まだ確立されきっていないように感じますので、素人が学びながら、そこまで深堀せずに簡単に説明していきたいと思います。VBAでIEの任意のサイトを表示させる方法VBAの入門編として、まずIEの画面...

VBAでIEの全要素のデータを取得する方法
プログラムを簡単に説明
1. 実行結果を確認する。

VBAでIEの全要素のデータを取得する方法

マクロでIEを操作して行いたいことは、
①サイト内のデータを取得。
②検索ボックスなどテキストに代入。
③検索ボタンなどをプッシュする。
ことなどだと思います。この操作を行うためには、まずhtmlコードを読み解く必要があります。
下記コードは「グーグルの検索サイト」の
htmlコードを読み取るために、全ての要素をエクセルに書き出すコードです。
ダブルクリックでコピーできますのでとりあえずVBAに張り付けて実行してみてください。

Sub IEoutput2()
 
 Application.ScreenUpdating = False
  
'*****↓ここまでは以前と一緒***************************************************
'IEの起動
Dim objIE As Object
  
Set objIE = GetObject("", "InternetExplorer.Application")
  
objIE.Visible = True
      
      
    objIE.Navigate "https://www.google.com/?hl=ja"  ' このURLを任意に変更
      
    ' ページの表示完了待ち｡
    While objIE.ReadyState <> 4 Or objIE.Busy = True
        DoEvents
    Wend
'*****↑ここまでは以前と一緒***************************************************
  
'****今日はここから↓***************************************************
  
    On Error Resume Next      '値がないとエラーが出るので、エラー回避用
 
    i = 1  '開始行を指定
    J = objIE.document.all.Length  '要素の数を知る
     
    Cells(i, 1).Value = "uniqueID"
    Cells(i, 2).Value = "tagname"
    Cells(i, 3).Value = "Type"
    Cells(i, 4).Value = "NAME"
    Cells(i, 5).Value = "ID"
    Cells(i, 6).Value = "className"
    Cells(i, 7).Value = "TABINDEX"
    Cells(i, 8).Value = "Vakue"
    Cells(i, 9).Value = "checked"
    Cells(i, 10).Value = "親のtagname"
    Cells(i, 11).Value = "innertext"
    Cells(i, 12).Value = "outertext"
    Cells(i, 13).Value = "outherhtml"
    Cells(i, 14).Value = "innerhtml"
     
     Dim A As Object
      
    Dim YOUSO(1000, 1 To 15) As String
    
       
    For Each A In objIE.document.getElementsbytagname("*")
      
      
 
        YOUSO(i + 1, 1) = A.uniqueID                'uniqueID
        YOUSO(i + 1, 2) = A.TAGNAME                 '親のTAG
        YOUSO(i + 1, 3) = A.Type                    'タイプ ※selectボックスは”select-one”と取得
        YOUSO(i + 1, 4) = A.Name                    '名前
        YOUSO(i + 1, 5) = A.ID                      'ID
        YOUSO(i + 1, 6) = A.className               'クラス名
        YOUSO(i + 1, 7) = A.TabIndex                'フォーカス順序 (Tabでの移動順)
        YOUSO(i + 1, 8) = A.Value                   '値
        YOUSO(i + 1, 9) = A.Checked                 'チェック状態 (True = チェック有り､false = チェック無し)
                                                    'checkboxやradioボタンから取得します
        YOUSO(i + 1, 10) = A.parentElement.TAGNAME  '親のTAG
  
  
  
        If Len(A.innerHTML) > 50 Then
          
            YOUSO(i + 1, 11) = Left(A.innertext, 10) & "   ~~~   " & Right(A.innertext, 10)
            YOUSO(i + 1, 12) = Left(A.outertext, 10) & "   ~~~   " & Right(A.outerrext, 10)
            YOUSO(i + 1, 13) = Left(A.outerHTML, 10) & "   ~~~   " & Right(A.outerHTML, 10)
            YOUSO(i + 1, 14) = Left(A.innerHTML, 10) & "   ~~~   " & Right(A.innerHTML, 10)
  
        Else
          
            YOUSO(i + 1, 11) = A.innertext
            YOUSO(i + 1, 12) = A.outertext
            YOUSO(i + 1, 13) = A.outerHTML
            YOUSO(i + 1, 14) = A.innerHTML
                      
        End If
          
        Dim C(20) As String
 
        '階層を表示
        For Z = 1 To 20
            C(Z) = A.TAGNAME
            If A.TAGNAME = "HTML" Then Exit For
            Set A = A.parentElement
        Next
 
        For L = Z To 1 Step -1
            Cells(i + 1, 30 + Z - L) = C(L)
        Next
          
          
        i = i + 1
          
        'ステータスバーに進捗を表示
        Application.StatusBar = i & "/" & J
       
    Next
     
    Range(Cells(2, 1), Cells(i, 14)) = YOUSO 

     Cells.WrapText = False
 
 
 Application.ScreenUpdating = True
 Application.StatusBar = False
 
'表示を固定
Columns(1, 9).AutoFit
Cells(1, 2).EntireColumn.Interior.ColorIndex = 6
Cells(2, 3).Select
ActiveWindow.FreezePanes = True
objIE.document.getElementsByName("q")(0).Value = "テスト"
  
End Sub

プログラムを簡単に説明

少々長くなりましたが、やっていることは簡単で、サイトを表示させた後、
For Each A In objIE.document.getElementsByTagName("*")　～～～　Next
で全要素を検索し、要素内の属性やデータを抜き出して、エクセルに張り付けていっています。
.document.getElementsByTagName("○○") でTagNameが○○のものを取り出せるのですが、
＊を使うことで、ワイルドカードとして全種類検索することを可能としています。

実行結果を確認する。

実行すると、下記のようなデータがエクセルに書き出されたと思います。
抜き出す属性やデータとしては、

①uniqueID ②tagname ③Type ④NAME ⑤ID ⑥className ⑦TABINDEX ⑧Vakue ⑨checked ⑩親の⑪tagname ⑫innertext ⑬outertext ⑭outherhtml ⑮innerhtml

を取り出してみました！
基本的に、VBAでIEを操作するときには、
②のTagNameを使って要素を取り出し、④⑤⑧などのデータを用いて要素を特定。
その後「.Click」などを使ってIEを操作していきます。

ちなみにこのプログラムでは最後に、google検索欄に「テスト」と入力するために下記コードを入れておきました。
objIE.document.getElementsByName("q")(0).Value = "テスト”。
次からはこのように抜き出した要素を使って、IEを操作していきたいと思います！

P.S.
document.getElementByなどなどvbaではあまり見ない関数だなと思っていたら、
javasprictからきているようですね。まだまだ奥が深いようです…

[JavaScript] あらゆる要素を取得する

最近JavaScriptの勉強をしている@yasumohaです。始めたばかりなのでまだまだ基本ができていません。そんな訳で、今回はDOM要素を取得するメソッドをまとめてみたいと思います。IDを指定して取得するdocument.getElem

その他、VBAでIEを動かすために必要な情報をまとめています！！

こちらを参照ください！

【まとめ】VBAでIEを動かすプログラムまとめ！

【簡単】VBAでIEの全要素のデータを取得する方法～VBA(マクロ)でIE操作

nujonoa — Wed, 15 May 2019 15:49:44 +0000

↓改良版です。こちら速度向上させましたので、こちらをご覧ください。

【簡単】VBAでIEの全要素のデータを取得する方法(改良版)～VBA(マクロ)でIE操作

要素取得のマクロの改良版です。速度が半端なく上がりました。↓のサイトで、IEを表示することができました。次は、HTMLの中身を確認し、任意の情報を取り出す方法を書いていこうと思います。VBAでIEの全要素のデータを取得する方法マクロでIEを...

↓のサイトで、IEを表示することができました。
次は、HTMLの中身を確認し、任意の情報を取り出す方法を書いていこうと思います。

VBAでIEの全要素のデータを取得する方法
プログラムを簡単に説明
1. 実行結果を確認する。

VBAでIEの全要素のデータを取得する方法

Sub IEoutput2()
 
 Application.ScreenUpdating = False
  
'*****↓ここまでは以前と一緒***************************************************
'IEの起動
Dim objIE As Object
  
Set objIE = GetObject("", "InternetExplorer.Application")
  
objIE.Visible = True
      
      
    objIE.Navigate "https://www.google.com/?hl=ja"  ' このURLを任意に変更
      
    ' ページの表示完了待ち｡
    While objIE.ReadyState <> 4 Or objIE.Busy = True
        DoEvents
    Wend
'*****↑ここまでは以前と一緒***************************************************
  
'****今日はここから↓***************************************************
  
    On Error Resume Next      '値がないとエラーが出るので、エラー回避用
 
    i = 1  '開始行を指定
    J = objIE.document.all.Length  '要素の数を知る
     
    Cells(i, 1).Value = "uniqueID"
    Cells(i, 2).Value = "tagname"
    Cells(i, 3).Value = "Type"
    Cells(i, 4).Value = "NAME"
    Cells(i, 5).Value = "ID"
    Cells(i, 6).Value = "className"
    Cells(i, 7).Value = "TABINDEX"
    Cells(i, 8).Value = "Vakue"
    Cells(i, 9).Value = "checked"
    Cells(i, 10).Value = "親のtagname"
    Cells(i, 11).Value = "innertext"
    Cells(i, 12).Value = "outertext"
    Cells(i, 13).Value = "outherhtml"
    Cells(i, 14).Value = "innerhtml"
     
     Dim A As Object
      
    For Each A In objIE.document.getElementsByTagName("*")
     
     

        Cells(i + 1, 1) = A.uniqueID                'uniqueID
        Cells(i + 1, 2) = A.TAGNAME                 '親のTAG
        Cells(i + 1, 3) = A.Type                    'タイプ ※selectボックスは”select-one”と取得
        Cells(i + 1, 4) = A.Name                    '名前
        Cells(i + 1, 5) = A.ID                      'ID
        Cells(i + 1, 6) = A.className               'クラス名
        Cells(i + 1, 7) = A.TabIndex                'フォーカス順序 (Tabでの移動順)
        Cells(i + 1, 8) = A.Value                   '値
        Cells(i + 1, 9) = A.Checked                 'チェック状態 (True = チェック有り､false = チェック無し)
                                                    'checkboxやradioボタンから取得します
        Cells(i + 1, 10) = A.parentElement.TAGNAME  '親のTAG
 
 
 
        If Len(A.innerHTML) > 50 Then
         
            Cells(i + 1, 11) = Left(A.innertext, 10) & "   ~~~   " & Right(A.innertext, 10)
            Cells(i + 1, 12) = Left(A.outertext, 10) & "   ~~~   " & Right(A.outerrext, 10)
            Cells(i + 1, 13) = Left(A.outerHTML, 10) & "   ~~~   " & Right(A.outerHTML, 10)
            Cells(i + 1, 14) = Left(A.innerHTML, 10) & "   ~~~   " & Right(A.innerHTML, 10)
 
        Else
         
            Cells(i + 1, 11) = A.innertext
            Cells(i + 1, 12) = A.outertext
            Cells(i + 1, 13) = A.outerHTML
            Cells(i + 1, 14) = A.innerHTML
                     
        End If
         
        Dim C(20) As String

        '階層を表示
        For Z = 1 To 20
            C(Z) = A.TAGNAME
            If A.TAGNAME = "HTML" Then Exit For
            Set A = A.parentElement
        Next

        For L = Z To 1 Step -1
            Cells(i + 1, 30 + Z - L) = C(L)
        Next
         
         
        i = i + 1
         
        'ステータスバーに進捗を表示
        Application.StatusBar = i & "/" & J
      
    Next
     
 
     Cells.WrapText = False
 
 
 Application.ScreenUpdating = True
 Application.StatusBar = False
 
'表示を固定
Columns(1, 9).AutoFit
Cells(1, 2).EntireColumn.Interior.ColorIndex = 6
Cells(2, 3).Select
ActiveWindow.FreezePanes = True
objIE.document.getElementsByName("q")(0).Value = "テスト"
  
End Sub

プログラムを簡単に説明

実行結果を確認する。

実行すると、下記のようなデータがエクセルに書き出されたと思います。
抜き出す属性やデータとしては、

①uniqueID ②tagname ③Type ④NAME ⑤ID ⑥className ⑦TABINDEX ⑧Vakue ⑨checked ⑩親の⑪tagname ⑫innertext ⑬outertext ⑭outherhtml ⑮innerhtml

P.S.
document.getElementByなどなどvbaではあまり見ない関数だなと思っていたら、
javasprictからきているようですね。まだまだ奥が深いようです…

[JavaScript] あらゆる要素を取得する

その他、VBAでIEを動かすために必要な情報をまとめています！！

こちらを参照ください！

【まとめ】VBAでIEを動かすプログラムまとめ！

【簡単】VBAでIEの任意のサイトを表示させる方法～VBA(マクロ)でIE操作

nujonoa — Mon, 13 May 2019 14:09:45 +0000

VBAでIEの任意のサイトを表示させる方法
重要な要素を簡単に説明

VBAでIEの任意のサイトを表示させる方法

VBAの入門編として、まずIEの画面を表示させる必要があります。
下記コードでは、サンプルの"https://nujonoa.com/vba-ie-sample/"を開くための
コードを記載してみました。
ダブルクリックでコピーできますのでとりあえず張り付けて実行してみてください。

Sub IEdisplay()

'IEの起動
Dim objIE As object

Set objIE = GetObject("", "InternetExplorer.Application")

objIE.Visible = True
    
    
    objIE.Navigate "https://nujonoa.com/vba-ie-sample/"　' このURLを任意に変更
    
    ' ページの表示完了待ち｡
    While objIE.ReadyState <> 4 Or objIE.Busy = True
        DoEvents
    Wend

End Sub

重要な要素を簡単に説明

重要な要素簡単に説明していこうと思います。

Set objIE = GetObject("", "InternetExplorer.Application")objIE.Visible = True

GetObject(pathname, class)は、

Set ○○=▲▲　

objIE.Visible = True

objIE.Navigate "URL"

While objIE.ReadyState <> 4 Or objIE.Busy = True DoEvents Wend

重たいサイトなどは読み込みをしないと次の動作に移れませんので、
読み込みを完了するのを待つためのコードです。

その他、VBAでIEを動かすために必要な情報をまとめています！！

こちらを参照ください！

【まとめ】VBAでIEを動かすプログラムまとめ！