正規表現 | nujonoa_blog https://nujonoa.com 人生に役立つデータ集 Thu, 14 Oct 2021 08:05:49 +0000 ja hourly 1 https://wordpress.org/?v=6.8.3 https://nujonoa.com/wp-content/uploads/2019/04/cropped-DSC00976-e1554456145409-32x32.jpg 正規表現 | nujonoa_blog https://nujonoa.com 32 32 【GASでスクレイピング③】実際の使用例レシピを取り出してみた。 https://nujonoa.com/%e3%80%90gas%e3%81%a7%e3%82%b9%e3%82%af%e3%83%ac%e3%82%a4%e3%83%94%e3%83%b3%e3%82%b0%e2%91%a2%e3%80%91%e5%ae%9f%e9%9a%9b%e3%81%ae%e4%bd%bf%e7%94%a8%e4%be%8b%e3%83%ac%e3%82%b7%e3%83%94%e3%82%92/ https://nujonoa.com/%e3%80%90gas%e3%81%a7%e3%82%b9%e3%82%af%e3%83%ac%e3%82%a4%e3%83%94%e3%83%b3%e3%82%b0%e2%91%a2%e3%80%91%e5%ae%9f%e9%9a%9b%e3%81%ae%e4%bd%bf%e7%94%a8%e4%be%8b%e3%83%ac%e3%82%b7%e3%83%94%e3%82%92/#respond Wed, 07 Jul 2021 12:44:00 +0000 http://nujonoa.com/?p=9634
  1. 【GASでスクレイピング③】実際の使用例レシピを取り出してみた。
  2. サンプルシートを紹介
  3. コード紹介
  4. 簡単に説明
    1. HTMLの情報の抜き出し
    2. class要素などをキーに情報を抜き出し
    3. 抜き出したデータから必要な部分だけ抜き出し
    4. その他ポイント

【GASでスクレイピング③】実際の使用例レシピを取り出してみた。

マクロ＋IE　→　GAS+スプレッドシート

に変更していくということとで、
今回は、

GASを用いて実際に使用できるプログラミングを作成しました！

いつも、食べたいものある?といわれて困るので、
キッコーマンさんのホームページから、ランダムでレシピを引っ張ってこれる
ようにしています。

①②で紹介したhtmlの情報を取得、そこから必要な情報だけ読み解く
という方法を実践したものになりますので、
是非ご参考にください。

サンプルシートを紹介

サンプルシートを下記に紹介します。

レシピの材料、作り方を順次取り出してくるプログラミングになります。

サンプルシートをダウンロード

そのままですと閲覧のみ可能になっていますので、
ファイル→コピーを作成で、自分のスプレッドシートにコピーを作成してください。

スプレッドシートをコピーする方法

コード紹介

では、さっそくコードを紹介していきたいと思います。

コードは、

①ランダムにレシピのURL作成
②UrlFetchApp.fetch(url)　でurlの情報を抜き出し　
③class要素の名前など、キーとなる情報を正規表現で抜き出しitemに代入
④innertextのみにするためにindexOfで文字数を確認
⑤.substringで間の文字列を取り出す

を繰り返す構成になっております。

function myFunction5() {

  var sheet = SpreadsheetApp.getActiveSpreadsheet().getSheetByName('実行');



  for(var z=1;z<=10;z++){

    SpreadsheetApp.getActiveSpreadsheet().toast(z+'/10', '進捗',10);

        　//セルに存在する最後の行
    lastY = sheet.getLastRow()
    lastX = sheet.getLastColumn()

  var url = sheet.getRange(2, 3).getValue();
  sheet.getRange(lastY+1,3).setValue(url)
   Logger.log(url)

      var options = {
    "muteHttpExceptions": true,　    // 404エラーでも処理を継続する
  }
  var response = UrlFetchApp.fetch(url, options);
  var html = response.getContentText('UTF-8');

  var fromText = sheet.getRange(3, 3).getValue();
  var toText='<'

  var KENSAKU =  fromText + '.*?' + toText 

  var itemRegexp = new RegExp(KENSAKU,'g');//gで全て

  var item = [0,1];
  var item = html.match(itemRegexp);
  var items = [];

  if(html.match(itemRegexp)===null){
    sheet.getRange(lastY+1, 4).setValue("該当なし")
  }
  else{

    Logger.log(item.length)

  for (var i = 0; i < item.length; i++) {
    var itemURL = item[i]
    var S_num = itemURL.indexOf('>');
    var E_num = itemURL.indexOf('<');
    var itemURL = itemURL.substring(S_num+1, E_num);
    items.push([itemURL]);
       }
  sheet.getRange(lastY+2, 4, items.length, 1).setValues(items);

  var fromText = sheet.getRange(3, 4).getValue();
  var toText='<'

  var KENSAKU =  fromText + '.*?' + toText 

  var itemRegexp = new RegExp(KENSAKU,'g');//gで全て

  var item = html.match(itemRegexp);
  var items = [];

    Logger.log(item.length)
  
  for (var i = 0; i < item.length; i++) {
    var itemURL = item[i]
    var S_num = itemURL.indexOf('>');
    var E_num = itemURL.indexOf('<');
  var itemURL = itemURL.substring(S_num+1, E_num);
    items.push([itemURL]);
       }
  sheet.getRange(lastY+2, 5, items.length, 1).setValues(items);

  var fromText = sheet.getRange(3, 5).getValue();
  var toText='<'

  var KENSAKU =  fromText + '.*?' + toText 

  var itemRegexp = new RegExp(KENSAKU,'g');//gで全て

  var item = html.match(itemRegexp);
  var items = [];

    Logger.log(item.length)
  
  for (var i = 0; i < item.length; i++) {
    var itemURL = item[i]

    var S_num = itemURL.indexOf('>');
    var E_num = itemURL.indexOf('<');

  var itemURL = itemURL.substring(S_num+1, E_num);
    items.push([itemURL]);
       }
  sheet.getRange(lastY+2, 6, items.length, 1).setValues(items);

  var fromText = '<title>';
  var toText=' キッコーマン' 

  var KENSAKU =  fromText + '.*?' + toText 

  var itemRegexp = new RegExp(KENSAKU,'g');//gで全て

  var item = html.match(itemRegexp);
  var items = [];

    Logger.log(item.length)
  
  for (var i = 0; i < item.length; i++) {
    var itemURL = item[i]
      //.replace(fromText,'')
      //.replace(toText,'');
    var S_num = itemURL.indexOf('>');
    var E_num = itemURL.indexOf('のレシピ');
    var itemURL = itemURL.substring(S_num+1, E_num);
    items.push([itemURL]);
       }
  sheet.getRange(lastY+1, 4, items.length, 1).setValues(items);

  var imageY=lastY+1
  sheet.getRange(lastY+2,3).setValue('=image(LEFT(C'+imageY+',50)&"img/"&mid(C'+imageY+', 51,8)&".jpg")')
 // sheet.getRange(lastY+2,3,5,1).merge();

  }

  }

}

簡単に説明

コードの内容を簡単に説明していきます。

HTMLの情報の抜き出し

グーグルの公式サイトを参考に

UrlFetchApp.fetch(url);

でresponseに情報を格納し、

e.getContentText()

で、文字列としてエンコードされたHTTP応答のコンテンツを取得します。

// The code below logs the HTML code of the Google home page.
var response = UrlFetchApp.fetch("http://www.google.com/");
Logger.log(response.getContentText());

class要素などをキーに情報を抜き出し

上記で得たテキストデータから、必要な情報を抜き出します。

抜き出す方法としては、「正規表現」で抜き出しています。
少し難しいので、

「/　文字列A　.*?　文字列B　/」

とすると、文字列A~文字列Bとなっている文字列を抜き出すことができると思ってください。

  var fromText = sheet.getRange(3, 3).getValue();
  var toText='<'

  var KENSAKU =  fromText + '.*?' + toText 

  var itemRegexp = new RegExp(KENSAKU,'g');//gで全て

  var item = html.match(itemRegexp);

これで、
fromtext ～ totext
の文字列をitem配列に代入することができます。

今回は、fromtextは任意、totextは「<」に固定し、文字列を抜き出しています。

イメージとしては、

<dd><p class="amount">１５０ｇ</p></dd>

というテキストデータから

amount ~ <

となるテキストを検索し、

item に 「　amount">１５０ｇ<　」を代入しています

抜き出したデータから必要な部分だけ抜き出し

抜き出したデータは、

item =　amount">１５０ｇ<　

というように、いらない文字列が残っています。
そこで、

  for (var i = 0; i < item.length; i++) {
    var itemURL = item[i]
    var S_num = itemURL.indexOf('>');
    var E_num = itemURL.indexOf('<');
    var itemURL = itemURL.substring(S_num+1, E_num);
    items.push([itemURL]);
       }

を用いて、「>」「<」の間のテキストだけを抜き出し、
２次元配列itemsに代入していっています。

そして結果を、

  SpreadsheetApp.getActiveSheet().getRange(5, 4, items.length, 1).setValues(items);

にて、セルに張り付けることで、完了です。

その他ポイント

404エラーでも処理を実行するために、下記コードを追加しています。

      var options = {
    "muteHttpExceptions": true,　    // 404エラーでも処理を継続する
  }
  var response = UrlFetchApp.fetch(url, options);
]]> https://nujonoa.com/%e3%80%90gas%e3%81%a7%e3%82%b9%e3%82%af%e3%83%ac%e3%82%a4%e3%83%94%e3%83%b3%e3%82%b0%e2%91%a2%e3%80%91%e5%ae%9f%e9%9a%9b%e3%81%ae%e4%bd%bf%e7%94%a8%e4%be%8b%e3%83%ac%e3%82%b7%e3%83%94%e3%82%92/feed/ 0 【GASでスクレイピング②】知りたい情報をclassなどから取り出す。 https://nujonoa.com/gas-scraping-class-method/ https://nujonoa.com/gas-scraping-class-method/#respond Tue, 06 Jul 2021 12:38:00 +0000 http://nujonoa.com/?p=9618
  1. 【GASでスクレイピング②】知りたい情報をclassなどから取り出す。
  2. ウェブスクレイピングのやり方
  3. サンプルシートを紹介
  4. コード紹介
  5. 簡単に説明
    1. HTMLの情報の抜き出し
    2. class要素などをキーに情報を抜き出し
    3. 抜き出したデータから必要な部分だけ抜き出し

【GASでスクレイピング②】知りたい情報をclassなどから取り出す。

ついについにIEが使えない時代が訪れるということで、
ウェブスクレイピングを

マクロ＋IE　→　GAS+スプレッドシート

へ変更していく必要があると感じています。
そこで今回は、GASで行うウェブスクレイピングの準備をしていきたいと思います！

ウェブスクレイピングのやり方

まずは、私の行う、ウェブスクレイピングの基本的なやり方について解説していきたいと思います。

私の行うウェブスクレイピングは、

①特定のサイトのHTMLの情報を取り出す
②そこからcalssやidなどの情報から、必要な情報だけ抜き出す

という方法です。
もう少しかみ砕いて説明すると、

①サイトのページの情報をテキストとして取り出し、
②特定の文字列をキーにして、その間の文章を抜き出す

という方法です。

今回は、その中でも
②特定の文字列をキーにして、その間の文章を抜き出す方法
を紹介していきたいと思います。

サンプルシートを紹介

サンプルシートを下記に紹介します。

サンプルシートでは

・2行目C列,D列に入力されたURLの情報を取り出し
・3行目C列,D列に入力された検索文字列
　「recipeIngredient」「amount」に該当するの情報を抜き出し、
・５行目以下に書き込む

プログラムとなっております。

サンプルシートをダウンロード

そのままですと閲覧のみ可能になっていますので、
ファイル→コピーを作成で、自分のスプレッドシートにコピーを作成してください。

スプレッドシートをコピーする方法

コード紹介

では、さっそくコードを紹介していきたいと思います。

コードは、
①UrlFetchApp.fetch(url)　でurlの情報を抜き出し　→このサイトを参考
②class要素の名前など、キーとなる情報を正規表現で抜き出しitemに代入
③innertextのみにするために無理やり「>」「<」の間の文字列をとっています。

という構成になっております。

function myFunction5() {

  var sheet = SpreadsheetApp.getActiveSpreadsheet().getSheetByName('実行');  
  var url = sheet.getRange(2, 3).getValue();
  var response = UrlFetchApp.fetch(url);
  var html = response.getContentText('UTF-8');

  var fromText = sheet.getRange(3, 3).getValue();
  var toText='<'

  var KENSAKU =  fromText + '.*?' + toText 

  var itemRegexp = new RegExp(KENSAKU,'g');//gで全て

  var item = html.match(itemRegexp);
  var items = [];

    Logger.log(item.length)
  
  for (var i = 0; i < item.length; i++) {
    var itemURL = item[i]
    var S_num = itemURL.indexOf('>');
    var E_num = itemURL.indexOf('<');
    var itemURL = itemURL.substring(S_num+1, E_num);
    items.push([itemURL]);
       }
  SpreadsheetApp.getActiveSheet().getRange(5, 3, items.length, 1).setValues(items);

  //２個目
    var sheet = SpreadsheetApp.getActiveSpreadsheet().getSheetByName('実行');
  
  var url = sheet.getRange(2, 4).getValue();
  var response = UrlFetchApp.fetch(url);
  var html = response.getContentText('UTF-8');

  var fromText = sheet.getRange(3, 4).getValue();
  var toText='<'

  var KENSAKU =  fromText + '.*?' + toText 

  var itemRegexp = new RegExp(KENSAKU,'g');//gで全て

  var item = html.match(itemRegexp);
  var items = [];

    Logger.log(item.length)
  
  for (var i = 0; i < item.length; i++) {
    var itemURL = item[i]
    var S_num = itemURL.indexOf('>');
    var E_num = itemURL.indexOf('<');
    var itemURL = itemURL.substring(S_num+1, E_num);
    items.push([itemURL]);
       }
  SpreadsheetApp.getActiveSheet().getRange(5, 4, items.length, 1).setValues(items);

}

簡単に説明

コードの内容を簡単に説明していきます。

HTMLの情報の抜き出し

グーグルの公式サイトを参考に

UrlFetchApp.fetch(url);

でresponseに情報を格納し、

e.getContentText()

で、文字列としてエンコードされたHTTP応答のコンテンツを取得します。

// The code below logs the HTML code of the Google home page.
var response = UrlFetchApp.fetch("http://www.google.com/");
Logger.log(response.getContentText());

class要素などをキーに情報を抜き出し

上記で得たテキストデータから、必要な情報を抜き出します。

抜き出す方法としては、「正規表現」で抜き出しています。
少し難しいので、

「/　文字列A　.*?　文字列B　/」

とすると、文字列A~文字列Bとなっている文字列を抜き出すことができると思ってください。

  var fromText = sheet.getRange(3, 3).getValue();
  var toText='<'

  var KENSAKU =  fromText + '.*?' + toText 

  var itemRegexp = new RegExp(KENSAKU,'g');//gで全て

  var item = html.match(itemRegexp);

これで、
fromtext ～ totext
の文字列をitem配列に代入することができます。

今回は、fromtextは任意、totextは「<」に固定し、文字列を抜き出しています。

イメージとしては、

<dd><p class="amount">１５０ｇ</p></dd>

というテキストデータから

amount ~ <

となるテキストを検索し、

item に 「　amount">１５０ｇ<　」を代入しています

抜き出したデータから必要な部分だけ抜き出し

抜き出したデータは、

item =　amount">１５０ｇ<　

というように、いらない文字列が残っています。
そこで、

  for (var i = 0; i < item.length; i++) {
    var itemURL = item[i]
    var S_num = itemURL.indexOf('>');
    var E_num = itemURL.indexOf('<');
    var itemURL = itemURL.substring(S_num+1, E_num);
    items.push([itemURL]);
       }

を用いて、「>」「<」の間のテキストだけを抜き出し、
２次元配列itemsに代入していっています。

そして結果を、

  SpreadsheetApp.getActiveSheet().getRange(5, 4, items.length, 1).setValues(items);

にて、セルに張り付けることで、完了です。

]]> https://nujonoa.com/gas-scraping-class-method/feed/ 0