エクセル、ワードを用いて無料で分かち書き、単語の頻度分析を行う方法！形態素分析

エクセル、ワードを用いて無料で分かち書き、単語の頻度分析を行う方法！形態素分析データベースを作成していくと、・よく出てくるワードは何か？・最近皆さんが、注目しているものは何か？を知りたいときが出てくると思います。そんな時に必要になってくるの...

nujonoa.com

2020.09.05

エクセルVBAで分かち書き、単語の頻度分析を行う方法！形態素分析

今回は、エクセルVBAから

・ワードを立ち上げて、
・セルの値をワードに打ち込んで、
・ワードを使って分かち書きを行い
・セルに書きこむ

という作業を自動化していきたいと思います。

エクセルVBAではなぜか速度が遅く、ワードVBAでどうにか行っていたのですが、
やはりExcelの方が扱いやすいですね。

それでは、エクセルVBAを用いた分かち書きの方法を紹介していきたいと思います。

仕事でよく使われる言葉の分析などなど、
色々使ってみてください！

単語の切り分け≒分かち書き≒形態素分析とは？

まずは簡単に、分かち書きについて紹介していきます。

分かち書きは文章を「単語」に分けることで、

さらに、分けた後の単語が動詞か名詞か判断するところまで行うことを

形態素分析

といいます。

形態素解析 - Wikipedia

ja.wikipedia.org

英語の場合の分かち書きは単語の間に最初から区切りがありますので、
非常に簡単なのですが、(I like football　など)

日本語の場合は、

僕はサッカーが好きです。

と、区切りがありません。
ですので、何かのソフトを使って、

僕　/　は　/　サッカー　/　が　/　好き　/　です

と切り分ける必要があります。

形態素分析

形態素分析ではこれからさらに、

僕　/　は　/　サッカー　/　が　/　好き　/　です
名詞 /助詞/　名詞　　　/　助詞/　動詞　/　助詞

の様に切り分け、さらに、

・好きという「良いワード」の前にある名詞は何か
・逆に嫌い、汚いなど「悪いワード」の前にある名詞は何か？

などを分析していくことになります。

今回は、この中でも、「分かち書き」し、「単語の出現頻度」を計算できるプログラムになります。

ワードは、分かち書きができる。

パソコンで文章を打つと、適度な区切り位置を決めて、漢字に変換してくれますよね。
時々無茶苦茶なときもありますが、よく考えると、、この機能ってすごいですよね。

更に、ワードで文章を打つと、見やすいように日本語と数字の間隔を自動調整するなど、様々な文章の公正を自動でしてくれます。
これらの機能の一部として、「単語の切り分けも」行うことができます。

今回はその機能を使って分かち書きを実行していこうと思います。

ワードの単語の切り分けは「WORD VBA」の.words

ワードの単語の切り分けは、
word VBAの.wordsという機能になります。

本来は、ワードを切り分けて、単語数をカウントする、
切り分けたワードがどこに出現するか確認する。

などのために使用される関数ですが、
今回はこの関数を使ってプログラムを組んでいこうと思います。

Words オブジェクト (Word)

Office VBA リファレンス トピック

learn.microsoft.com

プログラム紹介

では、さっそくプログラムを紹介していきます。

プログラムの出力結果

まずは、プログラムの出力結果です。

このプログラムを使用すると、

①分かち書きしたい文章を入力。
②分かち書きした結果を表示
③単語の頻度を計算。

できます。

(クリックで拡大)

例として、清水翔太さんの歌詞を分かち書きしてみました。

結果を見てみると、君、僕が多いようです。
好き、愛してる、などなど恋愛の曲ばっかりをとってきてしまったようですね。笑

プログラムの説明

今回のプログラムは、エクセルのVBAで書いています。

ExcelVBAから

①ワードを立ち上げて、
②セルの内容を転記
③ワードで分かち書き
④セルに書き込み
②～④を繰り返す。
⑤ワードを閉じる。
⑥頻度分析

という順番で行っています

下記ボタンからダウンロードできますので、
一度お試しください。

プログラム紹介

下記が、今回使用したプログラムになります。

ダブルクリックするとコピーできますので、
ぜひ使ってみて下さい。

CELLS(1,2)~CELLS(1,11)までの文章を変換していきます。

' アクティブセルの文字列を、
' Word の機能を使用して、単語に分解
Sub WAKACHIGAKI()

    Dim wd As Object
    Dim text As String
    Dim i As Double
    
    'Wordオブジェクトを取得
    Set wd = CreateObject("Word.Application")
    
    'Wordを見えるようにする
    wd.Visible = True
    
    Z = 2
    
    'Wordで新規文書を作成できる状態にする
    Set doc = wd.Documents.Add
    
    
    For J = 1 To 10
 
    moji = Cells(1, J + 1)
 
    
    ' Word のドキュメントに、アクティブセルのテキストを書きこむ
    wd.Selection.text = moji
       

    For i = 1 To wd.Selection.Words.Count
    
        Cells(i + 1, J + 1) = wd.Selection.Words(i).text
        Cells(Z, 12) = wd.Selection.Words(i).text
        Cells(Z, 13) = wd.Selection.Words(i).text
        Z = Z + 1
        
            If i Mod 20 = 0 Then
            
            Application.StatusBar = "処理中...　文章" & J & "/10　単語" & i & "/" & wd.Selection.Words.Count

            End If
    
    Next i

    doc.Content.Delete
    
    Next J

    
    ' Word は保存せず終了
    wd.Quit False
    
        Application.StatusBar = False
        
        
    For L = 1 To Z
    
        If Cells(L, 13) Like "[あ-ん]" Then
            Cells(L, 13).ClearContents
        End If
    Next
        
    ActiveSheet.Range("$M$2:$M$10000").RemoveDuplicates Columns:=1, Header:=xlNo
    Cells(2, 14) = "=SUMPRODUCT((M2=$L$2:$L$" & Z & ")*1)"
    Cells(2, 14).Copy
    Range(Cells(2, 14), Cells(Z, 14)).PasteSpecial
    Range(Cells(2, 13), Cells(Z, 14)).Sort Key1:=Cells(2, 14), order1:=xlDescending



End Sub

ポイント

ポイントは、

・words(i).textで分かち書きした単語を書き出す。
・If Cells(L, 13) Like "[あ-ん]" Then　で「あ～ん」一文字の時を消す。
・ActiveSheet.Range("$M$2:$M$10000").RemoveDuplicates Columns:=1, Header:=xlNo
で重複した単語の削除

くらいでしょうか？
また分からないことありましたら、コメントに書き込んでいただければ説明します！

まとめ

Excelを使って、ワードを立ち上げて作業することって、
正直そこまでないかと思うのですが、
分かち書きは非常に便利な機能になっています。

ぜひ、一度使っていただけたらと思います！！！

エクセル、ワードを用いて無料で分かち書き、単語の頻度分析を行う方法！形態素分析

データベースを作成していくと、

・よく出てくるワードは何か？
・最近皆さんが、注目しているものは何か？

を知りたいときが出てくると思います。

そんな時に必要になってくるのが、

・単語を切り取り、集計すること

が必要になってきます。

今日は、ワードの機能を用いて、単語の切り分け、エクセルの機能を用いて単語の集計をするプログラムを作成しましたので、紹介したいと思います。

単語の切り分け≒分かち書き≒形態素分析とは？

単語の切り分けは

分かち書き

と呼ばれたりします。

さらに、分けた後の単語が動詞か名詞か判断するところまで行うことを

形態素分析

といいます。

形態素解析 - Wikipedia

ja.wikipedia.org

分かち書き

英語の場合、

I like football

と単語の間に最初から区切りがありますが、
日本語の場合は、

僕はサッカーが好きです。

と、区切りがありません。
ですので、何かのソフトを使って、

僕　/　は　/　サッカー　/　が　/　好き　/　です

と切り分ける必要があります。

形態素分析

形態素分析ではこれからさらに、

僕　/　は　/　サッカー　/　が　/　好き　/　です
名詞 /助詞/　名詞　　　/　助詞/　動詞　/　助詞

の様に切り分け、さらに、

・好きという「良いワード」の前にある名詞は何か
・逆に嫌い、汚いなど「悪いワード」の前にある名詞は何か？

などを分析していくことになります。

今回は、この中でも、「分かち書き」し、「単語の出現頻度」を計算できるプログラムになります。

ワードは、単語の分析をしてくれる。

ワードで文章を打つと、見やすいように、

日本語と数字の間隔を自動調整する

など、様々な文章の公正を自動でしてくれます。

これらの機能の一部として、「単語の切り分けも」実は内部で行ってくれています。

今回はその機能を使って分かち書きを実行していきます。

ワードの単語の切り分けは「WORD VBA」の.words

ワードの単語の切り分けは、
word VBAの.wordsという機能になります。

本来は、ワードを切り分けて、単語数をカウントする、
切り分けたワードがどこに出現するか確認する。

などのために使用される関数ですが、
今回はこの関数を使ってプログラムを組んでいこうと思います。

Words オブジェクト (Word)

Office VBA リファレンス トピック

learn.microsoft.com

プログラム紹介

では、さっそくプログラムを紹介していきます。

プログラムの出力結果

まずは、プログラムの出力結果です。

このプログラムを使用すると、

①出現した単語の種類と回数(B、C列)
②分かち書きした文章一覧(I列以降)
③計算用(E列)

が表示されます。

プログラム

プログラムは、エクセルのVBAではなく、ワードのVBAに書き込みます。

ワードで処理を行い→エクセルを立ち上げて→エクセルに張り付ける
作業をワードのVBAで行っています。
※エクセル側からワードに指示を出すと、作業速度が非常に遅かったですので、
　ワード側のVBAでプログラムを書いています。

ExcelVBAでも高速で、しかもきれいにまとめることができました！！！！↓

こちらをどうぞ！

エクセルVBAで分かち書き、単語の頻度分析を行う方法！テキストマイニング、形態素分析

こちらの記事で、ワードVBAで分かち書きする方法を記載したのですが、ExcelVBAでも分かち書き、単語の頻度分析を行うことができましたので紹介させてもらいます。エクセルVBAで分かち書き、単語の頻度分析を行う方法！形態素分析今回は、エクセ...

nujonoa.com

2020.09.05

プログラムの説明

プログラムは大きく分けて、

①単語の切り分け
②エクセルの立ち上げ
③エクセルで計算

の構成でできています。

Sub センテンスごとに配列に格納する2()

  Dim str(10000, 500) As String
  Dim str2(20000, 1) As String
  
  Dim cnt As Long
  Dim i As Long
  Z = 0
  With ActiveDocument.Sentences
    cnt = .Count
    For i = 1 To cnt
    
    If i Mod 10 = 0 Then
      'ステータスバーへの表示更新
      Application.StatusBar = i & "/" & cnt
      'エクセルのイベント処理
      DoEvents

    End If
    
    cnt2 = .Item(i).Words.Count
    
    For J = 1 To cnt2
    
      str(i, J) = .Item(i).Words(J)
      str2(Z, 0) = .Item(i).Words(J)
      Z = Z + 1
      
    Next
      
      
    Next i
  End With
    
Set objExcel = CreateObject("Excel.Application")
objExcel.Application.Visible = True
Set exlBook = objExcel.Workbooks.Add()
Set exlSeet = exlBook.Worksheets.Add()

    Application.ScreenUpdating = False


'exlSeet.cells(2, 8).Resize(UBound(str, 1) + 1, UBound(str, 2) + 1).Value = str()
exlSeet.cells(2, 8).Resize(i, 100).Value = str()

exlSeet.cells(2, 5).Resize(UBound(str2, 1) + 1, UBound(str2, 2) + 1).Value = str2()
exlSeet.cells(2, 2).Resize(UBound(str2, 1) + 1, UBound(str2, 2) + 1).Value = str2()


exlSeet.Range("$B$1:$B$10000").RemoveDuplicates Columns:=1, Header:=xlNo

exlSeet.cells(2, 3) = "=COUNTA(B:B)"

SHURUI = exlSeet.cells(2, 3)
    
With exlSeet
    .cells(2, 3) = "=COUNTIF(E:E,B2)"
    .cells(2, 3).Copy
    .Range(exlSeet.cells(2, 3), exlSeet.cells(2 + SHURUI, 3)).Select
    .Paste
    .Range(exlSeet.cells(2, 2), exlSeet.cells(2 + SHURUI, 3)).Sort Key1:=exlSeet.cells(2, 3), order1:=xlDescending

End With

    Application.ScreenUpdating = True

End Sub

①単語の切り分け

単語の切り分けは、先ほど説明した通り、
.WORDSを使って単語の切り分けをしています。

・段落ごとに切り分け　ループ
　・センテンス(文章)に切り分け　ループ
　　・文章を単語に切り分けして、配列に代入

という構成をとっており、

二次元配列で、行ごとに
・文章毎に、単語を切り分けた結果
を代入していっています。
※文章ごとにする必要はありませんでしたが、
　メモリなどの影響でプログラムが非常に遅くなるのを防いでいます。

エクセルを立ち上げる

次にエクセルを立ち上げています。

エクセルを立ち上げる方法は2通りあり、

①Set WordApp = CreateObject("Excel.Application")
②Set WordApp = New Excel.Application

とありますが、②では、エクセルVBAのコードをワードVBAにも読み込んでおく必要がありますので、①を使用しています。

結果を貼り付ける

エクセルを貼り付けた後は、結果を貼り付けています。

文章ごとに分かち書きした内容を「列」以降に張り付け、
計算用に「列」に単語一覧を縦一列に表示しています。

「列に」単語の種類を洗い出すために重複を削除した結果を表示、
その横に、出現頻度を計算しています。

まとめ

ワードVBAはあまり使ったことがありませんでしたが、
エクセルではできない機能が使えたりします。

分かち書きをして、単語の頻度を求めることで、最近の流行などをとらえることができると思いますので、ぜひ利用してみてください！