この記事では、Pythonを使用したデータの正規表現とテキストマイニングの基本について詳しく解説します。正規表現を使ってテキストデータを効率的に解析する方法から、テキストマイニングで役立つテクニックまで、具体的なコード例とその解説、応用例を含めています。
正規表現とは
正規表現（Regular Expression）とは、テキストデータを効率的に検索、置換、分割するためのパターンです。Pythonでは、`re`モジュールを用いて正規表現を実行することができます。
基本的なメソッド
`re`モジュールには、以下のような基本的なメソッドがあります。
- re.search()
- re.match()
- re.findall()
- re.finditer()
- re.sub()
基本的な使い方
以下のコードは、正規表現で指定したパターンをテキストから探す基本的な例です。
import re
text = "私の名前は太郎です。"
pattern = "名前は(.*?)です"
result = re.search(pattern, text)
if result:
print(result.group(1)) # 出力は "太郎"
コード解説
このコードでは`re.search()`メソッドを使用しています。`text`変数に格納されているテキストから、`pattern`で指定した正規表現に一致する部分を検索しています。結果は、`result.group(1)`で取得できます。
テキストマイニングとは
テキストマイニングとは、大量のテキストデータから有用な情報を抽出する手法です。特に、自然言語処理（NLP）の技術を用いることで、より高度なテキストマイニングが可能になります。
主な手法とツール
テキストマイニングには様々な手法とツールが存在しますが、代表的なものは以下です。
- TF-IDF
- Word2Vec
- トピックモデリング
基本的な使い方
以下のコードは、Pythonの`nltk`ライブラリを使用してテキストデータから最も頻出する単語を見つける基本的な例です。
from nltk.corpus import stopwords
from nltk.tokenize import word_tokenize
from collections import Counter
text = "This is a sample text for text mining. This text contains sample words."
stop_words = set(stopwords.words("english"))
word_tokens = word_tokenize(text.lower())
filtered_words = [word for word in word_tokens if word not in stop_words]
word_count = Counter(filtered_words)
print(word_count.most_common(1)) # 出力は [('text', 3)]
コード解説
このコードでは、`nltk`ライブラリの`stopwords`と`word_tokenize`を使用して、ストップワードを除外した上で、最も頻出する単語を探しています。
応用例
例1：正規表現でHTMLタグを削除する
import re
def remove_html_tags(text):
clean = re.compile('<.*?>')
return re.sub(clean, '', text)
text_with_html = "This is a test.
"
result = remove_html_tags(text_with_html)
print(result) # 出力は "This is a test."
解説
HTMLタグを取り除くための正規表現を用いて、`re.sub()`関数で置換（削除）を行っています。
例2：TF-IDFを用いた文章の類似度計算
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.metrics.pairwise import cosine_similarity
texts = ["apple orange banana", "apple banana", "orange banana", "banana"]
vectorizer = TfidfVectorizer()
tfidf_matrix = vectorizer.fit_transform(texts)
similarity = cosine_similarity(tfidf_matrix[0:1], tfidf_matrix)
print(similarity) # 出力は類似度の配列
解説
`sklearn`ライブラリを用いて、TF-IDF値を計算し、コサイン類似度で文章の類似度を計算しています。
まとめ
Pythonを使用したデータの正規表現とテキストマイニングは、テキストデータから有用な情報を効率よく抽出する強力な手段です。正規表現でテキストを効率よく解析した後、テキストマイニングでさらに深い分析を行うことが可能です。
コメント