python PR

【pythonで統計学】相関係数を求める方法〜サンプルコード+可視化付き〜

python 統計学 相関係数
記事内に商品プロモーションを含む場合があります

研究を行っていると、結構な頻度で相関係数を算出することがあります

今回は、相関係数をpythonで算出する方法を解説していきたいと思います

また、以下の記事からpythonで統計学を順序立てて学ぶことができるようにまとめているので、参考にしてみてください

python 統計学
pythonで統計学を学ぶメリット〜実際の学習手順を紹介〜近年、データサイエンティストの需要が高まってきていますが、データサイエンティスト必須能力として、「プログラミング言語」「統計学」が挙げられています。pythonで統計学を扱えれば、データサイエンティストとしての道も開けるでしょう。今回はpythonで統計学を学ぶメリットや実際にどのように学習していくべきかを解説していきたいと思います。...

この記事で学べること
pythonで相関係数を算出する方法がわかる
相関係数の基準がわかる
相関関係を可視化することができる

データサイエンスの分野でも統計学は非常に重要になります

データサイエンスに興味がある方は、データミックスでデータサイエンスを学ぶのがおすすめです

※無料オンライン相談や個別相談などさまざまなイベントが開催中

相関係数とは

相関係数というのは、二つの値の間に関係性があるのか?ということを調べるために用います

相関係数を知る前に、相関関係について知っておく必要があります

例えば、Aという値が高く(低く)なれば、一方Bという値も高く(低く)なる、というのを相関関係と呼びます

この時、どのくらい関係しているのか?ということを示すのが、相関係数になります

相関係数の大小の基準

相関係数にはどのくらいの強さなのか?という一定の基準が設けられています

相関係数は-1〜1に収まるようになっており、基準は以下のようになっていますが、明確な基準はないとされています

これは、分野やデータの種類によって異なるためです

相関係数の基準

相関係数が0.7(-0.7)を超えれば相関は強い、
0.2(-0.2)以下であれば、ほとんど相関はないといって良いと思います

pythonで相関係数を算出する

pythonで相関係数を算出するには、numpyを使用して以下のようにコードを入力します

今回は国語と数学のテストの点数を例に挙げたいと思います

import numpy as np
import seaborn as sns
sns.set() 

japanese = np.array([5, 73, 29, 63, 68, 28, 45, 78, 70, 93,82,88,98,68,78,12,32,18,19,22,34,14])
math = np.array([11, 82, 25, 61, 66, 27, 42, 88, 71, 84,82,95,58,87,68,22,38,15,23,43,15,22])
#相関係数の算出
correlation = np.corrcoef(japanese,math)
#グラフ化
sns.jointplot(japanese, math, kind="reg")

print(correlation[0,1])

>>>出力結果

0.9049139268028888

 

相関係数

各変数の相関の散布図を作成する

相関関係を確認したい変数が複数ある場合には、一度に散布図を作成して表示することも可能です

この時に使用するのは、seabornのpairplot()になります

irisのデータで実際に試していきたいと思います

import matplotlib.pyplot as plt
import pandas as pd
import seaborn as sns; sns.set()

df = pd.read_csv('https://raw.githubusercontent.com/mwaskom/seaborn-data/master/iris.csv',index_col=0)

pg=sns.pairplot(df)
plt.show(pg)
iris散布図

hueを追加することで、指定した列名のカテゴリごとに色分けをしたグラフが作成されます

今回はspeciesで色分けしたいと思います

import matplotlib.pyplot as plt
import pandas as pd
import seaborn as sns; sns.set()

df = pd.read_csv('https://raw.githubusercontent.com/mwaskom/seaborn-data/master/iris.csv',index_col=0)

pg=sns.pairplot(df,hue='species')
plt.show(pg)
iris散布図色分け

さらに回帰曲線を追加する場合には、kind=’reg’を入力します

import matplotlib.pyplot as plt
import pandas as pd
import seaborn as sns; sns.set()

df = pd.read_csv('https://raw.githubusercontent.com/mwaskom/seaborn-data/master/iris.csv',index_col=0)

pg=sns.pairplot(df,hue='species', kind='reg')
plt.show(pg)
iris散布図回帰曲線付き

回帰曲線が少し見にくいので、以下のように変更します

import matplotlib.pyplot as plt
import pandas as pd
import seaborn as sns; sns.set()

df = pd.read_csv('https://raw.githubusercontent.com/mwaskom/seaborn-data/master/iris.csv',index_col=0)

pg=sns.pairplot(df,hue='species', kind='reg' 
                ,plot_kws={'ci': None,'marker': '+','scatter_kws': 
                           {'alpha': 0.4},'line_kws': {'linestyle': '--'}})
plt.show(pg)
iris回帰曲線

相関係数と因果関係は別物

相関関係があると、両者のデータ間に因果関係があるように捉えがちです

しかし、あくまでも相関係数は相関係数であって、因果関係とは別物です

よく例に上がるのが「身長と体重」の関係です

身長が高くなると体重も重くなる傾向にはありますが、

身長が高い人は必ずしも体重が重いわけではなく、身長が低い人は必ずしも体重が軽いわけではないですよね

また、体重が重くなると身長が高くなるわけではないですし、体重が軽くなると身長が低くなるわけでもないですよね

このように、どちらか一方がもう一方を決めるわけではないので、因果関係にあるとは言えません

仮に、身長が決まると体重も決定される、という世界があった場合には、これは因果関係と言えるでしょう

今回の例では、国語と数学の点数で相関係数を求めました

確かにこの両者には強い相関がありそうです

しかし、国語の点数が決まると数学の点数が決まるわけではないですよね?

なので、因果関係にあるとは言えません

相関係数と因果関係について学ぶには、次の書籍がおすすめです

相関係数と因果関係をごっちゃに考えてしまう方が多いので、この機会に一度学んでおくとデータサイエンティスト・データアナリティストとして、重宝される可能性が非常に高いです

相関係数と言われると、難しそうな数式を使っているイメージが多いかもしれませんが、こちらの書籍では、難しい数式を使わずに解説してくれています

pandasを使って相関係数を算出する

これまではnumpyを使って、相関係数を算出しましたが、pandasを使用して相関係数を算出することもできます

import pandas as pd

japanese =[5, 73, 29, 63, 68, 28, 45, 78, 70, 93,82,88,98,68,78,12,32,18,19,22,34,14]
math = [11, 82, 25, 61, 66, 27, 42, 88, 71, 84,82,95,58,87,68,22,38,15,23,43,15,22]

df_japanese=pd.DataFrame(japanese,columns=["japanese_score"])
df_math=pd.DataFrame(math,columns=["math_score"])

df=pd.concat([df_japanese,df_math],axis=1)

corr=df.corr()
print(corr)

>>>出力結果

                japanese_score  math_score
japanese_score        1.000000    0.904914
math_score            0.904914    1.000000

numpyで算出した結果と同様の結果になりました

算出した相関係数をヒートマップで可視化する

最後に算出した相関係数をヒートマップで可視化していきます

ヒートマップの可視化にはseabornのheatmap()を使用します

import pandas as pd
import seaborn as sns
sns.set()

japanese =[5, 73, 29, 63, 68, 28, 45, 78, 70, 93,82,88,98,68,78,12,32,18,19,22,34,14]
math = [11, 82, 25, 61, 66, 27, 42, 88, 71, 84,82,95,58,87,68,22,38,15,23,43,15,22]

df_japanese=pd.DataFrame(japanese,columns=["japanese_score"])
df_math=pd.DataFrame(math,columns=["math_score"])

df=pd.concat([df_japanese,df_math],axis=1)

corr=df.corr()
print(corr)

sns.heatmap(corr,vmax=1,vmin=-1,center=0)
python 相関係数 可視化

相関係数とp値を算出する

スピアマンの順位相関係数とピアソンの積率相関係数を使用すれば、相関係数とともにp値を算出することができます

スピアマンの順位相関係数・ピアソンの積率相関係数は、どちらもscipyを使用すると算出することができます

スピアマンの順位相関係数

スピアマンの順位相関係数はscipyを使用すれば簡単に算出することができます

from scipy import stats
math    = [5, 73, 29, 63, 68, 28, 45, 78, 70, 93,82,88,98,68,78,12,32,18,19,22,34,14]
japanese = [11, 82, 25, 61, 66, 27, 42, 88, 71, 84,82,95,58,87,68,22,38,15,23,43,15,22]

correlation, pvalue = stats.spearmanr(math, japanese)
print(correlation,pvalue)

>>>出力結果

相関係数:0.8464801016852547 p値:6.854250491094454e-07

ピアソンの積率相関係数

ピアソンの相関係数はscipy.pearsonrを使用します

from scipy import stats
math    = [5, 73, 29, 63, 68, 28, 45, 78, 70, 93,82,88,98,68,78,12,32,18,19,22,34,14]
japanese = [11, 82, 25, 61, 66, 27, 42, 88, 71, 84,82,95,58,87,68,22,38,15,23,43,15,22]

correlation, pvalue = stats.pearsonr(math, japanese)
print(correlation,pvalue)

>>>出力結果

相関係数:0.9049139268028887 p値:7.328961270615418e-09

今回のスピアマンの順位相関係数とピアソンの積率相関係数とpandas・numpyで算出した相関係数を比較すると、ピアソンの積率相関係数とpandas・numpyで算出した結果が同じになるため、pandasとnumpyはピアソンの積率相関係数を算出していると考えてOKです

スピアマンの順位相関係数とピアソンの積率相関係数の使い分けは以下のようになります

相関の検定の使い方

ノンパラ・パラメトリックについては以下の記事を参考にしてください

python ノンパラ パラメトリック
【pythonで統計学】ノンパラメトリックとパラメトリック検定について統計検定を選択するときに、「ノンパラメトリック(ノンパラ)」「パラメトリック」という文字を見るかと思います。初めて統計に触れる方は、これが何を意味していて、何がどう違うのかがわからないと思います。検定手法を選ぶ際に、ノンパラかパラメトリックかはとても大切な事項になります。今回は、ノンパラとパラメトリックの違いについてと、pythonでどのように判断するかの方法について解説していきたいと思います...

まとめ

  • 相関係数は0.7を超えると強い相関、0.2以下はほぼ相関なし
  • pandasとnumpyはピアソンの積率相関係数を算出している
  • 相関係数と散布図を合わせてみる
  • 相関関係と因果関係は別物
  • pairplotはおしゃれ

pythonで統計学を学びたい方は、こちらを参考にしていただくと、一通り学ぶことができます

python 統計学
pythonで統計学を学ぶメリット〜実際の学習手順を紹介〜近年、データサイエンティストの需要が高まってきていますが、データサイエンティスト必須能力として、「プログラミング言語」「統計学」が挙げられています。pythonで統計学を扱えれば、データサイエンティストとしての道も開けるでしょう。今回はpythonで統計学を学ぶメリットや実際にどのように学習していくべきかを解説していきたいと思います。...

統計学だけではなく、データサイエンスに興味がある方は、データミックスでデータサイエンスを学ぶのがおすすめです

データミックスの講義はハイクオリティで、データサイエンスを学ぶなら、データミックス一択と言えます

※無料オンライン相談や個別相談などさまざまなイベントが開催中

pythonで統計学を学ぶ上で必須書籍

pythonのスキルを高める方法

python スクール

pythonのスキルを高めるには、pythonを学べるプログラミングスクールに通うのが一つの方法です

以下の記事では、pythonが学べて、無料体験できるおすすめのプログラミングスクールを紹介しているので、ぜひ参考にしてみてください

これから先、pythonを使える社会人は重宝される時代が来るので、今のうちに学んでおくと、社会に出た時に有利に働きます

python プログラミングスクール
pythonを学ぶのにおすすめプログラミングスクールTOP5「pythonを学ぶのに、プログラミングスクールに通いたい」「pythonを学べるプログラミングスクールがたくさんあって、よくわからない」「結局、pythonを学ぶのにおすすめのプログラミングスクールってどこなの?」といった疑問をお持ちの方に、pythonを学ぶのにおすすめのプログラミングスクールを紹介していきたいと思います。...
おすすめプログラミングスクール

DMMWEBCAMP
  • WEBCAMPはコスパ最強
  • WEBCAMPは初心者に優しい充実したサポート付き
  • 16週間プランを選択して、返金してもらおう
WEBCAMPの公式ページはこちら WEBCAMPの口コミ・評価はこちら
テックアカデミー  
  • テックアカデミーは費用対効果抜群
  • テックアカデミーのサポートは個人の能力に応じつつ、python初心者に優しい
  • まずは無料体験でテックアカデミーを知ってから受講を決める
テックアカデミーの公式ページはこちら テックアカデミーの口コミ・評価はこちら
キカガク
  • 多種多様なスキルコース
  • 初心者から専門家まで対象
  • 給付金利用で費用を抑えられる
キカガクの公式ページはこちら キカガクの口コミ・評価はこちら
Aidemy Premium
  • 完全オンラインで、時間や場所に縛られず学習したい
  • マンツーマン学習サポートにより実践に近い経験をしたい
  • 未経験から機械学習エンジニアになりたい
Aidemy Premiumの公式ページはこちら Aidemy Premiumの口コミ・評価はこちら
My Agile Privacy
This website uses technical and profiling cookies. Clicking on "Accept" authorises all profiling cookies. Clicking on "Refuse" or the X will refuse all profiling cookies. By clicking on "Customise" you can select which profiling cookies to activate.