それが、なぜ売れたのか？なぜ売れなかったのか？という点を分析することです

なぜ売れたのか？売れなかったのか？については、統計分析を活用することで、要因が明確になり、マーケティングに活用することができます

この記事では、初心者にも優しいPythonというプログラミング言語を使って、マーケティングに活用可能な統計分析をPythonで実行していきたいと思います

統計分析以外の分析手法を知りたい方は、以下の記事でよく使われる分析手法を解説しているので、参考にしてください

>>>Pythonでマーケティングに活用できるデータ分析手法を公開【サンプルコードあり】

マーケティングで統計分析はどれを使う？

統計分析と一言で言っても、分析手法はいくつもありますし、統計の中にも種類があります

ここではまず統計の種類について理解を深め、どの統計を使うべきかを考えていきたいと思います

推測統計

推測統計学とは、サンプルから得られたデータをもとに、母集団の特性についての統計的な推測を行います

母集団とは、全ての対象物の集合のことを指し、サンプルはその一部のデータの集合を意味しています

推測統計学は、サンプルから得られたデータをもとに、母集団全体の平均値や分散、相関関係などの統計的特性を推定します

具体的には、点推定や区間推定、仮説検定、回帰分析などの手法が用いられます

推測統計学を使うことによって、少ないサンプルから得られた情報を活用し、より正確に全体の推測を行うことができます

記述統計

記述統計学とは、データの集計、整理、要約、可視化などを通じて、データの特性を理解していきます

具体的には、平均、中央値、標準偏差、最大値・最小値、四分位数などの統計量を計算し、ヒストグラム、箱ひげ図、散布図などのグラフなどを作成します

記述統計学は、データの性質や傾向を理解するために用いられます

また、複数の製品の販売実績を比較するために、箱ひげ図を作成することで、中央値や分散、外れ値の有無などを比較することもできます

記述統計学によって、データの傾向や特性を理解することで、適切な分析手法を選択することができます

また、データの傾向を把握することで、ビジネス上の課題や機会を発見することもできます

推測統計と記述統計について、理解を深めたい方は、こちらの記事を参考にしてください

【pythonで統計学】推測統計学と記述統計学について統計学は大きく分けて3種類あります 記述統計学 推測統計学 ベイズ統計学 t検定などの「統計的仮説検定」を用...

ベイズ統計

ベイズ統計は、ベイズの定理を用いた統計学の一種で、データと事前情報を組み合わせることで、事後確率分布を推定する統計手法です

従来の頻度主義的な統計学に対し、ベイズ統計は、データが与えられた場合のパラメータの不確実性を考慮することができます

ベイズ統計では、パラメータを確率変数として扱い、事前分布と呼ばれる確率分布を設定します

そして、データが観測された後、ベイズの定理により、事後分布を推定します

この事後分布は、データと事前分布に基づいて更新されたパラメータの確率分布であり、パラメータの推定値や不確実性を評価することができます

ベイズ統計は、小規模なデータやパラメータが少ない場合に有効であり、分析結果の解釈が容易であるという特徴があります

また、事前知識や事前分布を反映することができるため、過学習を回避することができるというメリットもあります

マーケティングと統計分析の関係性

マーケティングにおいて発生する膨大なデータを集め、整理、解釈して、市場のトレンドや顧客の行動パターンなどを分析し、ビジネス上の意思決定をサポートすることが出来るのが、統計分析です

例えば、広告やキャンペーン、プロモーションなどの効果を分析するために、広告のクリック数やコンバージョン率、消費者の属性や行動データなどを収集し、統計的な手法を用いて解析します

また、マーケティング調査や顧客満足度調査などで得られたデータを分析することもあります

マーケティングと統計分析を行うことで、マーケティング戦略の改善や、新しい製品やサービスの開発、販売促進の方法の最適化などが可能になります

マーケティングで活用できる統計分析手法5選

ここからはマーケティングで活用できる統計分析手法を5つ紹介していきます

実際にPythonで実装できるように、サンプルコードも掲載していきますので、Pythonでの実装にチャレンジしてみてください

回帰分析

回帰分析とは、ある変数（説明変数）と別の変数（目的変数）との関係を分析するための統計手法の一つで、教師あり学習の代表例です

具体的には、説明変数が目的変数にどのような影響を与えるかを分析し、それを数式化することで、ある説明変数の値から目的変数の値を予測することができます

回帰分析には、

• 線形回帰分析
• 非線形回帰分析
• 多重回帰分析
• ロジスティック回帰分析

などがあります

それぞれの分析手法は、分析するデータの性質や目的に合わせて選択されます

例えば、マーケティングの分野では、ある商品の売り上げがどのような要因によって変動するのかを分析するために回帰分析が用いられます

回帰分析をPythonで実装する際には、以下のように実装していきます

(コードで入力していたのですが、文字化けっぽくなってしまったので、スクショでごめんなさい)

SVM（サポートベクターマシン）

サポートベクターマシン（Support Vector Machine、SVM）は、機械学習の分野において、分類や回帰に用いられる教師あり学習アルゴリズムの一種です

SVMは、データの集合を分類する境界線（決定境界）を見つけることで、新しいデータがどちらのクラスに属するかを予測します

SVMの特徴は、決定境界と最も近いデータ点（サポートベクター）の距離を最大化するように決定境界を定めることにあります

これにより、決定境界が最も一般化されたものになるため、過学習を避け、未知のデータに対する予測精度を高めることができます

SVMは、線形カーネルや非線形カーネルなどのカーネル関数を用いることで、非線形なデータの分類も可能です

SVMは、データが疎である場合や、データ数が多い場合でも高速に処理することができます

そのため、画像認識やテキスト分類などの分野で広く用いられています

SVMは、データの前処理やハイパーパラメータの調整が必要であり、実装が難しい場合もあります

しかし、高い予測精度を得られることが多く、機械学習の分野において重要なアルゴリズムの一つとなっています

バスケット分析

バスケット分析（Basket Analysis）は、売り上げデータなどの取引データを分析する手法の一つです

この手法では、同時に購入される傾向がある商品の組み合わせを発見することで、販売促進やクロスセルの提案などに活用されます

バスケット分析は、主に以下の手順で行われます。

1. 集めたい売り上げデータを収集する
2. 売り上げデータを取引ごとに分割し、商品単位で集計する
3. 全取引データから商品の出現回数、同時に出現する商品の組み合わせの出現回数を集計する
4. 出現回数が高い商品の組み合わせを抽出し、顧客に商品を紹介する

例えば、コンビニでのバスケット分析を考えてみます

ある日、コンビニでの販売データを取得し、そのデータを商品ごとに集計したところ、以下のような結果が得られました

• ビール 100本
• ポテトチップス 50袋
• ピーナッツ 40袋
• コーラ 80本
• スナック菓子 30袋

このデータを用いてバスケット分析を行うと、ビールとポテトチップス、ビールとピーナッツ、コーラとスナック菓子のように、同時に購入される商品の組み合わせを発見することができます

こうした組み合わせを知ることで、コーナーのレイアウトの改善や商品の販促、セット販売などに活用することができます

バスケット分析は、小売業やECサイトなど、さまざまな分野で活用されています

クラスタリング分析

機械学習で使われるクラスタリングは、データの類似度によって、データをグループ分けする方法になります

例えば、企業の広告メールで考えてみます

クラスタリングは、マーケティングやレコメンドエンジンのアルゴリズムなどに活用されています

クラスタリングを実装してみたい方は、以下の記事にサンプルコードを掲載しているので、参考にしてください

Pythonで機械学習のクラスタリングを実装する【サンプルコードあり】この記事では、Pythonで機械学習のクラスタリングを実装していきます。クラスタリングは機械学習の中でも教師なし学習に分類される、機械学習です。PythonではK-meansを使ったクラスタリングを簡単に実装することができるので、一緒に実装していきましょう。...

主成分分析

主成分分析（Principal Component Analysis, PCA）とは、多次元データの変数間に存在する相関を利用して、データを新しい軸（主成分）上に射影することで、データの情報を圧縮し、可視化や分析の効率化を図る手法です

主成分分析は、以下のような手順で行われます

1. 元データの標準化：各変数の平均を0、標準偏差を1にすることで、変数の尺度差を解消します。
2. 共分散行列の算出：変数間の相関係数から共分散行列を求めます。
3. 固有値・固有ベクトルの算出：共分散行列の固有値と固有ベクトルを算出します。
4. 主成分の選択：固有値の大きい順に主成分を選択します。
5. 主成分スコアの算出：元データを選択した主成分に射影することで、主成分スコアを算出します

主成分分析によって、元データの変数間の相関関係を把握し、そのうち重要な情報を取り出すことができ、統計解析や機械学習、画像処理など、幅広い分野で応用されています

例えば、マーケティング分野では、購買データの分析に主成分分析を適用し、消費者の購買行動に影響を与える要因を把握することができます

また、医療分野では、複数のバイオマーカーを用いた疾患診断に主成分分析を適用し、診断精度を向上させることができます

主成分分析をPythonで実装するには、以下のようなコードになります

今回は、scikit-learnに用意されているワインデータを使って次元削減を行なっていきます

from matplotlib import pyplot as plt
from 
sklearn import datasets

import numpy as np

from sklearn.decomposition import PCA


# datasetの読み込み

wine_data = datasets.load_wine()

df=wine_data.data

Y=wine_data.target

print(df.shape)


#主成分分析

pca=PCA(n_components = 2, whiten = False)

pca.fit(df)


# データを主成分に変換する

features = pca.transform(df)

print(features.shape)


# 主成分をプロットする

#色かえ

for label in np.unique(Y):

    if label == 0:
        

        c = "red"
    
    elif label == 1:


        c="blue"
 
    elif label == 2:

        c="green"
   
    else:


        pass
    
plt.scatter(features[Y == label,0],

            features[Y == label,1],
               
            c=c)

plt.title('principal component')

plt.xlabel('Z1')

plt.ylabel('Z2')

plt.savefig('PCA_sample1')

plt.show()

主成分分析を実行後にクラスタリングを実装するサンプルコード

from matplotlib import pyplot as plt
from sklearn import datasets
import numpy as np
from sklearn.decomposition import PCA
import pandas as pd
from sklearn.cluster import KMeans  

#データ読み込み
wine_data = datasets.load_wine()
df=wine_data.data
Y=wine_data.target
#主成分分析の実装
pca=PCA(n_components = 2,whiten=False)
pca.fit(df)
feature=pca.transform(df)
#実装した主成分分析をデータフレームに変換し,PC1とPC2というカラム名をつける
existing_df_2d = pd.DataFrame(feature)
existing_df_2d.columns = ['PC1','PC2']
#クラスタリングの実装
kmeans = KMeans(n_clusters=5)
clusters = kmeans.fit(existing_df_2d)
existing_df_2d['cluster'] = pd.Series(clusters.labels_, index=existing_df_2d.index)
#クラスタリングの結果を可視化
existing_df_2d.plot(
        kind='scatter',
        x='PC2',y='PC1',
        c=existing_df_2d.cluster.astype(np.float),
        s=existing_df_2d['PC2']*100,
        figsize=(16,8))
plt.show()

機械学習について

機械学習には、教師なし学習・教師あり学習・強化学習があります

教師あり学習とは、事前に与えられた情報をもとに、学習を行なっていく手法です

教師なし学習とは、事前に情報を与えられることなく、手元のデータをグループ分けしていくことになります

また、強化学習というのは、ある特定の行動(や動作)を取った際に報酬(評価)が与えられ、最も多く報酬を得られるように試行錯誤しながら、学習していく手法です

教師あり学習は、分類や回帰に利用されるケースが多く、教師なし学習は、グループ分けや情報の要約などに利用されます

強化学習の例として、アルファ碁というものがあります

>>>「囲碁AI」の最強時代到来、プロ棋士の存在価値は薄れてしまうのか？

教師あり学習

教師あり学習とは、プログラムに正解となる学習データを与え、学習させる手法です

学習データを教師として、与えられたデータで学習を進めていき、未知なるデータが入力されたときに、学習データに基づき、出力を予測するのが教師あり学習になります

すでに与えられているデータに「犬」や「猫」と名称をつけることを「ラベル付け」と呼びます

教師あり学習は、分類と回帰で使用されることが多く、画像認識や文章分類、音声認識などに活用されています

• 分類：入力データを複数に分けることが目的
• 回帰：入力データから連続的な出力値を予測するのが目的

Pythonで機械学習の教師あり学習を行う場合には、次のようなライブラリがあります

• scikit-learn：分類、回帰、クラスタリング、次元削減などの機械学習アルゴリズムを提供する優れたライブラリ
• TensorFlow：深層学習 (Deep Learning) アルゴリズムを提供する人気のライブラリ
• PyTorch：TensorFlowに代わる人気のDeep Learningフレームワーク

教師なし学習

教師なし学習は、入力データにラベル付けがされておらず、与えられたデータに隠されている特徴や構造を学習します

学習した後に、いくつかに集団にグループ分けを行うのが、教師なし学習になります

このとき分けられたグループの特徴や構造がどういったものなのかは、データ解析者の判断が必要になります

教師なし学習はクラスタリングと次元削減などに活用されており、データ探索やデータ可視化、異常検知などで活用されています

• クラスタリング：入力データをグループに分けることを目的とします
• 次元削減：高次元データを低次元データに圧縮するのが目的です

Pythonで機械学習の教師なし学習を行う場合には、次のようなライブラリがあります

• scikit-learn：分類、回帰、クラスタリング、次元削減などの機械学習アルゴリズムを提供する優れたライブラリです。
• SciPy：数値計算、信号処理、統計などのライブラリの一つです。教師なし学習にも使われます。
• NumPy：数値計算を行うためのライブラリです。

クラスタリングの実装は、次の記事でサンプルコード付きで解説しているので、参考にしてください

Pythonで機械学習のクラスタリングを実装する【サンプルコードあり】この記事では、Pythonで機械学習のクラスタリングを実装していきます。クラスタリングは機械学習の中でも教師なし学習に分類される、機械学習です。PythonではK-meansを使ったクラスタリングを簡単に実装することができるので、一緒に実装していきましょう。...

強化学習

強化学習とは、エージェントが環境とやり取りをすることで、最適な行動を学習する機械学習です

強化学習では、エージェントが環境から受け取る報酬を最大化するように、行動を選択することで、学習を行なっていきます

強化学習には、様々なアルゴリズムがあります

例えば、「Q学習」は、行動を選択するためのQ値を求めることで、最適な行動を学習したり、「SARSA」は、状態と行動を同時に求めるアルゴリズムです

Pythonで強化学習を行うためのライブラリとして、次のようなものがあります

• OpenAI Gym：OpenAI Gymを使うことで、様々なタスクを設定して、エージェントを学習させることができます
• stable-baselines：OpenAI Gymを使った強化学習のためのライブラリです
  table-baselinesでは、Q学習やSARSA、強化学習に基づく強化学習アルゴリズムを実装しており、簡単に強化学習を実装することができます。
• TensorFlow-Agents：Googleが提供する、TensorFlowを使った強化学習のためのライブラリ
  TensorFlow-Agentsでは、深層学習を使った強化学習アルゴリズムを実装しており、高度な強化学習タスクを実現することができます。

機械学習とAI・ディープラーニングの関係性

機械学習とAI・ディープラーニングの関係性は図にするとわかりやすいです

AIの中には、機械学習やディープラーニングが含まれており、機械学習にはディープラーニングが含まれています

そのため、AIを開発するためには、機械学習・ディープラーニングの理解が必須になります

機械学習やディープラーニングを理解するには、データミックスの活用がおすすめです

※無料オンライン相談や個別相談などさまざまなイベントが開催中

マーケティングに統計分析を用いるメリット3つ

ここからはマーケティングに統計分析を用いるメリットについて、3つ解説をしていきます

「マーケティング×統計分析」ができる人材は少数のため、学んでおくことで希少性の高い人材になれます

今回紹介するメリットは、次の3つです

• 課題の特定と改善
• 予測の精度向上
• 効果測定の客観化

課題の特定と改善

マーケティングにおいては、統計分析を活用することで、

• データに基づいた意思決定ができる
• ターゲット層を正確に把握できる
• 製品やサービスの改善ができる
• マーケティング戦略の改善ができる

など、課題の特定と改善を行うことができます

統計分析を用いることで、販売促進活動の成果を客観的に評価し、どのような課題があるかを特定することもできます

予測の精度向上

マーケティングにおいては、将来の需要や売上高を予測することも重要で、統計解析を用いることで、

• 顧客行動の予測が可能になる
• リソースの最適化ができる
• 競合他社の動向を予測できる

といったメリットがあります

統計分析を用いることで、製品の購入傾向やキャンペーンへの反応、サイトの訪問数など将来的な顧客行動を予測することができます

また、競合他社の広告出稿量やプロモーションの展開、新製品の発売予定などを分析することで、将来的な市場動向を予測することができます

効果測定の客観化

マーケティングにおいては、マーケティングの効果を測定することは非常に重要です

しかし、その効果を測定するためには、何をもって効果とするか、という基準を設定する必要があります

統計分析を用いることで、基準を客観的に設定し、販売促進活動の効果を客観的に評価することができます

これにより、販売促進活動の改善や、施策の見直しができるようになります

例えば、売上を予測する線形回帰モデルを作成し、そのモデルを用いてキャンペーンの効果測定を行ってみます

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns
from sklearn.linear_model import LinearRegression
from sklearn.model_selection import train_test_split
from sklearn.metrics import mean_squared_error, r2_score

# 乱数のシードを指定
np.random.seed(123)

# 同じ値を設定
campaign_budget = np.full(1000, 10000)
ad_spend = np.full(1000, 500)
email_spend = np.full(1000, 100)
organic_spend = np.full(1000, 50)
sales = np.random.randint(1000, 100000, 1000)

# 辞書型のデータを作成
data = {'campaign_budget': campaign_budget,
        'ad_spend': ad_spend,
        'email_spend': email_spend,
        'organic_spend': organic_spend,
        'sales': sales}


# DataFrameを作成
df = pd.DataFrame(data)
print(df)

# データを表示
print(df.head())
X = df.drop('sales', axis=1)
y = df['sales']
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

model = LinearRegression()
model.fit(X_train, y_train)

y_pred = model.predict(X_test)
rmse = np.sqrt(mean_squared_error(y_test, y_pred))
r2 = r2_score(y_test, y_pred)
print("RMSE: ", rmse)
print("R^2: ", r2)

campaign_budget = 15000
ad_spend = 1000
email_spend =200
organic_spend = 500

campaign_data = [[campaign_budget, ad_spend, email_spend, organic_spend]]
campaign_sales = model.predict(campaign_data)
print("Expected sales: ", campaign_sales[0])

ここで予測された売り上げと実際の売上を比較して、そのキャンペーンの効果測定を行うことができます

また、複数のキャンペーンを比較し、どのキャンペーンが最も効果的であるかを客観的に測定することもできます

まとめ

今回の記事では、マーケティングに統計分析をPythonを使って活用する方法について解説をしました

Pythonはデータ分析を得意としているプログラミング言語のため、マーケティング分野において、絶大な力を発揮します

ぜひマーケティングスキルとPythonのスキルを高めて、現場に応用してみてください

マーケティングスキルを最も身に付けたい方は、こちら

Pythonを使ってデータ分析を身に付けたい方は、こちら

Pythonを使ってデータ分析をできるようになりたいけど、pythonで統計学を入門レベルから学ぶにはどうしたらいいのか？
Web講座を受講するのがいいのか、スクールに通った方がいいのか知りたい

こういった疑問に答えます

この記事を書いている私は半年ほど前からpythonを独学で学び始めました

独学で半年程度学んできましたが、ある程度のものであれば、作れるようになってきています

独学でもこれくらいは作れるようになりますので、安心してください。

pythonで統計学を入門レベルから学ぶ方法は独学で問題なし

Pythonで統計学を入門レベルから学ぶ方法は独学で問題なしです。

いきなりスクールに通うのはハードルが高い
スクールに支払える金銭的余裕がない

などの理由がある方は、半年程度独学で頑張ってみましょう。

そのくらいの期間を独学で頑張ることができたら、問題なしです

体験談：筆者は独学で本を中心にpythonで統計学を学んできた

実際に私は3ヶ月程度でpythonで統計学を学び、統計ソフトを作成しました。

こちらはそのうち販売する予定なので、コードはあまりお見せすることができませんが、以下の記事にそれぞれのサンプルコードを記載しているので、参考にしてください。

pythonで統計学を学ぶメリット〜実際の学習手順を紹介〜近年、データサイエンティストの需要が高まってきていますが、データサイエンティスト必須能力として、「プログラミング言語」「統計学」が挙げられています。pythonで統計学を扱えれば、データサイエンティストとしての道も開けるでしょう。今回はpythonで統計学を学ぶメリットや実際にどのように学習していくべきかを解説していきたいと思います。...

また、大事なことですが、「何を作りたいか？」を明確にしておけば、独学で問題ありません。

pythonで統計学を入門レベルから独学で学ぶ方法

Pythonで統計学を学んだ方法は書籍が中心でした

ただ、書籍のサンプルコードをコピペするだけでは、エラーになることも多々あります。

そういう時はgoogle検索でOKです

また、プログラミングのエラーは英語なので、google翻訳に突っ込んで、どういう意味かを調べる癖をつけることも大切です。

エラー→ググる→コード修正→エラー→ググる

の無限ループです

ここを苦しみながらもクリアできれば、pythonの知識はグッと増えます、実体験です。

pythonで統計学を入門レベルから学ぶおすすめの書籍5選

とはいえ、pythonで統計学を入門レベルから学ぶには、どの書籍を選べばいいかわからない方も多いと思います

なので、ここからは僕が実際に使用した、pythonで統計学を入門レベルから学ぶおすすめの書籍をいくつか紹介したいと思います

Pythonで学ぶあたらしい統計学の教科書

基本的にはPythonで学ぶあたらしい統計学の教科書さえあれば、あとはいらないと思っています。

Pythonで学ぶあたらしい統計学の教科書

posted with ヨメレバ

馬場 真哉 翔泳社 2018年04月19日頃

楽天ブックス

Amazon

Kindle

統計学入門

統計学の知識が全くない場合には、こちらを読んでおくのがおすすめ

統計学入門

posted with ヨメレバ

東京大学 東京大学出版会 1991年07月01日頃

楽天ブックス

Amazon

Kindle

入門レベルよりもっと優しいレベルを望む場合にはこちら

完全独習統計学入門

posted with ヨメレバ

小島寛之 ダイヤモンド社 2006年09月

楽天ブックス

Amazon

Kindle

まったくゼロからの論理学

統計学に必要な思考方法は論理学で鍛える必要があります

さらに、pythonをはじめとしたプログラミング言語をより深く理解するためには、論理学は外せないと思います

まったくゼロからの論理学

posted with ヨメレバ

野矢　茂樹 岩波書店 2020年02月28日頃

楽天ブックス

Amazon

Kindle

現場で使える！pandasデータ前処理入門 機械学習・データサイエンスで役立つ前処理手法

pythonで分析する場合には、基本的な前処理も理解しておく必要があります

データの結合やブランクデータの処理などが記載されているので、pythonで統計学を入門レベルで学ぶなら必須の1冊です

現場で使える！pandasデータ前処理入門 機械学習・データサイエンスで役立つ前処理手法

posted with ヨメレバ

株式会社ロンバート 翔泳社 2020年04月20日頃

楽天ブックス

Amazon

Kindle

分析者のためのデータ解釈学入門　データの本質をとらえる技術

pythonで統計処理を行えても、そのデータをどのように解釈するべきなのかをわかっていないと話になりません

そういったデータの解釈を教えてくれるのが、データ解釈学です

分析者のためのデータ解釈学入門　データの本質をとらえる技術

posted with ヨメレバ

江崎貴裕 ソシム 2020年12月15日頃

楽天ブックス

Amazon

Kindle

ここら辺の5冊さえあれば、pythonで統計学を入門レベルから学ぶことができます。

Pythonの基本的な文法に関しては、その都度ググればOKです。

僕は実際にそういうふうに学んできました

独学が無理ならスクールに通おう

「作りたいものはないけど、将来のためにpythonを学びたい」

このように思う方もいると思います。

そういう場合には、スクールに通いましょう。

スクールではpythonの基本的な基礎部分から学ぶことができます。

基礎をしっかり学んでおけば、その後pythonで応用も効きます。

pythonを学べるおすすめスクール3選(どれも無料体験あり)

しかし、プログラミングのスクールは年々増加傾向です

https://reseed.resemom.jp/article/2021/06/24/1813.html

こちらの記事でもわかるように、今後ますます増加することが予想されます。

では、どのプログラミングスクールを選べばいいのか？

この後紹介する3箇所は無料体験などもできるので、実際に試してみてから決めるでOKです。

無料体験だけして、入会しないのは失礼ではない

「プログラミングスクールなどの無料体験だけして、入会しないのは失礼ではないですか？」

という疑問もあるかと思います。

全く失礼ではないので、問題ありません。

他社との比較検討をしてもらうために、無料体験などが用意されているので、体験できるものは全部体験してから選べばOKです

pythonで統計学を学び、将来的にデータ分析のエンジニアになりたい場合は「python start lab」がおすすめ

Python start labはプログラミングスクールの中でも、最安値でpythonを学ぶことできます

しかもpythonに特化しており、チャットで質問もし放題です

受講生の9割はプログラミング未経験者であるため、最後まで継続できるカリキュラム構成になっています

StartLabのPythonプログラミング教室#3が終了！
コードの書き方とかがすごく参考になった1日でした。
独学では得られない知識だったので受講してよかった！
辞書配列の中にリストとして登録できるのか。
次の授業までに理解力を高めておかなければっ！#スタートラボ #startlab #プログラミング入門

— キクエモン ｜ フリーランス (@STONECOLD_ROCK) March 6, 2021

データサイエンティスト職に内定をもらえました..！涙
国際協力文系職で全く未経験から(GPUって何？レベル) #PythonStartLab でPython,SQL,機械学習を勉強してなんとか見習いになることができました。スクールの皆さんには感謝しかありません。まだまだ修行中ですが、これからも頑張りたいと思います！

— Ayanaぱん (@Ayana37517587) July 23, 2020

プログラミングスクールは他にもたくさんありますが、pythonに特化したスクールであれば、python start labが間違いないです

Python start labで機械学習なども学びつつ、上記の「pythonで学ぶ統計学の教科書」を並行して進めれば、より一層理解が深まり、データサイエンティストへの道も近づきます

python start labを体験してみる

python無料体験OK「テックジム」

テックジムでは無料のオンライン講座や校舎別講座を開いています。

この無料講座を通じて入会前にテックジムのカリキュラムに触れることで、納得して学習を開始することができます

無料セミナー開催の頻度も多く、東京以外でも全国のスクールで開催されています。

また、テックジムではTechGYM方式を採用しています

TechGYM方式とは、基礎知識・予備知識なしでも座学を利用しないでプログラミングに専念できるカリキュラムのことです。

従来の講義型の学習の場合、座学でプログラミングの基礎を学習してから実際に画面にコードを打ち込んでみる、という2段構えの学習スタイルが取られます。

しかし、TechGYM方式では演習の時間を多くとっているため、それだけ学習効率も高まります。

さらにテックジムはスクールとオンライン2種類を用意しているので、どこにいてもテックジムの講義を受けることができます。

無料体験などもあるので、ぜひこの機会に体験してみてください。

テックジムを体験してみる

より詳しい解説は以下の記事を参考にしてください

pythonが無料で学べるテックジムを徹底解説【嬉しい特典付き】pythonのプログラミングスクールの一つですが、学習時間が取れる人にはコスパ最強のプログラミングスクールとなっています。今回の記事では、pythonを学ぶことができるテックジムについて徹底解説をしていきます。...

python無料体験OK「キカガク」

キカガクの最大の特徴は国の補助金である教育訓練支援給付の対象となっているため、70%offになることです

これだけでもキカガクを受講するメリットはあります。

さらにキカガクは教育のプロ集団でもあるため、難しい部分を初学者にわかりやすく解説してくれるため、挫折が少なくてすみます。

また、オンラインのみなので、通学に時間をかけない分、それだけプログラミングに集中することもできます

無料体験などもあるので、ぜひこの機会に体験してみてください。

キカガクを体験してみる

より詳しい解説は以下の記事を参考にしてください

キカガクでPythonスキルを磨こう！キカガクの評判と魅力的な長期コースキカガクの受講を検討する際、実際の受講生の評判や口コミなどは事前に確認しておきたいポイントです。プログラミングスクールを選ぶ際に失敗しないためにも、不明点などの疑問は解決しておくべきでしょう。この記事では、実際にキカガクを利用している私の評価や受講したユーザーの口コミ評判を元に、キカガクを受講するメリットやデメリットについて解説をしていきます。...

python無料体験OK「.Pro」

.Proはあまり名前を聞いたことがない人がほとんどかと思います。

それは広告をあまり出しておらず、新規生徒数も10人と絞っているためです。

週一回対面授業があり、生徒10名に対して講師は4名程度付きます。

少数精鋭で行なっているからこそ、ここまで手厚いサポートが可能となります。

無料体験などもあるので、ぜひこの機会に体験してみてください。

.Proを体験してみる

pythonを使ってデータサイエンスを学びたい場合には
データミックス

データミックスはデータサイエンスに特化したプログラミングスクールで、Pythonを使いながら、データサイエンスを学んでいきます

講師陣はいずれも、実績のある方ばかりで、データサイエンスを学ぶのであれば、データミックス一択と言えます

また、教育訓練給付金の対象になっているため、給付を受ければ、格安でpythonとデータサイエンスを学ぶことができます

データサイエンスの分野でも統計学や機械学習・AIなどでも非常に重要になります

データサイエンスに興味がある方は、データミックスでデータサイエンスを学ぶのがおすすめです

※無料オンライン相談や個別相談などさまざまなイベントが開催中

いずれにおいても、やればやっただけプログラミングの能力は上がります

一緒に頑張っていきましょう！

Pythonを使ってデータ分析をできるようになりたいけど、Pythonの統計学の本はたくさんの種類があってよくわからない。

本当に本で統計学を学んPythonを扱えるようになるのだろうか？

独学で学んだ後に、データ分析のエンジニアとして働くためにはどうしたらいいだろう？

こういった疑問に答えます

この記事を書いている私はPythonの統計学を本を中心に学んできました

独学で半年程度学んできましたが、ある程度のものであれば、作れるようになってきました

独学でもこれくらいは作れるようになりますので、安心してください

過去のツイートですが、エンジニアの方でもプログラミングの学習時間は3ヶ月程度と言っていますね

プログラミングスキルを身につけたいなら、期限は3ヶ月にするといいですよ。
独学でもスクールでも良くて、3ヶ月で200時間くらいを勉強すれば良い。その後は継続して学べる環境に身を投じる感じ。就職orフリーランスコミュニティに入るなど。プログラミング学習に半年とかかけたら、心折れますので

— manabu.nft (@manabubannai) May 21, 2018

僕は半年くらい経っていますが、一日の学習時間が短いからです

まとめて時間が取れる場合には、3ヶ月でOKだと思います

以下の記事では、ゼロからPythonで統計学を学べるように作っており、統計学を学ぶメリットについても解説しているので、こちらも参考にしてみてください

pythonで統計学を学ぶメリット〜実際の学習手順を紹介〜近年、データサイエンティストの需要が高まってきていますが、データサイエンティスト必須能力として、「プログラミング言語」「統計学」が挙げられています。pythonで統計学を扱えれば、データサイエンティストとしての道も開けるでしょう。今回はpythonで統計学を学ぶメリットや実際にどのように学習していくべきかを解説していきたいと思います。...

Pythonで統計学を学ぶ際の本を探しているならば、おすすめは「Pythonで学ぶ統計学の教科書」

Pythonで統計学を学ぶ際の本を探しているならば、「Pythonで学ぶ統計学の教科書」一択です

Pythonで学ぶあたらしい統計学の教科書 第2版

posted with ヨメレバ

馬場 真哉 翔泳社 2022年06月08日頃

楽天ブックス

楽天kobo

Amazon

Kindle

こちらの書籍は基本的な統計学の基礎からPythonのコード、データの可視化まで網羅しています

データの可視化であれば、このような可視化まで行えるようになります

これ一冊あれば、データ分析に必要なことを学ぶことができます

広く学ぶことができるのが「Pythonで学ぶ統計学の教科書」のメリットですが、

データ分析に関しては、「データ解釈学」がおすすめ

分析者のためのデータ解釈学入門　データの本質をとらえる技術

posted with ヨメレバ

江崎貴裕 ソシム 2020年12月15日頃

楽天ブックス

楽天kobo

Amazon

Kindle

統計学とセットで学ぶことで、データ分析のエンジニアに近づくことができます

体験談：筆者は本を中心にPythonで統計学を学んできた

私自身が大学院時代にデータ分析をする際、Pythonを使用していました

その時にこの書籍を参考に、統計検定などを行い、学会発表もしてきたため、

「Pythonで学ぶ統計学の教科書」さえあればOKです

Pythonと統計学

AI開発においてPythonが用いられることが多いですが、機械学習やディープラーニングの根底には統計学が密接に関係しています

そのため、Pythonと統計学は切っても切れない関係です

また、データ分析向けのPythonディストリビューションであるAnacondaというものがあります

こちらは科学計算(データサイエンスや機械学習、大規模データ処理)のためのものです

こちらを使用することで、パッケージ管理やデプロイメントを簡単に行うことができます

Anacondaの詳細はこちらから

Pythonの環境構築〜Anacondaとは？〜サンプルコードと図解付きPythonの環境構築を調べると、「Anaconda」という文字を見かけるかと思います。 僕も最初はよくわからなくて、とりあえずwebサイトに書いてある通りに進めていきました。 そのおかげもあり、3回ほど環境構築で挫折をしました。 現在はAnacondaを使ってpythonの学習を進めています。 なので、今回はAnacondaの環境構築について解説をしていこうと思います。 この記事を読んでいるかたが迷子にならないように、画像付きで解説していこうと思いますので、最後までお付き合いください。...

Pythonで機械学習を実装したい方は、こちらの記事で解説しているので、こちらから機械学習について学んでみてください

https://python-man.club/python_machinelearning/

Pythonで統計学を学ぶメリット

Pythonで統計学を学ぶメリットは、科学計算処理に必要なライブラリが充実している点です

Pythonのライブラリには、統計学に必要な専門的な計算式が含まれており、基本的なデータの扱い方がわかっていれば、統計検定を自由に扱うことができます

Pythonで統計学を学ぶメリットの詳細はこちらの記事を参照ください

pythonで統計学を学ぶメリット〜実際の学習手順を紹介〜近年、データサイエンティストの需要が高まってきていますが、データサイエンティスト必須能力として、「プログラミング言語」「統計学」が挙げられています。pythonで統計学を扱えれば、データサイエンティストとしての道も開けるでしょう。今回はpythonで統計学を学ぶメリットや実際にどのように学習していくべきかを解説していきたいと思います。...

Pythonで統計学をwebで学ぶ方法

Pythonで統計学を本で学んだ後に、webでも学びたくなる場合があります

そういった場合にはこちらがおすすめです

「データ分析のための統計学入門」

無料でこのクオリティのものはまだみたことがありません

多少のお金を払う余裕がある場合におすすめなのは「世界最大級のオンライン学習サイトUdemy」です

Udemyは元々の値段が高めに設定されていますが、クーポンの配布などが頻繁に行われているため、1/10くらいの値段で購入することができます

統計学の基礎から学びたい場合には、「統計学入門」がおすすめ

Pythonとは関係なく、統計学を基礎から学びたい方は、「統計学入門」がおすすめです

統計学入門

posted with ヨメレバ

東京大学 東京大学出版会 1991年07月01日頃

楽天ブックス

Amazon

Kindle

合わせて「完全独習統計学入門」も読むことで、統計学の基本的な事項は網羅することができます

完全独習統計学入門

posted with ヨメレバ

小島寛之 ダイヤモンド社 2006年09月

楽天ブックス

楽天kobo

Amazon

Kindle

Pythonで統計学を学び、将来的にデータ分析のエンジニアになりたい場合は「データミックス」がおすすめ

データミックス(datamix)の基本情報は、次の通りです。

データミックスは、年間2,200名以上が受講するデータサイエンスに特化したスクールで、全くの未経験者でも通用するデータサイエンティストの育成を行っています

データサインティストに求められるのスキルは、

• 統計学
• 機械学習
• 人工知能(AI)
• プログラミング

といった幅広い分野を網羅している必要があります

データミックスでは、上記4つのスキルを未経験からでも学べるようにカリキュラムが構成されています

datamix(データミックス)で学んだ後の将来

データミックスで学んだ卒業生は、データサイエンスを活かして、コンサルタント事業やデータエンジニア、分析コンサルタントなどの分野で活躍しています

受講生の成果物として、「FC東京がJリーグ上位を目指すための提案」や「機械学習によるCOVIDワクチンの実験条件探索」などがあります

どちらの方も、プログラミング未経験でpythonを使って、分析を行っています

データミックスでは、python未経験者でも動画のような解析を行えるようにカリキュラムが構成されています

※無料オンライン相談や個別相談などさまざまなイベントが開催中

Pythonで統計学を効果的に学ぶ方法

Pythonで統計学を効果的に学ぶには、いくつか方法があります

私はPythonで統計学を学んでいるので、実際にPythonで統計学を学ぶ手順について解説したいと思います

環境構築

まずはPythonを扱えるように環境構築を行う必要があります

統計学を学ぶのであれば、Anacondaを使用するのがおすすめです

Pythonの環境構築〜Anacondaとは？〜サンプルコードと図解付きPythonの環境構築を調べると、「Anaconda」という文字を見かけるかと思います。 僕も最初はよくわからなくて、とりあえずwebサイトに書いてある通りに進めていきました。 そのおかげもあり、3回ほど環境構築で挫折をしました。 現在はAnacondaを使ってpythonの学習を進めています。 なので、今回はAnacondaの環境構築について解説をしていこうと思います。 この記事を読んでいるかたが迷子にならないように、画像付きで解説していこうと思いますので、最後までお付き合いください。...

Anacondaの環境構築が完了したら、syderを起動させます

Pythonをspyderで起動する方法〜図解付きで簡単にわかる〜今回は spyderとはなんなのか？ Spyderの利用方法は？ について解説をしていきたいと思います。 spyderを使うことでpythonの独学が加速すると思います。 ぜひ参考にしてみてください...

Pythonの基礎文法と用語の理解

まずは統計学の勉強を進める前に、Pythonの基礎文法と用語の理解を進めましょう

あくまでもPythonという言語で統計学を学んでいくため、Pythonの基礎文法がわからなければ、統計学の学習に進むことができません

Pythonのライブラリやモジュール、変数、if文などについては知っておいたほうがいいと思います

Pythonの外部ライブラリについて(インストール方法から更新・アンインストールまで)Pythonにはライブラリと呼ばれる、いくつかのパッケージを一つにまとめたものがあります。 これを使用することで、グラフを書いたり、統計解析を行なったりすることが可能になっています ライブラリには標準ライブラリと外部ライブラリが用意されていますが、 この記事では、Pythonの外部ライブラリについて詳しく解説していきたいと思います...

Pythonのモジュールについて詳しく説明〜わかりやすいサンプルコードつき〜Pythonなどのプログラミング言語を学んでいると、カタカナが多く、嫌になります。 その一つにモジュールがあります。 初めて見た...

pythonの変数とは？どういう時に使うのか、サンプルコードを交えて解説pythonに限らず、ほとんどのプログラミング言語で「変数」は出てきます 変数とは値を格納するためのものとして紹介されていますが、具体...

統計学の基本的な用語と考え方を学ぶ

統計学には推測統計学・記述統計学・ベイズ統計学に分けられます

今回学ぶのは、推測統計学と記述統計学で、一般的に「統計学」と呼ばれるものです

推測統計学

推測統計学は母集団から一部のデータ(サンプル)を抽出して、サンプルから母集団に関する推論を行います

サンプルデータから得られた情報をもとに、母集団の平均や比率、関連性などを予測し、予測がどの程度信頼できるのかも評価します

記述統計学

記述統計学は、集められたデータを集計し、可視化を行います

記述統計学で一般的に用いられているのは、平均値や中央値・最頻値などです

Pythonを使えば平均値や中央値、分散などをまとめた要約統計量というものを1行で出力することが可能です

統計学の基本的な用語と考え方について学びつつ、Pythonの基礎文法などを同時に学んでおくと効率よく学ぶことができます

統計検定の考え方について学ぶ

推測統計学は仮説検定を用いて、研究対象の性質について仮説を立てて、その仮説を検証することを目的としています

仮設検定の手順は、

1. 母集団に対する仮説を立てる
2. 母集団からサンプルを抽出する
3. 抽出したサンプルを適切な検定手法で検証する

という流れになります

• 【pythonで統計学】帰無仮説と対立仮説について
• 【pythonで統計学】背理法の基本について

相関関係の考え方について学ぶ

相関関係とは、Aという値が高く(低く)なれば、一方Bという値も高く(低く)なる、というのを相関関係と呼びます

この時、どのくらい関係しているのか？ということを示すのが、相関係数です

相関係数を求める方法〜サンプルコード+可視化付き〜【Pythonで統計学】研究を行っていると、結構な頻度で相関係数を算出することがあります 今回は、相関係数をpythonで算出する方法を解説していきたいと...

また、相関関係と因果関係を混同してしまう場合があるので、こちらの書籍で相関関係と因果関係について整理しておくことをおすすめします

「原因と結果」の経済学

posted with ヨメレバ

中室 牧子/津川 友介 ダイヤモンド社 2017年02月17日頃

楽天ブックス

Amazon

Kindle

ある程度の理解が得られたら、以下の順に進めていきましょう

1. 【pythonで統計学】ヒストグラムとpythonでの作成方法
2. 【pythonで統計学】統計分析におけるデータの種類と扱い方
3. 【pythonで統計学】データの代表値を算出する
4. 【pythonで統計学】データのばらつきを表す散布度について(四分位数を中心に)
5. 【pythonで統計学】統計解析に必須の分散と標準偏差・平均偏差について
6. 【pythonで統計学】データのばらつきを示す変動係数の求め方
7. 【pythonで統計学】ノンパラメトリックとパラメトリック検定について
8. 【pythonで統計学】pandasを使って要約統計量を算出する方法
9. 【pythonで統計学】正規性の検定(シャピロウィルク検定etc)のかけ方
10. 【pythonで統計学】マンホイットニーのU検定を実施する
11. 【pythonで統計学】ウィルコクソン符号付き順位検定
12. 【pythonで統計学】等分散性の検定について(ルビーン検定・バートレット検定)
13. 【pythonで統計学】t検定のかけ方
14. 【pythonで統計学】95%信頼区間の求め方

上記のリンクから統計学に関する情報は概ね網羅することができるようになっています

2群の比較までならこれでOKです。回帰分析などは機械学習に含まれるので、機械学習の項目で説明をしていきます

https://python-man.club/python_machinelearning/

また、統計学を学ぶなら、p値だけではなく95%信頼区間についてもしっかりと理解しておくことが大切です

※無料オンライン相談や個別相談などさまざまなイベントが開催中

ビジネスにも活用できる統計学

統計学はビジネスにおいても活用することができ、マーケティング領域においては絶大な効果を発揮します

特に回帰分析や相関関係はよく使用されます

Pythonとマーケティングを学ぶべき理由と活用方法｜学習方法も解説Pythonは汎用性の高いプログラミング言語で、プログラミング未経験者でもわかりやすいコード記述、他のプログラミング言語に比べて習得難易度が低い、といったメリットがあります。Pythonでは、AI開発以外にもデータ分析やスクレイピング、業務の自動化などを行うことができ、マーケティング分野にも活用することができます。この記事では、Pythonとマーケティングを学ぶべき理由と活用方法やマーケティングの学習方法について解説をしていきます。とはいえ、Pythonとマーケティングを同時に学ぶことは、ハードルが高いので、まずはマーケティングについて学ぶのがおすすめで。...

ここまで学習することができたら、求人を確認しておきましょう

求人の「応募資格」を確認することで、自分に足りない部分を把握することができます

まとめ

• Pythonはデータ分析のライブラリが方法なので、統計学を学ぶのに有用
• 統計基礎は機械学習に通じるので、Pythonで学べばデータサイエンティストも目指せる
• Pythonの基礎と統計学の基礎を同時に学び、実装していく

Pythonを使ってデータ分析をできるようになりたいけど、pythonの統計学講座はたくさんの種類があって、よくわからない。

本当に講座を受講してpythonを扱えるようになるのだろうか？無料講座とかはないの？

こういった疑問に答えます

この記事を書いている私はpythonの統計学講座をいくつか受講しました

独学で半年程度学んできましたが、ある程度のものであれば、作れるようになってきました

独学でもこれくらいは作れるようになりますので、安心してください。

pythonの統計学講座でおすすめは「データ分析のための統計学入門」

Pythonの統計学講座でおすすめは「データ分析のための統計学入門」です

無料でこのクオリティのものを学べるのは、他にないからです。

執筆しているのはアメリカのデータサイエンティストであり、現役の知識を学ぶことができます

体験談：無料でも統計ソフトを作ることができた

私が統計ソフトを作ろうと思ったときに、最も参考にしたのが「データ分析のための統計学入門」です

こちらはアメリカのデータサイエンティストらが執筆したものを翻訳したものであり、PDF版であれば無料で利用することができ、基礎から学びたい方におすすめです。

動画でpythonの統計学講座を受けたい方は「データ・ドリブン社会の創発と戦略」がおすすめ

2016年春から慶應SFCにて行っている「データ・ドリブン社会の創発と戦略」の講義（木曜2限）をこの秋、思い切って公開設定にしました。ご興味のある人は良かったらここから毎週ご覧頂ければです。https://t.co/0f2DY5dqh4

— Kaz Ataka / 安宅和人 (@kaz_ataka) October 19, 2019

メモ：安宅和人氏の書籍「イシューからはじめよ」は社会人になる前には一度読んでおきたい書籍です

イシューからはじめよ

posted with ヨメレバ

安宅和人 英治出版 2010年12月

楽天ブックス

Amazon

Kindle

よくある疑問：独学でpythonの統計学を学ぶことができる？

「本当に独学でpythonの統計学を学ぶことができるの？」という疑問があるかと思います

答えは「本人次第」になります

なぜなら学ぶ気がなければ、独学でもスクールでも全く身にならないからです

私は全くの未経験からpythonで統計ソフトを作成しました

精神論は好きではないですが、結局は本人のやる気に左右されます

よくある疑問②：有料の方が質問とかがしやすいのでは？

「有料のスクールなどに通えば、質問がしやすいと思うのですが」という疑問もあると思います

「テラテイル」を使えば独学でも質問できます

「テラテイル」は現役のエンジニアが無料で質問に答えてくれるサービスです。

私はここで何度か質問をしましたが、懇切丁寧にご教授いただきました。

なので、無料でも質問はできます

本人のやる気や目標がしっかりあれば、無料でもしっかりとpythonの統計学について学ぶことができます。

よくある疑問③：書籍では学べないの？

「独学でやるなら書籍で学びたいんだけど、いい参考書ないですか？」という疑問もあるかと思います

実際、私のtwitterのDMにもきます

おすすめは「pythonで学ぶ統計学の教科書」です

Pythonで学ぶあたらしい統計学の教科書

posted with ヨメレバ

馬場 真哉 翔泳社 2018年04月19日頃

楽天ブックス

Amazon

Kindle

統計学だけではなく、機械学習・データの可視化まで網羅しているので、学び込めばそれだけ糧になります

pythonの統計学講座を学び、データサイエンティストを目指すなら「python start lab」がおすすめ

Python start labはプログラミングスクールの中でも、最安値でpythonを学ぶことできます

しかもpythonに特化しており、チャットで質問もし放題です

受講生の9割はプログラミング未経験者であるため、最後まで継続できるカリキュラム構成になっています

プログラミングスクールは他にもたくさんありますが、pythonに特化したスクールであれば、python start labが間違いないです

Python start labで機械学習なども学びつつ、上記の「データ分析のための統計学入門」を並行して進めれば、より一層理解が深まり、データサイエンティストへの道も近づきます

pythonではなくRailsを学んでみたい

Pythonの他に人気なのは「Rails」です

Railsを学ぶのであれば、RUNTEQ(無料カウンセリング可能)がおすすめです

プログラミングスクールRUNTEQ(@_RUNTEQ_ )さん受講しているんだけど、すごくよい！

一般的なスクールのようにただチュートリアルを写経するのではなくて、

・仕様書を読み解いて新規実装
・プルリクエストを通して自動テストで課題解決

って感じだから、考えて実装できるようになるな。 pic.twitter.com/z17XdBfVDV

— DAI (@never_be_a_pm) July 25, 2020

RUNTEQは修了生のポートフォリオがハイレベル、

さらに転職・就職サポートもあり、pythonで統計学を学んだ後もフォローもしっかりしています

プログラミングスクールについて知れば知るほどRUNTEQが神がかってたことに気付かされる https://t.co/Bq0ym7Srqj

— おやゆゔぃ (@kenny_0418) September 11, 2019

RUNTEQさんのカリキュラム、現役エンジニアの視点から見ても非常に良いと思います。
例外処理は特に独学だと難しいところ。
slack通知もカリキュラムに入れているので、OAuth2.0についての理解も進むはずです。 pic.twitter.com/Tenef6VqrG

— アラスケ (@ar30suke) March 4, 2020

完全無料独学でpythonの統計学を学びたい方は、こちらの記事にpythonで統計学を順序立てて学べるようにまとめてあります

ぜひこちらを参考にしてみてください

pythonで統計学を学ぶメリット〜実際の学習手順を紹介〜近年、データサイエンティストの需要が高まってきていますが、データサイエンティスト必須能力として、「プログラミング言語」「統計学」が挙げられています。pythonで統計学を扱えれば、データサイエンティストとしての道も開けるでしょう。今回はpythonで統計学を学ぶメリットや実際にどのように学習していくべきかを解説していきたいと思います。...

サンプルサイズとは研究対象者のことで、

少なすぎると有意差があるのに、有意差が出なかったり、

多すぎると有意差がないのに、有意差が出たりします

そのため、あらかじめサンプルサイズを決めておくことは、とても重要になります

今回の記事では、pythonを使ってサンプルサイズを求める方法を解説していきたいと思います

サンプルコードもあるので、実際に手を動かしながら試してみてください！

サンプルサイズとは

サンプルサイズとは、研究対象者のことを指します

よくn=xxxと表記されているものです

サンプルサイズは大きくなるにつれて標本誤差が減少していくという特徴を持っています

間違えやすいのがサンプル数です

サンプル数は標本の数なので、間違えないようにしておきましょう

また、研究対象者を集まるだけ集める、というのは倫理的に好ましくないです

研究対象者の時間を奪っているので、必要な人数だけデータを取るのが推奨されます

サンプルサイズを誤るとエラーが出る

サンプルサイズを求めなくてはいけないのは、サンプルサイズを誤るとエラーが出るためです

このエラーをαエラー(第1種の過誤)、βエラー(第2種のエラー)と呼びます

αエラーはサンプルサイズが少ない場合におきます

本来は有意差があるはずなのに、有意差がないという結果が出てしまう場合です

βエラーはサンプルサイズが大きすぎる場合におきます

本来は有意差がないはずなのに、有意差があるという結果が出てしまいます

pythonでサンプルサイズを求める

では実際にサンプルサイズを求めたいと思います

検定の種類によっていくつかに分かれています

import statsmodels.stats.power as smp

#平均値に関するt検定(1,2標本,対応あり)
# 平均値の差
delta = 0.5
# 標準偏差
sd    = 1
# 有意水準
sig   = 0.05
# 検定力
power = 0.8
# 効果量 (平均値の差 / 標準偏差 )
effect_size = delta / sd
# 両側検定
alternative='two-sided'
n = smp.tt_ind_solve_power(effect_size=effect_size,  alpha=sig, power=power, alternative=alternative)
print(n)

#サンプルサイズの異なる2群の平均値に関するt検定 
# 有意水準
sig   = 0.05
# 検定力
power = 0.8
# 効果量
effect_size = 0.6
# レシオ  サンプルサイズは、2:3
ratio = 60./90

# 両側検定
alternative='two-sided'
n = smp.tt_ind_solve_power(effect_size=effect_size,  alpha=sig, power=power, alternative=alternative, ratio=ratio)
print("alternative=two-sided: ", n)

有意水準、検定力は任意の数値で大丈夫です

基本的には有意水準0.05が一般的です

また、検定力は0.8が推奨されています

参考文献はこちらから

It is proposed here as a convention that, when the investigator has no other basis for setting the desired power value, the value .80 be used.
(ここでは，分析者が望む検出力を設定するための他の根拠がない場合，値.80を使用することを慣習として提案する。)

p56より

便利なのがG power

pythonでサンプルサイズを求めることもできますが、もっと便利なのが「G power」です

G powerはサンプルサイズを求めるのに特化した無料ソフト

これは使い方の資料もネット上に置いてあるので、それをみるだけで、操作ができます

pythonで一度サンプルサイズを求められるようになったら、G powerを使うのがいいかもです

G power

G powerの使い方1

G powerの使い方2

まとめ

• pythonでサンプルサイズを求めるときは、statsmodels.stats.power
• サンプルサイズを誤るとエラーが起きる
• 便利なのはG power

統計学を学べる良書

私は大学院+独学で統計学を学び続けています

これまで参考になった統計学書は以下のものです

完全独習統計学入門

posted with ヨメレバ

小島寛之 ダイヤモンド社 2006年09月

楽天ブックス

Amazon

Kindle

統計学入門

posted with ヨメレバ

東京大学 東京大学出版会 1991年07月01日頃

楽天ブックス

Amazon

Kindle

文系のための統計学入門

posted with ヨメレバ

河口洋行 日本評論社 2021年08月03日頃

楽天ブックス

Amazon

Kindle

統計解析法入門

posted with ヨメレバ

大宮眞弓/松島正知 森北出版 2015年04月

楽天ブックス

Amazon

Kindle

サンプルサイズの設計

posted with ヨメレバ

山口拓洋 鍬谷書店 2010年12月01日頃

楽天ブックス

Amazon

Kindle

• 記述統計学
• 推測統計学
• ベイズ統計学

t検定などの「統計的仮説検定」を用いる統計学は推測統計学になります

さらに推測統計学は

• 点推定
• 区間推定

の2つに分けられます

今回は推測統計学と記述統計学について解説したあと、pythonでどのよう表現するのかをサンプルコードを記述していきたいと思います

推測統計学とは

推測統計学とは、母集団から標本を無作為に抽出し、試行を繰り返せば、標本から母集団の推測できること、とされています

推測統計学では対象を母集団としており、

記述統計学では対象を標本としています

基本的には母集団全員の情報を得ることは難しいです

そのため、推測統計学というものが出てきます

推測統計学における母集団と標本

推測統計学では母集団と標本という言葉が頻繁に出てきます

• 母集団：研究や調査によって対象となる集団
• 標本：母集団から抽出した対象からなる集団

つまり標本は母集団のミニチュア版ということになります

標本数と標本サイズ
標本数(サンプル数)：母集団から抽出したデータの数
標本サイズ(サンプルサイズ)：1つのサンプル数のデータの数

推測統計学における無作為抽出

無作為抽出とは、標本調査において標本の対象を母集団から無作為(ランダム)に選び出すことをいいます

推測統計学では、「標本は母集団から無作為抽出された集団」を前提にしています

しかし、実際の研究では無作為抽出を行うのは簡単ではないです

特に人を対象とする研究は対象者から同意を得る必要があります

同意を得られたのは、研究に大して前向きな対象者であったり偏った年代の方だけであったり…

と偏ったデータが集まってしまう可能性があります

なので、大切なのは「無理のない範囲で母集団を設定する」ということです

推測統計学の推定と検定

推測統計学には推定と検定の2種類があります

• 推定：標本データを用いて、母集団を調査した時の数値を表現すること
• 検定：標本データを用いて、母集団を調査したときにわかることについて想定した仮説が誤っているかどうかを判定する
• 点推定：平均値や中央値などの1つの数値で表現すること
• 区間推定：区間で表現したもの

【pythonで統計学】95%信頼区間の求め方〜サンプルコード付き〜これまでt検定や要約統計量などの求め方を解説してきました。また、ヒストグラムの作図や代表値などについても触れてきました。今回の記事では、論文投稿の際に求められることが増えてきていると言われている「 95%信頼区間」をpythonで求めていきたいと思います。...

検定は「仮説が誤っているか」どうかを確率で判定します

【pythonで統計学】帰無仮説と対立仮説について〜わかりやすい例付き〜初めて統計学に触れたとき、帰無仮説？対立仮説？棄却？有意水準？と、わからないことしかありませんでした。おそらく初めて統計学に触れる方は、誰もが通る道かと思います。ここの部分を間違って覚えてしまうと、その後の結果の解釈の誤ってしまうので、今回の記事で帰無仮説と対立仮説は完璧にしておきましょう。...

統計的仮説検定では「背理法」という考え方も用いられています

確率はわかりやすいと思いますが、背理法について詳しく知りたい方は以下の記事を参考にしてください

【pythonで統計学】背理法の基本について統計的仮説検定を用いる場合には、その背景に「背理法」という考え方が採用されています。背理法を始めて聞く場合には、わかりにくいものですが、慣れれば自身の思考の糧にすることができます。この記事では、背理法とは何かについて解説していきたいと思います。...

pythonで区間推定を試してみる

では実際にpythonで区間推定を試してみましょう

よく用いられるのは信頼区間ですが、信頼区間はpythonを使わずとも、以下のように算出することができます

ただし、とてもめんどくさいので、pythonを使いましょう

import numpy as np
from scipy import stats
import pandas as pd
import seaborn as sns
sns.set()

#seabornに含まれているirisのデータを使用する
iris = pd.read_csv('https://raw.githubusercontent.com/mwaskom/seaborn-data/master/iris.csv')
sepal_length=iris.iloc[:,0]
n=50
sample_df = sepal_length.sample(n=n)
print(sample_df.mean())

sample_mean = np.mean(sepal_length)
sample_var = stats.tvar(sepal_length)
print(stats.norm.interval(alpha=0.95, loc=sample_mean, scale=np.sqrt(sample_var/n)))

実際の結果は以下のようになります

上の数値は標本平均、下の値が95%信頼区間になります

これは母集団(母数)の値は95%の信頼区間で5.61〜6.07の間にある、ということになります

サンプルサイズが増えれば、幅も狭くなります

信頼区間はαを設定する必要がありますが、その多くは95%で計算をされています

まとめ

• 統計学は推測統計・記述統計・ベイズ統計学
• 推測統計学は推定と検定の2種類を使う
• 推定とは標本データを用いて、母集団を調査した時の数値を表現すること
• 検定とは標本データを用いて、母集団を調査したときにわかることについて想定した仮説が誤っているかどうかを判定する
• 推定には区間推定と点推定がある
• 区間推定は95%信頼区間

統計学を学べる良書

私は大学院+独学で統計学を学び続けています

これまで参考になった統計学書は以下のものです

完全独習統計学入門

posted with ヨメレバ

小島寛之 ダイヤモンド社 2006年09月

楽天ブックス

Amazon

Kindle

統計学入門

posted with ヨメレバ

東京大学 東京大学出版会 1991年07月01日頃

楽天ブックス

Amazon

Kindle

文系のための統計学入門

posted with ヨメレバ

河口洋行 日本評論社 2021年08月03日頃

楽天ブックス

Amazon

Kindle

統計解析法入門

posted with ヨメレバ

大宮眞弓/松島正知 森北出版 2015年04月

楽天ブックス

Amazon

Kindle

背理法を始めて聞く場合には、わかりにくいものですが、慣れれば自身の思考の糧にすることができます

この記事では、背理法とは何かについて解説していきたいと思います

pythonで統計学を学ぶ流れは以下の記事を参考にしてください

pythonで統計学を学ぶメリット〜実際の学習手順を紹介〜近年、データサイエンティストの需要が高まってきていますが、データサイエンティスト必須能力として、「プログラミング言語」「統計学」が挙げられています。pythonで統計学を扱えれば、データサイエンティストとしての道も開けるでしょう。今回はpythonで統計学を学ぶメリットや実際にどのように学習していくべきかを解説していきたいと思います。...

背理法とは

背理法とは、コトバンクで以下のように定義されています

命題の仮定のほかに，結論の否定を仮定して推論を行ない，そこから導かれる矛盾を示すことで命題を証明する方法

もう少し簡単にすると、

「命題Aを証明するのに、命題Aが成り立たないと仮定し、矛盾が導かれることを示すことで、命題Aが成り立つと証明する方法」

のことです

統計的仮説検定で背理法が用いられるのは、

• 仮説の正しさを証明することが難しい
• 仮説が正しくないことを証明することは可能

といった理由が挙げられます

「命題」がわからない場合には以下の書籍から学ぶのをおすすめします

論理学は人の思考の根底にある学問であるため、どのような職業の人でも必須の学問だと思います

まったくゼロからの論理学

posted with ヨメレバ

野矢　茂樹 岩波書店 2020年02月28日頃

楽天ブックス

Amazon

Kindle

背理法の例

命題A：猫は動物である

「猫は動物ではない」と仮定する(帰無仮説)

「猫は動物ではない」という仮定の矛盾点を見つける

「猫は動物ではない」という仮定に矛盾点があるので、仮定は否定される

よって、「猫は動物である」(対立仮説)が証明される

帰無仮説・対立仮説については以下の記事を参考にしてください

【pythonで統計学】帰無仮説と対立仮説について〜わかりやすい例付き〜初めて統計学に触れたとき、帰無仮説？対立仮説？棄却？有意水準？と、わからないことしかありませんでした。おそらく初めて統計学に触れる方は、誰もが通る道かと思います。ここの部分を間違って覚えてしまうと、その後の結果の解釈の誤ってしまうので、今回の記事で帰無仮説と対立仮説は完璧にしておきましょう。...

背理法を用いて仮説を証明する

背理法を用いるのは、「仮説の正しさを証明することが難しい」という理由があります

例えば「この世のカラスは黒い」という仮定を証明するにはどうすればいいでしょうか？

「この世のカラスは黒くない」という反対の仮説を立てます

「この世のカラスは黒くない」を証明するには、黒いカラスをたくさん見つけてくればOKです

100羽観察して、100羽とも黒いカラスだった=「この世のカラスは黒くない」という仮説は間違っている

つまり、「この世のカラスは黒い」という仮説が正しい

という風に導かれます

仮説が正しいことを証明することは難しいですが、仮説が正しくないことを証明することは可能です

そのため、統計的仮説検定でも同じような方法が用いられることになります

どれくらいの黒いカラスを見つけるべきか

上述した黒いカラスの例では、100羽見つけて100羽とも黒いカラスだった=「この世のカラスは黒くない」というカラスは間違っている

という判断をしました

この判断する数値を有意水準と言います

慣例的に用いられる有意水準は5%ですが、100羽のうち95羽が黒いカラスであれば、仮説は間違っている、という判断になります

背理法の落とし穴

100羽のうち95羽が黒いカラスであった場合には、「この世のカラスは黒くない」という仮説が間違っていた、と判断することができます

しかし、100羽のうち94羽が黒いカラスだった場合にはどうでしょう？

「この世のカラスは黒くない」という仮説が正しいと判断しても良いのでしょうか？

ここが背理法の落とし穴なのですが、帰無仮説が棄却されなかった場合、「帰無仮説が正しい」とはなりません

「帰無仮説が正しいかどうかはわからない」という結論になるだけです

今回の場合は「この世のカラスは黒くないかどうかはわからない」ということです

まとめ

• 背理法：命題Aを証明するのに、命題Aが成り立たないと仮定すると矛盾が導かれること示すことで、命題Aが成り立つと証明する方法
• 背理法の証明の流れ
  1. 「命題𝐴」を証明したい
  2. 「命題Aが成り立たない」と仮定する
  3. 「命題Aが成り立たない」という仮定が矛盾することを、計算や推論で導く
  4. よって「矛盾があるので仮定は間違いである！」となる
  5. したがって「命題Aは正しい」と結論付ける

帰無仮説？対立仮説？棄却？有意水準？

と、わからないことしかありませんでした

おそらく初めて統計学に触れる方は、誰もが通る道かと思います

ここの部分を間違って覚えてしまうと、その後の結果の解釈の誤ってしまうので、

今回の記事で帰無仮説と対立仮説は完璧にしておきましょう

pythonで統計学を学ぶ流れは以下の記事を参考にしてください

pythonで統計学を学ぶメリット〜実際の学習手順を紹介〜近年、データサイエンティストの需要が高まってきていますが、データサイエンティスト必須能力として、「プログラミング言語」「統計学」が挙げられています。pythonで統計学を扱えれば、データサイエンティストとしての道も開けるでしょう。今回はpythonで統計学を学ぶメリットや実際にどのように学習していくべきかを解説していきたいと思います。...

帰無仮説と対立仮説とは

帰無仮説と対立仮説の前に、統計検定のちょっと変わった考え方に触れておきます

統計検定には背理法という考え方が含まれています

統計検定は、「差がないことを否定して、差があることを証明する」という手順を踏みます

こういう手順を踏む理由は、

1. 立てた仮説の正しさを証明することが難しい
2. 仮説が正しくないことを証明することは可能

と、大きく2つの理由があります

背理法については以下の記事で深掘りしているので、参考にしてください

【pythonで統計学】背理法の基本について統計的仮説検定を用いる場合には、その背景に「背理法」という考え方が採用されています。背理法を始めて聞く場合には、わかりにくいものですが、慣れれば自身の思考の糧にすることができます。この記事では、背理法とは何かについて解説していきたいと思います。...

統計的仮説検定について

帰無仮説・対立仮説を用いる場合は、「統計的仮説検定」を行う場合です

統計的仮説検定はwikipediaで以下のように説明されています

統計的仮説検定（statistical hypothesis testing）とは、母集団分布の母数に関する仮説を標本から検証する統計学的方法のひとつ。日本工業規格では、仮説(statistical hypothesis)を「母数又は確率分布についての宣言。帰無仮説と対立仮説がある。」と定義している。検定(statistical test)を「帰無仮説を棄却し対立仮説を支持するか，又は帰無仮説を棄却しないかを観測値に基づいて決めるための統計的手続き。その手続きは，帰無仮説が成立しているにもかかわらず棄却する確率がα以下になるように決められる。このαを有意水準という。」と定義している。

仮説Aが正しいとした場合、実際のデータから仮説Aの状態になる確率を算出したとき、その確率が十分に小さい場合には仮説Aは成り立ちそうにないと判断する

ということになります

帰無仮説とは

帰無仮説とは、「棄却したい仮説」のことを指します

棄却というのは、その仮説を捨てるようなものです

帰無というのは「無に帰す(=差がない)」ということを指しています

そのため、帰無仮説は差がない・違いがない仮説、ということになります

対立仮説とは

対立仮説とは、帰無仮説に対して立てられる仮説であるため、そう呼ばれています

対立仮説は、差がある・違いがある仮説、ということになります

帰無仮説と対立仮説の例

「運動を週5回している人たち(A群)としていない人たち(B群)では、BMIに差がある」

ということを証明したいとしましょう

帰無仮説は差がない・違いがない、というものだったので、

帰無仮説：A群とB群のBMIに差はない

これに対するのが、対立仮説なので、

対立仮説：A群とB群のBMIに差がある

ということになります

2群の値を統計検定にかけた際に出てくる、p値(p-value)が0.05未満であれば、帰無仮説を棄却します

(慣例的に有意水準が5%になっていることが多いです。分野によっては1%(0.01)のこともあります)

実際に検定をかけてみる

上記の例を実際に統計にかけてみたいと思います

今回は対応のないt検定で統計をかけたいと思います

from scipy import stats
import numpy as np

A=np.array([21,20,18,22,19,21,20])#A群のBMI
B=np.array([31,30,25,27,13,28,27])#B群のBMI
result=stats.ttest_ind(A, B, alternative='two-sided')
print("p=%.3f" %(result.pvalue))

>>>p=0.030

上記の様になるかと思います

さらに作図もしましょう

import pandas as pd
from scipy import stats
import numpy as np
from matplotlib import pyplot as plt
import seaborn as sns
sns.set()

A=np.array([21,20,18,22,19,21,20])
B=np.array([31,30,25,27,13,28,27])
result=stats.ttest_ind(A, B, alternative='two-sided')
print("p=%.3f" %(result.pvalue))
data=[["BMI",A.mean(),B.mean()]]
df=pd.DataFrame(data,columns=["name","A","B"]) 


color=["r","b"]
df.plot(x="name",y=["A","B"],kind="bar",color=color,figsize=(4,3))
 
plt.show()

平均の棒グラフで見ても、2群に差がありそうな感じはしますね

実際のp値は0.05未満なので、帰無仮説が棄却され、2群に有意差がある、という結果になります

帰無仮説を棄却できない場合

結構勘違いしやすいのですが、p値が0.05以上の場合、対立仮説を棄却する、つまり帰無仮説が正しい、と判断してしまいやすいです

しかし、帰無仮説が棄却できなかった場合、「A群とB群で血圧に差があるとは言えない」ということになります

ここは結構ややこしい部分ですが、間違えてしまわないようにしましょう

まとめ

• 帰無仮説：差がない・違いがないという仮説
• 対立仮説：差がある・違いがあるという仮説
• 棄却：その仮説を捨てること
• 有意水準：慣例的に5%とされている

多くの場合「p値」について理解していれば、研究結果を述べることができるかと思います

私もそうですし、学会や論文なんかでも「p値」のみに言及していることが多いです

しかし、統計の勉強を進めていくと「t値」を理解しなければいけないタイミングがやってきます

今回は「p値」のおさらいと「t値」について解説をしていきたいと思います

これまでの「pythonで統計学」の一覧はこちらから見ることができるので、そちらも参考にしてください！

pythonで統計学を学ぶメリット〜実際の学習手順を紹介〜近年、データサイエンティストの需要が高まってきていますが、データサイエンティスト必須能力として、「プログラミング言語」「統計学」が挙げられています。pythonで統計学を扱えれば、データサイエンティストとしての道も開けるでしょう。今回はpythonで統計学を学ぶメリットや実際にどのように学習していくべきかを解説していきたいと思います。...

t値とは

t値は検定統計量の1種で、t検定を行った際に出てきます

そのため「t値」と呼ばれています

マンホイットニーのU検定などをかけても「t値」は出てきません

以下を見比べるとわかります

t値の算出は、

t値=標本平均-比較対象値/標準誤差

で求めることができます

t値が0である場合には標本の結果が帰無仮説と完全に一致することを示していることになります

標本データと帰無仮説との差が増加すれば、t値の絶対値は増加していきます

t値単体ではあまり判断材料にはしません

ここでt分布という理解が必要になってきます

t分布とは

t分布とは「平均𝑥¯の標本分布において，母集団の標準偏差𝜎の代わりに標本標準偏差𝑠′を用いた場合の標準化後の平均𝑥¯が従う確率分布」です

ざっくりいうと、標準正規分布の代わりになるのが、t分布ということになります

＞＞＞標準正規分布について(…coming soon…)

言葉だけではわかりにくいので、実際にt分布をpythonで書いてみたいと思います

import numpy as np
import matplotlib.pyplot as plt
from scipy import stats

# -10 から 10　の区間で200列の一次元配列を作成
x = np.linspace(-10, 10, 200)

# サブプロットを用意
fig, ax = plt.subplots(1, 1)

# 自由度（1, 3, 30）の3つのt分布をプロット
deg_of_freedom = [1, 3, 30]
for k in deg_of_freedom:
    ax.plot(x, stats.t.pdf(x, k), label=r'$k=%i$' % k)

plt.xlim(-10, 10)
plt.ylim(0, 0.4)

plt.legend()
plt.show()

kが自由度を表していますが、自由度の値が大きくなるにつれてt分布がシャープになっているのがわかるかと思います

t分布はサンプルサイズが少ない(n=30以下)場合に用いる、と言われています

サンプルサイズが増えるにつれて、予測される平均値のブレが少なくなるため、シャープになっていきます

次に標準正規分布とt分布を比較してみたいと思います

import numpy as np
import matplotlib.pyplot as plt
from scipy import stats

x = np.linspace(-10, 10, 100)
z = stats.norm.pdf(x, loc=0, scale=1)
for k in range(1, 10, 4):
    t = stats.t.pdf(x, k)
    plt.plot(x, t, label=f'$k=%i$' % k)
plt.plot(x, z, label='std norm', linewidth=3)
plt.legend()

太い赤い線が標準正規分布なので、自由度が増加すると、t分布は標準正規分布に近似していくことがわかります

こういった背景があるため、サンプルサイズが増えた場合には、t分布ではなく、標準正規分布を使用してもOKだよね、となります

t分布から区間推定を行う

ではt分布から信頼区間を算出したいと思います

import numpy as np
import matplotlib.pyplot as plt
from scipy import stats

x = np.linspace(-5, 5, 100)
left, right = stats.t.interval(0.95, df=2)
t = stats.t.pdf(x, df=2)
plt.plot(x, t)
plt.axvline(left, c='r')
plt.axvline(right, c='r')
print(left, right)

>>>-4.302652729911275 4.302652729911275

信頼区間の幅が結構大きいのがわかるかと思います

自由度が小さい(今回は自由度2)場合には、区間も広くなってしまいます

では、自由度を大きくしてみたいと思います

import numpy as np
import matplotlib.pyplot as plt
from scipy import stats

x = np.linspace(-5, 5, 100)
left, right = stats.t.interval(0.95, df=100)
t = stats.t.pdf(x, df=100)
plt.plot(x, t)
plt.axvline(left, c='r')
plt.axvline(right, c='r')
print(left, right)

>>>-1.9839715184496334 1.9839715184496334

1枚目と2枚目の赤線の間が95%区間です

自由度が大きくなるにつれて、95%区間が狭くなるのがわかるかと思います

p値について

p値は多くの人が聞いたことのある単語だと思います

帰無仮説を棄却する値ですね

95%の確率でその事象が生じると仮定した場合に、

5%未満であった場合には「滅多に起こらないことが起きた(つまり帰無仮説が間違っていたのではないか)」ということで対立仮説を採択することになります

帰無仮説・対立仮説などのややこしい考え方は、背理法が元になっているので、

興味がある方は、背理法について学んでみてください

まったくゼロからの論理学

posted with ヨメレバ

野矢　茂樹 岩波書店 2020年02月28日頃

楽天ブックス

Amazon

Kindle

95%というのは、緑で塗りつぶしていない部分が該当します

基本的にはこの範囲に事象が入りうるというのが基本になっています

まとめ

• t分布は，平均𝑥¯の標本分布において，母集団の標準偏差𝜎の代わりに標本標準偏差𝑠′を用いた場合の標準化後の平均𝑥¯が従う確率分布
• t分布は自由度n-1を唯一のパラメータとする確率分布
• 自由度を大きくすると徐々に標準正規分布に近づく

また、ヒストグラムの作図や代表値などについても触れてきました

今回の記事では、論文投稿の際に求められることが増えてきていると言われている「 95%信頼区間」をpythonで求めていきたいと思います

Rを使用すれば、t値とp値の他にも信頼区間が算出されますが、pythonでは別にコードを入力しないと、95%信頼区間は算出できません

ウェルチのｔ検定をRとPythonでやってみる

Pythonではｔ値とｐ値だけ出力。なので、95％信頼区間が欲しければ別にコードを打たないといけない。

Rではｔ値とｐ値だけでなく、平均値差の95％信頼区間も含めて色々出力されます。

良し悪しではなく、特徴の違いです。
こういう統計関連はRが強い。 https://t.co/bYu6LMXXS4 pic.twitter.com/5Os00zV3sE

— さくら医療統計・データサイエンス (@Sakura_Med_DSci) October 19, 2021

stats.norm.interval()

95%信頼区間とは

95%信頼区間とは、

「母集団から標本を取ってきて、その平均から95%信頼区間を求める、という作業を100回やったときに、95回はその区間の中に母平均が含まれる」

ということを示しています

信頼区間は区間推定、平均値などの代表値を使用したものは点推定と呼ばれています

信頼区間の求め方

信頼区間はRやpythonを使用しなくても算出することができます

しかし、標本平均を求めたり普遍分散を求めたりと、作業が大変になります

pythonやRを使用すれば、簡単に算出することが可能です

pythonで95%信頼区間を算出する

では、ここからは実際にpythonを操作しながら、95%信頼区間を算出していきたいと思います

ライブラリのインポート

まずは95%信頼区間を算出し、グラフ化するために必要なライブラリをインポートしていきます

import pandas as pd
import seaborn as sns
sns.set()

今回は無料配布されているirisのデータをpandasからインポートして使用していきますので、そちらも合わせてインポートしておきましょう

iris = pd.read_csv('https://raw.githubusercontent.com/mwaskom/seaborn-data/master/iris.csv')
sepal_length=iris.iloc[:,0]
print(sepal_length)

今回はirisデータのsepal_lengthを使用していきたいと思います

分布の確認

ひとまず分布の確認をしておきます

import pandas as pd
import seaborn as sns
sns.set()

iris = pd.read_csv('https://raw.githubusercontent.com/mwaskom/seaborn-data/master/iris.csv')
sepal_length=iris.iloc[:,0]
print(sepal_length)

sns.displot(sepal_length)

正規分布かどうかが視覚的にわからない場合には、正規性の検定を用います

【pythonで統計学】正規性の検定(シャピロウィルク検定etc)のかけ方~サンプルコード付き~t検定などの統計手法をかける場合には、まずそのデータが正規分布しているかを調べなくてはいけません。正規性を確認する方法の一つに、ヒストグラムを書いて目視で確認する、という方法がありますが、これだけでは正確ではありません。 そこで、「Q-Qプロット」や「シャピロウィルク検定」「コルモゴロフスミルノフ検定」などを使用して、正規性を確認していきます。 実際に統計をかける場合には、csvやexcelデータなどを読み込んで、統計にかけることが多いと思います。そこで今回は、pythonを使ってcsvから取り込んだデータで正規性の検定を行う方法について、解説していきたいと思います。...

母平均を算出する

今回は上記のsepal_length150件を母集団としておき、母集団の平均である母平均を算出します

(※本来であれば、母集団はわかりません。それを推定するのが区間推定になります)

iris = pd.read_csv('https://raw.githubusercontent.com/mwaskom/seaborn-data/master/iris.csv')
sepal_length=iris.iloc[:,0]
print(sepal_length.mean())

#結果5.84

母集団の平均は「5.84」であることがわかりました

標本の作成

では、ここからはsepal_lengthからランダムで50件抽出した標本で話を進めていきたいと思います

import pandas as pd
import seaborn as sns
sns.set()

iris = pd.read_csv('https://raw.githubusercontent.com/mwaskom/seaborn-data/master/iris.csv')
sepal_length=iris.iloc[:,0]
print(sepal_length.mean())

n=50
sample_df = sepal_length.sample(n=n)
print(sample_df.mean())

.sample(n)を使用すれば、n件のデータをランダムで選択することができます

ランダムで50件抽出したら標本平均も算出します

母集団の平均は5.84

標本の平均は5.77

ということがわかります

95%信頼区間を算出する

では95%信頼区間を算出していきたいと思います

import numpy as np
from scipy import stats
import pandas as pd
import seaborn as sns
sns.set()

iris = pd.read_csv('https://raw.githubusercontent.com/mwaskom/seaborn-data/master/iris.csv')
sepal_length=iris.iloc[:,0]

n=50
sample_df = sepal_length.sample(n=n)

sample_mean = np.mean(sepal_length)
sample_var = stats.tvar(sepal_length)
print(stats.norm.interval(alpha=0.95, loc=sample_mean, scale=np.sqrt(sample_var/n)))

結果は「(5.613809330617545, 6.0728573360491245)」になるかと思います

このことから95%の確からしさで母平均は5.61〜6.07の間に含まれる、ということになります

実際の母平均は「5.84」なので、この信頼区間は正しいといってもよさそうです

まとめ

• 信頼区間とは母集団から標本を取ってきて、その平均から95%信頼区間を求める、という作業を100回やったときに、95回はその区間の中に母平均が含まれる
• pythonではstats.norm.interval()で算出できる
• 母集団の平均は未知である

pythonで統計学を学ぶ上で必須書籍

Pythonで学ぶあたらしい統計学の教科書

posted with ヨメレバ

馬場 真哉 翔泳社 2018年04月19日頃

楽天ブックス

Amazon

Kindle

完全独習統計学入門

posted with ヨメレバ

小島寛之 ダイヤモンド社 2006年09月

楽天ブックス

Amazon

Kindle

統計学入門

posted with ヨメレバ

東京大学 東京大学出版会 1991年07月01日頃

楽天ブックス

Amazon

Kindle

現場で使える！pandasデータ前処理入門 機械学習・データサイエンスで役立つ前処理手法

posted with ヨメレバ

株式会社ロンバート 翔泳社 2020年04月20日頃

楽天ブックス

Amazon

Kindle

はじめてのPython & seaborn

posted with ヨメレバ

十河 宏行 朝倉書店 2019年01月30日頃

楽天ブックス

Amazon

Kindle

スクールに通わずにpythonを学習するためには？

Python学習を進めていく上で、

「ひとまず何かしらの書籍に目を通したい」

「webで調べても全くわからない」

という状況が何度も何度でも出てくるかと思います。

そういう時に便利なのが、kindleとテラテイルです。

Kindleはご存知の通り、電子書籍です。

Kindleには多くのpython学習本が用意されており、無料で読むことができます。(たまに有料もあります)

ひとまずどういった書籍があるのか？

もしものために、書籍に目を通しておこう

という場合には、kindleの利用がおすすめです。

kindleでpythonの書籍を無料で読んでみる