[說明]¶
這是一份正式的市場調查專案，主要協助業主(左岸咖啡)了解市場產品定位
[問卷代碼編號]¶
Label No ="問卷代碼"
【第 A 部份】包裝咖啡之使用及購買行為¶
A101="左岸頻率" A102="伯朗頻率" A103="廣場頻率" A104="輕鬆頻率"
A2 ="咖啡偏好" A3 ="偏好口味"
A401="提神醒腦" A402="習慣飲用" A403="抒解口渴" A404="換喝飲料" A405="特殊口感" A406="享受感覺"
A501="知名度高" A502="廣告感覺" A503="價格合理" A504="包裝美觀" A505="整體口感"
A611="左岸知名" A612="左岸廣告" A613="左岸價格" A614="左岸包裝" A615="左岸口感"
A621="伯朗知名" A622="伯朗廣告" A623="伯朗價格" A624="伯朗包裝" A625="伯朗口感"
A631="廣場知名" A632="廣場廣告" A633="廣場價格" A634="廣場包裝" A635="廣場口感"
A641="輕鬆知名" A642="輕鬆廣告" A643="輕鬆價格" A644="輕鬆包裝" A645="輕鬆口感"
A701="猶豫程度" A702="後悔程度" A703="詢問程度" A704="關心程度" A705="注意程度" A706="選對重要"
A801="產品重要" A802="自我概念" A803="象徵價值" A804="商店忠誠(逆)" A805="品牌忠誠" A806="品牌信念(逆)"
A901="產品質佳" A902="積極開發" A903="重視權益"
【第 B 部份】左岸咖啡之使用及購買行為¶
B1 ="訊息接觸"
B201="口味香醇" B202="浪漫生活" B203="提振精神" B204="氣質優雅"
B301="廣告印象" B302="廣告說服" B303="廣告吸引" B304="廣告訊息"
B401="左岸意義" B402="左岸口味" B403="左岸價格" B404="左岸包裝"
B501="產品優質" B502="令人喜歡" B503="正面評價"
B6 ="促銷方案"
【第 C 部份】生活型態¶
C01 ="閱讀報章" C02 ="戶外活動" C03="價格敏感"
C04 ="偏好家居" C05 ="經常運動" C06="流行資訊"
C07 ="獨自工作" C08 ="重視休閒" C09="重視品牌"
C10 ="希望讚美" C11 ="朋友聚會" C12="重視外觀"
C13 ="工作時長" C14 ="政治冷漠" C15="社會憂心"
【第 D 部份】個人基本資料¶
Sex ="性別" AGE ="年齡" Occupatn="職業"
Edu ="教育程度" Income0="所得" Income ="調整後所得"
Area="居住地區" Intenst="產品強度";
[標準開始動作]. 如果你用python的目標是科學計算或數值分析，基本是引⼊三個套件¶
In [1]:
%matplotlib inline
##將後續畫圖的結果直接顯現在網頁中
import numpy as np
import matplotlib.pyplot as plt
import pandas as pd #
[PART 1].輸入資料與資料檢查¶
In [2]:
import xlrd #讀取excel檔的模板
excel_file = 'Pycafe.xlsx'
Cafe = pd.read_excel(excel_file)
In [3]:
print(Cafe.shape)# 印出資料維度
In [4]:
print(Cafe.info())# 印出 DataFrame 資料概況, 順便check有沒有missing value
In [5]:
Cafe.head() #看前五筆資料
Out[5]:
In [6]:
Cafe.tail() #看後面幾筆
Out[6]:
In [7]:
Cafe.sample(10)#隨機取10行
Out[7]:
[PART 2].基本敘述性統計¶
一般而言，一開始我們會從人口統計資料開始看起
In [8]:
Cafe.describe() #基本統計量, 但這種方法只能看全部，無法只看你想看的欄位(同時只會顯示量化資料)
Out[8]:
[2-1]. 次數分配表(交叉分析)¶
In [9]:
Cafe['Sex'].value_counts() #計算一下男女的分佈
Out[9]:
In [10]:
Cafe['Edu'].value_counts() #計算一下學歷的分佈
Out[10]:
In [11]:
result = Cafe['IncomeMd'].describe() #計算調整後的所得之敘述統計量
pd.DataFrame(result ) #格式化成DataFrame
Out[11]:
In [12]:
Cross0 = pd.crosstab(Cafe['Sex'], Cafe['Edu']) #建立交叉列聯表
Cross0
Out[12]:
In [13]:
Cross1 = pd.crosstab(Cafe['Sex'], Cafe['A3偏好口味']) #建立交叉列聯表
Cross1
Out[13]:
In [14]:
Cross2 = pd.crosstab(Cafe['Area'], Cafe['A3偏好口味']) #建立交叉列聯表
Cross2
Out[14]:
In [15]:
#我們可以採取一些更進階的交叉分析表
Cross3 = pd.crosstab(index=[Cafe['Area'], Cafe['Sex']],
columns=Cafe["A3偏好口味"]
)
Cross3
Out[15]:
[小結]¶
- 女生喜歡"加糖及奶精之香濃口味"; 男生喜歡"偏苦之咖啡原味"
- 南北部在口味偏好的比例上，大約是2:3左右的比例(偏苦之咖啡原味 : 加糖及奶精之香濃口味)，顯示"加糖及奶精之香濃口味"在比例上較高
- 承上，北部的男性，在偏好口味上未必有顯著差異，但女性則有
[2-2]. 樞紐分析表(Pivot Table)¶
通常一般敘述性統計我們就只能看看單一變數的基本狀況，若我們想要倆倆比較一下，則比較適合用樞紐分析表
In [16]:
Cafe.pivot_table('IncomeMd', index='Sex', columns='Occupatn') #樞紐分析表
Out[16]:
In [17]:
Cafe.pivot_table('IncomeMd', index='Occupatn', columns='Area') #樞紐分析表
Out[17]:
[小結].¶
- 以收入來說，自營企業(自己當老闆)的收入中位數高於其他組別; 同時除了自營企業之外，其他各組的女性收入都比男性高
- 從區域的角度來看，北部的所得並沒有南部高; 同時中部的白領階層在所得上顯著高於其他區域，可能是可開發的區域
[補充1]¶
matplotlib 幾乎是標準 Python 畫圖套件! 在有 matplotlib 之前, Python 要畫圖不那麼方便, 和 Python 很多套件一樣, 有許多方案, 但各家有不同的優缺點, 也沒有一套是大家都在用的。
而 matplotlib 仿 Matlab 式的畫圖方式, 讓很多人很快入手、並且功能相當完整。原作者是 John D. Hunter, 和很多 Python 的套件作者一樣, 他有博士學位。非常令人遺憾的是他在 2012 年因大腸直腸癌治療併發症過逝, 過逝時才 44 歲!
他在過逝前不久, 還被邀請到 SciPy 研討會的 Keynote, 回去之後就被檢查出有大腸直腸癌。因此這部影片大概就是他最後一次的 Keynote, 時間是 2012 年 7 月 18 日 (他在同年 8 月 28 日過逝)
[補充2].字形編碼問題¶
- 在matplotlib 或 Seaborn 中，對於中文必須特別設定，否則圖不會顯示中文
- 請採用以下設定，請參考
- 建議:
- Mac可用字體：SimHei
- Windows 可用字體：Microsoft JhengHei
[2-3-1]. 散佈圖¶
In [18]:
#基礎設定
from matplotlib.font_manager import FontProperties
import seaborn as sns
myfont=FontProperties(fname=r'C:\Users\user\Anaconda3\lib\site-packages\matplotlib\mpl-data\fonts\ttf\msj.ttf',size=14)
sns.set(font=myfont.get_family())
sns.set_style("whitegrid",{"font.sans-serif":['Microsoft JhengHei']})
In [19]:
sns.jointplot(x = "A101左岸頻率", y = "Intenst", data = Cafe)#散佈圖
Out[19]:
In [20]:
sns.scatterplot(x="Occupatn", y="Intenst",
hue="A101左岸頻率",
data=Cafe)
Out[20]:
[2-3-2].次數分配圖¶
In [21]:
#distplot的變數只能放數量資料
sns.distplot(Cafe['Intenst']) #產品強度的次數分佈
Out[21]:
[2-3-3].次數分配圖(count plot)¶
In [22]:
# countplot放屬質資料
sns.countplot(x = "A3偏好口味", data=Cafe)
Out[22]:
In [23]:
sns.countplot(x = "Income0", data=Cafe)
Out[23]:
[2-3-4]. Bar-Plot¶
In [24]:
sns.barplot(x="Occupatn", y="Intenst", data=Cafe)
Out[24]:
[小結].自營企業的產品強度最高，其他與藍領偏低¶
In [25]:
sns.barplot(x="Occupatn", y="Intenst", hue="Sex", data=Cafe)
Out[25]:
自營企業與白領階層，都是女性的產品強度較高 ; 但在藍領階層則為男性的產品強度較高¶
In [26]:
from numpy import median
sns.barplot(x="Occupatn", y="A101左岸頻率", data=Cafe, estimator=median) #用每天的中位數去估計小費的高低
Out[26]:
[2-3-5]. Box-Plot¶
In [27]:
sns.boxplot(x = 'Area', y= 'Intenst', data = Cafe)
Out[27]:
中部的產品強度Q1與Q2非常接近，可能需要額外進行資料探討，因此我們可以嘗試加入其他變數看看，如下圖:¶
In [28]:
sns.boxplot(x = 'Area', y= 'Intenst', data = Cafe, hue = 'Sex') # hue = 'sex'以性別當圖標
Out[28]:
[2-3-6]. Cat-Plot¶
In [29]:
#這是進階語法，可一次看多個
sns.catplot(x="Area", y="Intenst",
hue="Sex", col="Occupatn",
data=Cafe, kind="bar",
height=4, aspect=.7)
Out[29]:
[2-4]. 相關係數矩陣¶
In [30]:
colormap = plt.cm.viridis
plt.figure(figsize=(14,12))
plt.title('Pearson Correlation of Features', y=1.05, size=15)
sns.heatmap(Cafe[['IncomeMd', 'A101左岸頻率', 'Intenst', 'A2咖啡偏好', 'AGE']].astype(float).corr(),linewidths=0.1,vmax=1.0, square=True, cmap=colormap, linecolor='white', annot=True)
Out[30]:
In [31]:
Cafe.A101左岸頻率.describe()
Out[31]:
In [32]:
Cafe.A102伯朗頻率.describe()
Out[32]:
近一週飲用包裝咖啡之瓶/罐數上，我們發現左岸咖啡與伯朗咖啡的平均飲用頻率不同，因此我們可以採用平均數檢定¶
- H0a:左岸咖啡與伯朗咖啡的飲用頻率相同
- H1a:左岸咖啡與伯朗咖啡的飲用頻率不同
In [33]:
# two sample student t test
import numpy as np
from scipy import stats
mean1 = 0.9 #左岸頻率
mean2 = 0.825 #伯朗頻率
std1 = 0.981887
std2 = 0.873763
nobs1 = 40 #觀察值
nobs2 = 40
modified_std1 = np.sqrt(np.float64(nobs1)/np.float64(nobs1-1)) * std1
modified_std2 = np.sqrt(np.float64(nobs2)/np.float64(nobs2-1)) * std2
(statistic, pvalue) = stats.ttest_ind_from_stats(mean1=mean1, std1=modified_std1, nobs1=40, mean2=mean2, std2=modified_std2, nobs2=40)
print("t statistic is: ", statistic)
print("pvalue is: ", pvalue)
[小結]. Do not Reject H0。在α = 0.05下，我們有顯著的證據認為，左岸咖啡與伯朗咖啡的平均飲用頻率相同¶
[3-2].Independent t-test¶
In [34]:
sns.barplot(x="Sex", y="C01閱讀報章", data=Cafe) #以"閱讀報章"為範例
Out[34]:
Q: H0b:性別對部份生活型態有無差異?¶
- H0b: 性別對閱讀報章之生活型態沒有差異
- H1b: 性別對閱讀報章之生活型態有差異
In [35]:
Cafe["Gender"] = Cafe[["Sex"]] #新增一個 Gender欄位，內容是Sex的內容
Cafe.Gender.sample(10)#隨機取10行
Out[35]:
In [36]:
from scipy.stats import ttest_ind
males = Cafe[Cafe['Gender']=='男']
females = Cafe[Cafe['Gender']=='女']
stats.ttest_ind(males['C01閱讀報章'], females['C01閱讀報章'])
#ttest_ind(males['C01閱讀報章'], females['C01閱讀報章'], nan_policy='omit')
Out[36]:
[小結]. Reject H0。在α = 0.05下，我們有顯著的證據認為，性別對閱讀報章之生活型態有差異¶
[PART 4]. 左岸咖啡之市場區隔及目標選擇決策¶
In [37]:
sns.countplot(x = "Occupatn", data=Cafe)
Out[37]:
[4-1]. One-Way ANOVA: 左岸咖啡之市場區隔及目標選擇決策¶
- H0c: 職業對產品強度沒有影響
- H1c: 職業對產品強度有影響
In [38]:
#create an Ordinary Least Squares (OLS) model as a precursor to the ANOVA.
from scipy import stats
import statsmodels
import statsmodels.api as sm
from statsmodels.formula.api import ols
In [39]:
model = ols('Intenst ~ Occupatn', Cafe).fit() #builds the OLS model, predicting weight loss with diet type.
In [40]:
resids = statsmodels.regression.linear_model.RegressionResults.resid(model) # grabs the residual values from the OLS model
hist2 = plt.hist(resids, bins = 'auto', color='dodgerblue') # check for variable normality in weight loss dependent variable.
#Data looks normally distributed.
plt.title("Figure . Distribution of OLS Model Residuals")
plt.xlabel("Residual Values")
plt.ylabel("Count", rotation = 0, labelpad = 40)
plt.show()
In [41]:
table = sm.stats.anova_lm(model, typ=2) # Type 2 ANOVA DataFrame
print(table)
Reject H0。在α = 0.05下，我們有顯著的證據認為，職業對產品強度有差異。但是職業對產品強度有差異，但究竟誰高誰低，兩兩之間誰跟誰有差異? 我們需要進行ANOVA的事後多重比較¶
[4-2].ANOVA的事後多重比較(以Tukey test 為例)¶
In [42]:
from statsmodels.stats.multicomp import pairwise_tukeyhsd
from statsmodels.stats.multicomp import MultiComparison
mc = MultiComparison(Cafe['Intenst'], Cafe['Occupatn'])
tkresult = mc.tukeyhsd()
print(tkresult)
由上表可以看出，¶
- 自營企業 和 (藍領階層、學生、其他)有顯著差異
- 白領階層 和 (藍領階層、學生、其他)有顯著差異
- 但藍領階層 和 (學生、其他)沒有顯著差異
- 但白領階層 和 自營企業沒有顯著差異
In [43]:
grouped2 = Cafe['Intenst'].groupby(Cafe['Occupatn']) #以 Occupatn 為分組看 Intenst 的平均數
print(grouped2.mean()) #計算各組均值
[4-3]. Two-Way ANOVA: 左岸咖啡市場區隔與目標界定¶
Q:不同職業與不同性別，對產品強度影響!¶
- H0d: 職業與性別，對產品強度沒有顯著交互作用影響
- H1d: 職業與性別，對產品強度有顯著交互作用影響
In [44]:
import pandas as pd
from statsmodels.formula.api import ols
from statsmodels.stats.anova import anova_lm
from statsmodels.graphics.factorplots import interaction_plot #產生交互作用圖
import matplotlib.pyplot as plt
from scipy import stats
import seaborn as sns
In [45]:
model = ols('Intenst ~ C(Sex)*C(Occupatn)', Cafe).fit()
res = sm.stats.anova_lm(model, typ= 2) #
res
Out[45]:
In [46]:
sns.pointplot(x="Occupatn", y="Intenst", hue="Sex", data=Cafe, linestyles=["-", "--"])#交互作用圖
Out[46]:
In [47]:
sns.factorplot(x="Occupatn", y="Intenst", hue="Sex", data=Cafe,
kind="box")
Out[47]:
In [48]:
model.summary()
Out[48]:
In [49]:
## 各群不同的平均值是多少
pd.crosstab(Cafe.Occupatn, Cafe.Sex, values=Cafe.Intenst, aggfunc='mean').round(2) #取不同組別的平均數，小數點以下兩位
Out[49]:
In [50]:
#Our model fit (the linear model fitted with the OLS method) and get a Quantile-Quantile (QQplot):
res = model.resid
fig = sm.qqplot(res, line='s')
plt.show()
[補充:為將來做準備 ]. 我們新建一個分群變數!¶
- Segment
- 1.自營企業
- 2.白領階層
- 3.學生、籃領、其它
In [51]:
Cafe["Segment"] = Cafe[["Occupatn"]] #新增一個 Segment欄位，內容是Occupatn的內容
Cafe.sample(10)#隨機取10行
Out[51]:
In [52]:
Cafe["Segment"] = Cafe["Segment"].str.replace("學生","其他")
Cafe["Segment"] = Cafe["Segment"].str.replace("藍領階層","其他")
Cafe.sample(10)#隨機取10行
#所以現在Segment只有三種類別: 自營企業、白領階層、其他
Out[52]:
[PART 5]. 左岸咖啡之所得定位 (Multiple Regression)¶
- 在前面，我們已經Income0 轉成IncomeMd
- 此時的 IncomeMd 是Ratio Scale
- 因此本小節，我們要用Regresion 看看個人所得、咖啡偏好對左岸咖啡的使用頻率沒有影響
- 在使用迴歸時，建議一個model一個model跑，比較清楚
- 所以接下來的流程是:
- Model-1: 個人所得對使用頻率
- Model-2: 咖啡偏好對使用頻率
- Model-3: 個人所得、咖啡偏好對使用頻率
- H0e:個人所得、咖啡偏好對左岸咖啡的使用頻率沒有影響
- H1e:個人所得、咖啡偏好對左岸咖啡的使用頻率有影響
[Model 1]. 個人所得對使用頻率¶
In [53]:
Cafe.IncomeMd.mean() #所得均值
Out[53]:
In [54]:
Cafe.A101左岸頻率.mean() #左岸頻率均值
Out[54]:
In [55]:
import statsmodels.api as sm
import statsmodels.formula.api as smf
results = smf.ols('A101左岸頻率 ~ IncomeMd', data=Cafe).fit() #簡單迴歸
print(results.summary())
[Model 2]. 咖啡偏好對使用頻率¶
In [56]:
Cafe.A2咖啡偏好.mean() #咖啡偏好均值
Out[56]:
In [57]:
results2 = smf.ols('A101左岸頻率 ~ A2咖啡偏好', data=Cafe).fit() #簡單迴歸
print(results2.summary())
[Model 3]. 個人所得、咖啡偏好對使用頻率¶
In [58]:
results3 = smf.ols('A101左岸頻率 ~ A2咖啡偏好 + IncomeMd', data=Cafe).fit() #複迴歸
print(results3.summary())
[註記].¶
- 由Model 3，你會發現當'IncomeMd'丟進去後，'A2咖啡偏好'不顯著了
- 其實這表示，'IncomeMd'是中介變數
- 但這不在初等統計學的授課範圍內，因此課堂上我們不多做說明
[PART 6]. 左岸咖啡之口味差異化策劃¶
- 在本小節，我們要採用卡方獨立性檢定!
你應該還記得，之前我們曾經新建一個Segment(目標市場)的變數
- 1.自營企業
- 2.白領階層
- 3.學生、籃領、其它
目標市場、性別對口味偏好的影響
- 變數定義
- 1.反應變量: A3偏好口味
- 2.解釋變數: Sex、Segment
[6-1]. 我們先來看看原始的數據¶
In [59]:
contingency_table1 = pd.crosstab(index=[Cafe['Occupatn'], Cafe['Sex']],
columns=Cafe["A3偏好口味"]
)
contingency_table1
#我們會發現有些格子的數值<5，表示要併組處理
Out[59]:
[6-2]. 併組之後的列聯表¶
- 以上的方式必須要每一格的數值都超過5
- 一旦沒有超過5。必須要併組
- 本Café的檔案總樣本為40，分配到各組之後會有某幾組不滿5
- 所以退而求其次用以下的方式處理
- 採用另一個依據職業類別修改的區隔變數"Segment"
In [60]:
contingency_table2 = pd.crosstab(Cafe['Sex'], Cafe['A3偏好口味'])
contingency_table2
Out[60]:
In [61]:
contingency_table3 = pd.crosstab(Cafe['Segment'], Cafe['A3偏好口味'])
contingency_table3
#因為本次練習的 Sample size只有40個，一定會有所不足，建議在大樣本的情況下應滿足 >5 之條件
Out[61]:
In [62]:
import pandas as pd
import researchpy as rp
from scipy import stats
In [63]:
table1, results1 = rp.crosstab(Cafe['Sex'], Cafe['A3偏好口味'], prop= 'col', test= 'chi-square')
table1
Out[63]:
In [64]:
results1
Out[64]:
In [65]:
table2, results2 = rp.crosstab(Cafe['Segment'], Cafe['A3偏好口味'], prop= 'col', test= 'chi-square')
table2
Out[65]:
In [66]:
results2
Out[66]:
[最後說明]¶
- 此份資料僅供教學用途，主要用以說明敘述統計及應用統計在Python之應用
- 後續仍然可以用在其他的市場調查議題，若有興趣之同學，可於碩士班時修習"多變量分析"，會對市場調查及行銷研究會有更深的體驗
- 本程式碼僅由本人撰寫，若有任何錯誤，請不吝提出，謝謝
[資料來源]¶
- pandas-cheat-sheet https://www.dataquest.io/blog/pandas-cheat-sheet/
- Learning Pandas - 處理資料分組 https://ithelp.ithome.com.tw/articles/10200565?sc=iThelpR
- 癌症資料處理範例 http://viml.nchc.org.tw/blog/paper_info.php?CLASS_ID=1&SUB_ID=1&PAPER_ID=681
- Three ways to do a two-way ANOVA with Python https://www.marsja.se/three-ways-to-carry-out-2-way-anova-with-python/
- 卡方分析 https://pythonfordatascience.org/chi-square-test-of-independence-python/