weka-Explorer-Classify的使用

一、實驗?zāi)康?/h2>

學(xué)習(xí)使用 weka 中的常用分類器，完成數(shù)據(jù)分類任務(wù)。

二、實驗內(nèi)容

  1. 了解 weka 中 explorer 的 Classify 面板4個區(qū)域的功能。
  2. 在多個數(shù)據(jù)集上完成分類任務(wù)：建立分類模型，再利用該模型對數(shù)據(jù)對象進(jìn)行分類，并對分類器的輸出結(jié)果進(jìn)行比較和分析。

三、實驗要求

  1. 在同一數(shù)據(jù)集上， 選擇多種分類器（常用的分類器有 Naive Bayes、SMO、IBK（k設(shè)為2）、J48 等），對不同分類器的輸出結(jié)果進(jìn)行比較和分析。
  2. 選擇有訓(xùn)練集和測試集的數(shù)據(jù)集，在該數(shù)據(jù)集上選擇兩種評價模型：測試集評估和10折交叉驗證 ，對分類結(jié)果進(jìn)行比較和分析。

四、實驗過程

1、了解 Classify 面板的4個區(qū)域

a. Classify 面板
區(qū)域1

分類算法選擇框，用于選擇分類算法對數(shù)據(jù)進(jìn)行分類任務(wù)的處理。
有貝葉斯、函數(shù)式、惰性方法（基于實例）、組合方法、混合算法、基于規(guī)則和決策樹等類別；
常用的有樸素貝葉斯（一種比較簡單易懂的統(tǒng)計學(xué)習(xí)方法？）、（SMO）支持向量機（尚不知道這到底是什么，好像很有名，神經(jīng)網(wǎng)絡(luò)的簡化？類似于篩子？）、k-最鄰近值（對于1-最鄰近值的改進(jìn)？）、C4.5決策樹（對ID3的改進(jìn)，支持了連續(xù)值？）。

區(qū)域2

評估方法選擇框，用于選擇處理數(shù)據(jù)分類任務(wù)時的評價模型。
有使用訓(xùn)練集、使用測試集、交叉驗證（常用10折交叉驗證？）和保持方法四種；
更多選項如 * 圖b* 所示，包含輸出模型、輸出每個類別的統(tǒng)計量、輸出熵估計度量（在決策樹中有用？）、輸出混淆矩陣、設(shè)置代價矩陣（搞明白行與列的意義很重要，比較容易混亂？）等。

b. 更多選項
區(qū)域3

結(jié)果（日志）列表。
右鍵單擊某一行后會彈出一系列選項，包括各種可視化屬性。

區(qū)域4

分類結(jié)果輸出框，顯示區(qū)域2更多選項中選中的一系列輸出信息。

區(qū)域5（未標(biāo)出）

狀態(tài)信息，顯示一系列系統(tǒng)狀態(tài)信息，如內(nèi)存占用、是否正在進(jìn)行挖掘。（上一次實驗中的00區(qū)域）

2、使用 weather.numeric.arff 進(jìn)行分類

（0） 數(shù)據(jù)集（將原有數(shù)據(jù)的最后兩個作為測試集）

** % 刪掉最后兩個實例后的 weather.numeric.arff **

@relation weather

@attribute outlook {sunny,overcast,rainy}
@attribute temperature numeric
@attribute humidity numeric
@attribute windy {TRUE,FALSE}
@attribute play {yes,no}

@data
sunny,85,85,FALSE,no
sunny,80,90,TRUE,no
overcast,83,86,FALSE,yes
rainy,70,96,FALSE,yes
rainy,68,80,FALSE,yes
rainy,65,70,TRUE,no
overcast,64,65,TRUE,yes
sunny,72,95,FALSE,no
sunny,69,70,FALSE,yes
rainy,75,80,FALSE,yes
sunny,75,70,TRUE,yes
overcast,72,90,TRUE,yes

** % weather.numeric-test.arff **

@relation weather

@attribute outlook {sunny,overcast,rainy}
@attribute temperature numeric
@attribute humidity numeric
@attribute windy {TRUE,FALSE}
@attribute play {yes,no}

@data
overcast,81,75,FALSE,yes
rainy,71,91,TRUE,no

（1） 樸素貝葉斯 + 10折交叉驗證
c. 樸素貝葉斯+10折交叉驗證
（2）樸素貝葉斯 + 使用測試集
d. 樸素貝葉斯+使用測試集

乍看起來，（2）的ROC高，似乎顯得比（1）的 * 效果 * 好，但這應(yīng)該是因為數(shù)據(jù)集，尤其是測試集合太小，使偶然因素起到了決定性作用。

（3）SMO支持向量機 + 10折交叉驗證
e. SMO支持向量機+10折交叉驗證
（4）SMO支持向量機 + 使用測試集
f. SMO支持向量機+使用測試集

與（3）比起來，（4）的ROC高，于是可以肯定我之前得出的結(jié)論——測試集合太小，使偶然因素起到了決定性作用。

（5）2-最鄰近值 + 10折交叉驗證

（IBK， k = 2）


g. 2-最鄰近值 + 10折交叉驗證
（6）2-最鄰近值 + 使用測試集
h. 2-最鄰近值+使用測試集
（7）C4.5決策樹 + 10折交叉驗證
i. C4.5決策樹+10折交叉驗證

一直覺得決策樹的結(jié)果是最直觀，即使不懂統(tǒng)計學(xué)，也能輕易看懂，不過我直覺認(rèn)為它會產(chǎn)生比較大的偏差。

（8）C4.5決策樹 + 使用測試集
j. C4.5決策樹 + 使用測試集
（9）四種分類算法默認(rèn)條件下構(gòu)建模型對比

說明：
此例中測試集偶發(fā)性較大，所以評估方法選用更穩(wěn)定的10折交叉驗證；
Jitter在左端（默認(rèn)位置）時，

k. Jitter在左端

很多點是重疊的，看不出效果，因此均置于右端。

l. 右上至左下：樸素貝葉斯、SMO支持向量機、2-最鄰近值、C4.5決策樹；橫軸：實際標(biāo)簽，縱軸：預(yù)測標(biāo)簽

直觀來看，有如下結(jié)論：

  1. 只有樸素貝葉斯算法有可能正確預(yù)測出no類別。
  2. 后三種算法在此例中所見模型準(zhǔn)確度十分相似。
  3. 所有算法準(zhǔn)確率都在50-60%，沒什么顯著區(qū)別。（這結(jié)果對于只有兩個可能選項的play來說，幾乎沒有意義）

會出現(xiàn)這種情況，一是因為使用的數(shù)據(jù)集比較?。ǜ暮蟮膬H有12個實例），二是因為我這時確實不知道這些分類器參數(shù)的意義，直接用了默認(rèn)。

3、使用 vote.arff 進(jìn)行分類

（1）數(shù)據(jù)說明

為了彌補上例中數(shù)據(jù)集過小的缺點，這回使用了有435個實例的 vote.arff ：

% 1. Title: 1984 United States Congressional Voting Records Database
%
% 2. Source Information:
% (a) Source: Congressional Quarterly Almanac, 98th Congress,
% 2nd session 1984, Volume XL: Congressional Quarterly Inc.
% Washington, D.C., 1985.
% (b) Donor: Jeff Schlimmer (Jeffrey.Schlimmer@a.gp.cs.cmu.edu)
% (c) Date: 27 April 1987
%
% 3. Past Usage
% - Publications
% 1. Schlimmer, J. C. (1987). Concept acquisition through
% representational adjustment. Doctoral dissertation, Department of
% Information and Computer Science, University of California, Irvine, CA.
% -- Results: about 90%-95% accuracy appears to be STAGGER's asymptote
% - Predicted attribute: party affiliation (2 classes)
%
% 4. Relevant Information:
% This data set includes votes for each of the U.S. House of
% Representatives Congressmen on the 16 key votes identified by the
% CQA. The CQA lists nine different types of votes: voted for, paired
% for, and announced for (these three simplified to yea), voted
% against, paired against, and announced against (these three
% simplified to nay), voted present, voted present to avoid conflict
% of interest, and did not vote or otherwise make a position known
% (these three simplified to an unknown disposition).
%
% 5. Number of Instances: 435 (267 democrats, 168 republicans)
%
% 6. Number of Attributes: 16 + class name = 17 (all Boolean valued)
%
% 7. Attribute Information:
% 1. Class Name: 2 (democrat, republican)
% 2. handicapped-infants: 2 (y,n)
% 3. water-project-cost-sharing: 2 (y,n)
% 4. adoption-of-the-budget-resolution: 2 (y,n)
% 5. physician-fee-freeze: 2 (y,n)
% 6. el-salvador-aid: 2 (y,n)
% 7. religious-groups-in-schools: 2 (y,n)
% 8. anti-satellite-test-ban: 2 (y,n)
% 9. aid-to-nicaraguan-contras: 2 (y,n)
% 10. mx-missile: 2 (y,n)
% 11. immigration: 2 (y,n)
% 12. synfuels-corporation-cutback: 2 (y,n)
% 13. education-spending: 2 (y,n)
% 14. superfund-right-to-sue: 2 (y,n)
% 15. crime: 2 (y,n)

% 16. duty-free-exports: 2 (y,n)
% 17. export-administration-act-south-africa: 2 (y,n)
%
% 8. Missing Attribute Values: Denoted by "?"
%
% NOTE: It is important to recognize that "?" in this database does
% not mean that the value of the attribute is unknown. It
% means simply, that the value is not "yea" or "nay" (see
% "Relevant Information" section above).
%
% Attribute: #Missing Values:
% 1: 0
% 2: 0
% 3: 12
% 4: 48
% 5: 11
% 6: 11
% 7: 15
% 8: 11
% 9: 14
% 10: 15
% 11: 22
% 12: 7
% 13: 21
% 14: 31
% 15: 25
% 16: 17
% 17: 28
%
% 9. Class Distribution: (2 classes)
% 1. 45.2 percent are democrat
% 2. 54.8 percent are republican
%
% Class predictiveness and predictability: Pr(C|A=V) and Pr(A=V|C)
% Attribute 1: (A = handicapped-infants)
% 0.91; 1.21 (C=democrat; V=y)
% 0.09; 0.10 (C=republican; V=y)
% 0.43; 0.38 (C=democrat; V=n)
% 0.57; 0.41 (C=republican; V=n)
% 0.75; 0.03 (C=democrat; V=?)
% 0.25; 0.01 (C=republican; V=?)
% Attribute 2: (A = water-project-cost-sharing)
% 0.62; 0.45 (C=democrat; V=y)
% 0.38; 0.23 (C=republican; V=y)
% 0.62; 0.45 (C=democrat; V=n)
% 0.38; 0.23 (C=republican; V=n)
% 0.58; 0.10 (C=democrat; V=?)
% 0.42; 0.06 (C=republican; V=?)
% Attribute 3: (A = adoption-of-the-budget-resolution)
% 0.91; 0.87 (C=democrat; V=y)
% 0.09; 0.07 (C=republican; V=y)
% 0.17; 0.11 (C=democrat; V=n)
% 0.83; 0.44 (C=republican; V=n)
% 0.64; 0.03 (C=democrat; V=?)
% 0.36; 0.01 (C=republican; V=?)
% Attribute 4: (A = physician-fee-freeze)
% 0.08; 0.05 (C=democrat; V=y)
% 0.92; 0.50 (C=republican; V=y)
% 0.99; 0.92 (C=democrat; V=n)
% 0.01; 0.01 (C=republican; V=n)
% 0.73; 0.03 (C=democrat; V=?)
% 0.27; 0.01 (C=republican; V=?)
% Attribute 5: (A = el-salvador-aid)
% 0.26; 0.21 (C=democrat; V=y)
% 0.74; 0.48 (C=republican; V=y)
% 0.96; 0.75 (C=democrat; V=n)
% 0.04; 0.02 (C=republican; V=n)
% 0.80; 0.04 (C=democrat; V=?)
% 0.20; 0.01 (C=republican; V=?)
% Attribute 6: (A = religious-groups-in-schools)
% 0.45; 0.46 (C=democrat; V=y)
% 0.55; 0.46 (C=republican; V=y)
% 0.89; 0.51 (C=democrat; V=n)
% 0.11; 0.05 (C=republican; V=n)
% 0.82; 0.03 (C=democrat; V=?)
% 0.18; 0.01 (C=republican; V=?)
% Attribute 7: (A = anti-satellite-test-ban)
% 0.84; 0.75 (C=democrat; V=y)
% 0.16; 0.12 (C=republican; V=y)
% 0.32; 0.22 (C=democrat; V=n)
% 0.68; 0.38 (C=republican; V=n)
% 0.57; 0.03 (C=democrat; V=?)
% 0.43; 0.02 (C=republican; V=?)
% Attribute 8: (A = aid-to-nicaraguan-contras)
% 0.90; 0.82 (C=democrat; V=y)
% 0.10; 0.07 (C=republican; V=y)
% 0.25; 0.17 (C=democrat; V=n)
% 0.75; 0.41 (C=republican; V=n)
% 0.27; 0.01 (C=democrat; V=?)
% 0.73; 0.03 (C=republican; V=?)
% Attribute 9: (A = mx-missile)
% 0.91; 0.70 (C=democrat; V=y)
% 0.09; 0.06 (C=republican; V=y)
% 0.29; 0.22 (C=democrat; V=n)
% 0.71; 0.45 (C=republican; V=n)
% 0.86; 0.07 (C=democrat; V=?)
% 0.14; 0.01 (C=republican; V=?)
% Attribute 10: (A = immigration)
% 0.57; 0.46 (C=democrat; V=y)
% 0.43; 0.28 (C=republican; V=y)
% 0.66; 0.52 (C=democrat; V=n)
% 0.34; 0.23 (C=republican; V=n)
% 0.57; 0.01 (C=democrat; V=?)
% 0.43; 0.01 (C=republican; V=?)
% Attribute 11: (A = synfuels-corporation-cutback)
% 0.86; 0.48 (C=democrat; V=y)
% 0.14; 0.06 (C=republican; V=y)
% 0.48; 0.47 (C=democrat; V=n)
% 0.52; 0.43 (C=republican; V=n)
% 0.57; 0.04 (C=democrat; V=?)
% 0.43; 0.03 (C=republican; V=?)
% Attribute 12: (A = education-spending)
% 0.21; 0.13 (C=democrat; V=y)
% 0.79; 0.42 (C=republican; V=y)
% 0.91; 0.80 (C=democrat; V=n)
% 0.09; 0.06 (C=republican; V=n)
% 0.58; 0.07 (C=democrat; V=?)
% 0.42; 0.04 (C=republican; V=?)
% Attribute 13: (A = superfund-right-to-sue)
% 0.35; 0.27 (C=democrat; V=y)
% 0.65; 0.42 (C=republican; V=y)
% 0.89; 0.67 (C=democrat; V=n)
% 0.11; 0.07 (C=republican; V=n)
% 0.60; 0.06 (C=democrat; V=?)
% 0.40; 0.03 (C=republican; V=?)
% Attribute 14: (A = crime)
% 0.36; 0.34 (C=democrat; V=y)
% 0.64; 0.49 (C=republican; V=y)
% 0.98; 0.63 (C=democrat; V=n)
% 0.02; 0.01 (C=republican; V=n)
% 0.59; 0.04 (C=democrat; V=?)
% 0.41; 0.02 (C=republican; V=?)
% Attribute 15: (A = duty-free-exports)
% 0.92; 0.60 (C=democrat; V=y)
% 0.08; 0.04 (C=republican; V=y)
% 0.39; 0.34 (C=democrat; V=n)
% 0.61; 0.44 (C=republican; V=n)
% 0.57; 0.06 (C=democrat; V=?)
% 0.43; 0.04 (C=republican; V=?)
% Attribute 16: (A = export-administration-act-south-africa)
% 0.64; 0.65 (C=democrat; V=y)
% 0.36; 0.30 (C=republican; V=y)
% 0.19; 0.04 (C=democrat; V=n)
% 0.81; 0.15 (C=republican; V=n)
% 0.79; 0.31 (C=democrat; V=?)
% 0.21; 0.07 (C=republican; V=?)
%
@relation vote
@attribute 'handicapped-infants' { 'n', 'y'}
@attribute 'water-project-cost-sharing' { 'n', 'y'}
@attribute 'adoption-of-the-budget-resolution' { 'n', 'y'}
@attribute 'physician-fee-freeze' { 'n', 'y'}
@attribute 'el-salvador-aid' { 'n', 'y'}
@attribute 'religious-groups-in-schools' { 'n', 'y'}
@attribute 'anti-satellite-test-ban' { 'n', 'y'}
@attribute 'aid-to-nicaraguan-contras' { 'n', 'y'}
@attribute 'mx-missile' { 'n', 'y'}
@attribute 'immigration' { 'n', 'y'}
@attribute 'synfuels-corporation-cutback' { 'n', 'y'}
@attribute 'education-spending' { 'n', 'y'}
@attribute 'superfund-right-to-sue' { 'n', 'y'}
@attribute 'crime' { 'n', 'y'}
@attribute 'duty-free-exports' { 'n', 'y'}
@attribute 'export-administration-act-south-africa' { 'n', 'y'}
@attribute 'Class' { 'democrat', 'republican'}
@data
'n','y','n','y','y','y','n','n','n','y',?,'y','y','y','n','y','republican'
'n','y','n','y','y','y','n','n','n','n','n','y','y','y','n',?,'republican'
?,'y','y',?,'y','y','n','n','n','n','y','n','y','y','n','n','democrat'
'n','y','y','n',?,'y','n','n','n','n','y','n','y','n','n','y','democrat'
'y','y','y','n','y','y','n','n','n','n','y',?,'y','y','y','y','democrat'
'n','y','y','n','y','y','n','n','n','n','n','n','y','y','y','y','democrat'
'n','y','n','y','y','y','n','n','n','n','n','n',?,'y','y','y','democrat'
'n','y','n','y','y','y','n','n','n','n','n','n','y','y',?,'y','republican'
'n','y','n','y','y','y','n','n','n','n','n','y','y','y','n','y','republican'
'y','y','y','n','n','n','y','y','y','n','n','n','n','n',?,?,'democrat'
'n','y','n','y','y','n','n','n','n','n',?,?,'y','y','n','n','republican'
'n','y','n','y','y','y','n','n','n','n','y',?,'y','y',?,?,'republican'
'n','y','y','n','n','n','y','y','y','n','n','n','y','n',?,?,'democrat'
'y','y','y','n','n','y','y','y',?,'y','y',?,'n','n','y',?,'democrat'
'n','y','n','y','y','y','n','n','n','n','n','y',?,?,'n',?,'republican'
'n','y','n','y','y','y','n','n','n','y','n','y','y',?,'n',?,'republican'
'y','n','y','n','n','y','n','y',?,'y','y','y',?,'n','n','y','democrat'
'y',?,'y','n','n','n','y','y','y','n','n','n','y','n','y','y','democrat'
'n','y','n','y','y','y','n','n','n','n','n',?,'y','y','n','n','republican'
'y','y','y','n','n','n','y','y','y','n','y','n','n','n','y','y','democrat'
'y','y','y','n','n',?,'y','y','n','n','y','n','n','n','y','y','democrat'
'y','y','y','n','n','n','y','y','y','n','n','n',?,?,'y','y','democrat'
'y',?,'y','n','n','n','y','y','y','n','n',?,'n','n','y','y','democrat'
'y','y','y','n','n','n','y','y','y','n','n','n','n','n','y','y','democrat'
'y','n','y','n','n','n','y','y','y','n','n','n','n','n','y',?,'democrat'
'y','n','y','n','n','n','y','y','y','y','n','n','n','n','y','y','democrat'
'y','n','y','n','n','n','y','y','y','n','y','n','n','n','y','y','democrat'
'y','y','y','n','n','n','y','y','y','n','y','n','n','n','y','y','democrat'
'y','n','n','y','y','n','y','y','y','n','n','y','y','y','n','y','republican'
'y','y','y','n','n','n','y','y','y','n','y','n','n','n','y','y','democrat'
'n','y','n','y','y','y','n','n','n','n','n','y','y','y','n','n','republican'
'y','y','y','n','n','n','y','y','y','n','y','n','n','n','y',?,'democrat'
'y','y','y','n','n','n','y','y','y','y','n','n','y','n','y','y','democrat'
'n','y','n','y','y','y','n','n','n','n','n','y','y','y','n','y','republican'
'y','y','y','n','n','n','y','y','y','n','n','n','n','n','y','y','democrat'
'n','y','n','y','y','y','n','n','n','n','n','y','y','y','n','n','republican'
'y',?,'n','y','y','y','n','n','n','y','n','y',?,'y','n','y','republican'
'y','y','n','y','y','y','n','n','n','n','n','n','y','y','n','y','republican'
'n','y','n','y','y','y','n','n','n','y','n','y','y','y','n','n','republican'
'y','n','y','n','n','n','y','y','y','y','y','n','y','n','y','y','democrat'
'y','y','y','n','n','n','y','y','y','n',?,'n','n','n','n',?,'democrat'
'y','y','y','n','n','n','y','y','y','n','n','n','n','n','y',?,'democrat'
'y','n','y','n','n','n','y','y','y','n','n','n','n','n','n','y','democrat'
'y','n','y','n','n','n','y','y','y','n','n','n','n','n','y','y','democrat'
'y','y','y','n','n','n','y','y','y','n','y','n','n','n','n',?,'democrat'
'y','y','y','n','n','n','y','y',?,'n','y','n','n','n','y',?,'democrat'
'y','y','y','n','n','n','y','y','y','n','n','n','n','n','n','y','democrat'
'y','n','y','n','n','n','y','y',?,'n','n','n','n','n','n',?,'democrat'
'y','y','y','n','n','n','y','y','n','n','n','n','n','y','n','y','democrat'
'n',?,'n','y','y','y','n','n','n','n','n','y','y','y','n','n','republican'
'y','y','y','n','n','n','y','y','y','n','y','n','n','n','y','y','democrat'
'n','y','n','y','y','y','n',?,'n','n','n','y','y','y','n','y','republican'
'y','y','y','n','n','n','y','y','y','n','n','n','n','n',?,?,'democrat'
'y','y','n','y','y','y','n','n','n','y','n','y','y','y','n','n','republican'
'y','y','y','n','n','y',?,'y','n','n','y','y','n','y','n',?,'democrat'
'n','y','n','y','y','y','n','n','n','y','y','y','y','y','n','n','republican'
'n','y','n','y','y','y','n','n','n','y','y','y','y','y','n','y','republican'
'n','y','n','y','y','y','n','n','n','y','n','y','y','y','n','y','republican'
'n','y','n','y','y','y','n','n','n','y','n','y','y','y','n','y','republican'
'n','y','n','y','y','y','n','n','n','y','n','y','y','y','n',?,'republican'
'y','y','y','n','n',?,'y','y','y','y','n','n','n','n','y',?,'democrat'
'n','y','n','y','y','y','n','n','n','n','n','y','y','y','n','n','republican'
'y','y','y','n','n','n','y','y','y','n','n','n','n','n','n',?,'democrat'
'y','y','y','n','n','n','y','y','y','n','y','n','n','n','n','y','democrat'
'y','y','y','n','n','n','y','y','y','n','y',?,'n','n','n','y','democrat'
'y','y','n','y','y','y','y','n','n','n','n','y','y','y','n','y','republican'
'n','y','n','y','y','y','y','n','n','n','y','y','y','y','n','y','republican'
'n','y','n','y','y','y','n','n','n','y','n','y','y','y','n','n','republican'
'y',?,'y','n','n','n','y','y','y','n','n','n','y','n','y','y','democrat'
'y','y','y','n','n','n','y','y','y','n','n','n','n','n','y','y','democrat'
'y','n','y','n','n','n','y','y','y','n','n','n','y','n','y',?,'democrat'
'y','y','y','y','n','n','y','y','y','y','y','n','n','y','n','y','republican'
'y','y','y','n','n','n','y','y','y','n','y','n','n','n','y',?,'democrat'
'y','n','y','y','y','n','y','n','y','y','n','n','y','y','n','y','republican'
'y','n','y','n','n','y','y','y','y','y','y','n','n','y','y','y','democrat'
'n','y','y','y','y','y','n','n','n','y','y','n','y','y','n','n','democrat'
'n','y','y','n','y','y','n','n','n','y','y','y','y','y','n',?,'democrat'
'n','y','y','y','y','y','n','y','y','y','y','y','y','y','n','y','democrat'
'y','y','y','n','y','y','n','n','n','y','y','n','y','y','n','y','democrat'
'n','n','n','y','y','n','n','n','n','y','n','y','y','y','n','n','republican'
'y','n','y','n','n','y','y','y','y','y','n','y','n','y','n',?,'democrat'
'y','n','y','n','n','n','y','y',?,'y','y','y','n','y','n','y','democrat'
'n','n','n','y','y','y','n','n','n','y','n','y','y','y','n','y','republican'
'n','n','n','y','y','y','n','n','n','n','n','y','y','y','n','n','republican'
'n',?,'n','y','y','y','n','n','n','y','n','y','y','y','n','n','republican'
'n','n','y','n','y','y','n','n','n','y','y','y','y','y','n','y','democrat'
'n','n','n','y','y','y','n','n','n','y','n','y','y','y','n','n','republican'
'n','n','n','y','y','y','n','n','n','n','n','y','y','y','n','n','republican'
'n','y','y','n','y','y','y','n','y','y','y','n','y','y','n','y','democrat'
'n','n','n','y','y','y','n','n','n','y','n',?,'y','y','n',?,'republican'
'y','n','y','n','n','n','y','y','y','y','n','n','n','n','y','y','democrat'
'y','n','y','n','n','n','y','y','y','y','y','n','n','n','y','y','democrat'
'y','y','y','n','n','n','y','y','n','y','y','n','n',?,'y','y','democrat'
'y','n','y','n','n','n','y','n','y','y','y','n','n','n','y','y','democrat'
'y','n','y','n','y','y','n','n','n','n','n','n','n','n','n','y','democrat'
'y','n','y','n','y','y','n',?,?,'n','y',?,?,?,'y','y','democrat'
'n','n',?,'n','y','y','n','n','n','n','y','y','y','y','n','y','democrat'
'y','n','n','n','y','y','y','n','n','y','y','n','n','y','n','y','democrat'
'y','y','y','n','n','y','y','y','y','y','n','n','n','n','n','y','democrat'
'n','n','n','y','y','y','n','n','n','y',?,'y','y','y','n','n','republican'
'y','n','n','n','y','y','n','n','n','n','y','y','n','y','n','y','democrat'
'y','n','y','n','y','y','y','n','n','n','y','n','n','y','n','y','democrat'
'y','n','y','n','y','y','y','n',?,'n','y','n','y','y','y',?,'democrat'
'y','n','n','n','y','y',?,'n',?,'n','n','n','n','y',?,'n','democrat'
?,?,?,?,'n','y','y','y','y','y',?,'n','y','y','n',?,'democrat'
'y','y','y','n','n','n','n','y','y','n','y','n','n','n','y','y','democrat'
'n','y','n','y','y','y','n','n','n','n','n','y','y','y','n','y','republican'
'n',?,?,?,?,?,?,?,?,?,?,?,?,'y',?,?,'republican'
'y',?,'y','n','n','n','y','y','y','n','n','n','n','n','y',?,'democrat'
'y',?,'y','n','n','n','y','y','y','n','n','n','n','n','y',?,'democrat'
'n','n','y','n','n','n','y','y','y','y','n','n','n','n','y','y','democrat'
'n',?,'n','y','y','y','n','n','n','y','n','y','y','y','n','y','republican'
'n',?,'y','n','n','y','y','y','n','y','n','n','n','n','y',?,'democrat'
'n',?,'n','y','y','y','n','n','n','y','n','y','y','y','n','n','republican'
'y',?,'y','n','n','n','y','y','y','n','n','n','n','n','y',?,'democrat'
'n',?,'y','n',?,?,'y','y','y','y',?,?,'n','n','y','y','democrat'
'y','n','y','n','n','n','y','y','y','n','y','n','n','n','y','y','democrat'
'y','y','y','y','y','n','y','n','n','n','n','y','y','y','n','y','republican'
'n','y','y','n','n','n','n','y','y','y','y','n','n','n','y','y','democrat'
'n','n','n','y','y','y','n','n','n','n','n','y','y','y','n','n','republican'
'n',?,?,'y','y','y','n','n','n','y','n','y','y','y',?,'y','republican'
'n',?,'n','y','y','y','n','n','n','y','n','y','y','y','n','y','republican'
'n','n','n','y','y','y','n','n','n','y','n','y','n','y','n','y','republican'
'y',?,'n','y','y','y','n','y','n','n','n','y','y','y','n','y','republican'
'n',?,'y','n','n','n','y','y','y','n','n','n','n','n','y','y','democrat'
'n',?,'n','y','y','y','n','n','n','y','n','y','y','y','n','y','republican'
'n',?,'n','y','y','y','n','n','n','n','n','y','y','y','n','n','republican'
'n',?,'y','n','n','n','y','y','y','y','y','n','n','y','y','y','democrat'
'n',?,'y','n','n','y','n','y','n','y','y','n','n','n','y','y','democrat'
?,?,'y','n','n','n','y','y',?,'n',?,?,?,?,?,?,'democrat'
'y',?,'y','n',?,?,'y','y','y','n','n','n','n','n','y',?,'democrat'
'n','n','y','n','n','y','n','y','y','y','n','n','n','y','n','y','democrat'
'n','n','n','y','y','y','n','n','n','y','n','y','y','y','n',?,'republican'
'n','n','n','y','y','y','n','n','n','y','n','y','y','y','n','y','republican'
'n','n','n','y','y','y','n','n','n','n','n','y','y','y','n',?,'republican'
'n','n','n','y','y','y','n','n','n','y','n','y','y','y','n','n','republican'
'n','y','n','y','y','y','n','n','n','y','y','y','y','n','n','y','republican'
'n',?,'y','n','n','y','y','y','y','y','n','n','n','y','y','y','democrat'
'n','n','y','n','n','y','y','y','y','y','n','n','n','y','n','y','democrat'
'y','n','y','n','n','y','y','y','y','n','n','n','n','n','y','y','democrat'
'n','n','n','y','n','n','y','y','y','y','n','n','y','y','n','y','republican'
'n','n','n','y','y','y','y','y','y','y','n','y','y','y',?,'y','republican'
'n','n','n','y','y','y','y','y','y','y','n','y','y','y','n','y','republican'
?,'y','n','n','n','n','y','y','y','y','y','n','n','y','y','y','democrat'
'n',?,'n','n','n','y','y','y','y','y','n','n','n','y','n',?,'democrat'
'n','n','y','n','n','y','y','y','y','y','n','n','n','y',?,'y','democrat'
'n','y','n','y','y','y','n','n','n','n','n','y','y','y','n','y','republican'
'n','n','n','n','n','n','y','y','y','y','n','y','y','y','y','y','democrat'
'n','y','n','y','y','y','n','n','n','y','y','y','y','y','n','y','republican'
'n','n','y','n','n','n','y','y','y','y','n','n','y','n','y','y','democrat'
'y','y','n','y','y','y','n','n','n','y','n','y','y','y','n','y','republican'
'y','y',?,'y','y','y','n','n','y','n','y',?,'y','y','n','n','democrat'
'n','y','y','n','n','y','n','y','y','y','y','n','y','n','y','y','democrat'
'n','n','y','n','n','y','y','y','y','y','y','n','y','y','n','y','democrat'
'n','y','n','y','y','y','n','n','n','n','n','y','y','y','n','n','republican'
'y','y','n','y','y','y','n',?,'n','n','y','y','y','y','n','n','republican'
'y','y','n','y','y','y','y','n','n','n','n','y','y','y','n','n','republican'
'n','y','y','n','n','y','n','y','y','n','y','n',?,?,?,?,'democrat'
'n','y','n','y','y','y','n','n','n','y','n','y','y','y','n','n','republican'
'n','y','y','n',?,'y','y','y','y','y','y','n','n',?,'n',?,'democrat'
'n','y','n','n','y','y','n','n','n','n','n','y','y','y','y','y','democrat'
'n','n','n','n','y','y','y','n','n','n','n','y','y','y','n','y','democrat'
'n','y','y','n','y','y','y','n','n','n','y','y','y','y','n','y','democrat'
'n','y','n','y','y','y','y','n','n','n','n','y','y','y','n','y','republican'
'y','y','n','n','y','y','n','n','n','y','y','y','y','y','n',?,'democrat'
'n','y','y','n','n','y','y','y','y','y','y','n','y','n','y',?,'democrat'
'y','n','y','y','y','y','y','y','n','y','n','y','n','y','y','y','republican'
'y','n','y','y','y','y','y','y','n','y','y','y','n','y','y','y','republican'
'n','n','y','y','y','y','n','n','y','n','n','n','y','y','y',?,'democrat'
'y','n','y','n','n','n','y','y','y','y','y','n','n','y','n','y','democrat'
'y','n','y','n','n','n',?,'y','y',?,'n','n','n','n','y',?,'democrat'
'n',?,'n','y','y','y','n','n','n','y','n','y','y','y','n','y','republican'
'n','y','y','n','n','n','y','y','y','y','n','n',?,'n','y','y','democrat'
'n','n','n','n','y','y','n','n','n','y','y','y','y','y','n','y','democrat'
'y',?,'y','n','n','n','y','y','y','n','n','n','n','n','y',?,'democrat'
'n','y','y','n','n','n','y','y','y','y','n','n','n','n','y','y','democrat'
'n','n','y','y','n','n','y','y','y','y','n','n','n','y','y','y','republican'
'n','n','y','n','n','n','y','y','y','y','y',?,'n','n','y','y','democrat'
?,'n','y','n','n','n','y','y','y','y','y',?,'n','n','y',?,'democrat'
'y','n','y','n','n','n','y','y','y','y','n','n','n','n','y','y','democrat'
?,?,'y','n','n','n','y','y','y',?,?,'n','n','n',?,?,'democrat'
'n','n','y','n','n','n','y','y','y','y','y','n','n','n','y','y','democrat'
'y',?,'y','n','n','n','y','y','y','n','n','n','n','n','y','y','democrat'
?,?,?,?,?,?,?,?,'y',?,?,?,?,?,?,?,'democrat'
'n','n','y','n','n','n','y','y','y','y','y','n','n','n','y','y','democrat'
'y','n','y','n','n','n','y','y','y','y','n',?,'n','n','y','y','democrat'
'n','y','y','n','n','n','y','y','y','y','y','n','n','n','y','y','democrat'
'y','n','y','n','n','n','y','y','y','n','n','n','n','n','y',?,'democrat'
'y',?,'n','y','y','y','y','y','n','n','n','y',?,'y',?,?,'republican'
'y','n','y','n','n','n','y','y','y','n','n','n','n','n','y','y','democrat'
'n',?,'n','y','y','y','n','n','n','n','n','y','y','y','n',?,'republican'
'n','y','n','y','y','y','n',?,'n','y','n','y','y','y','n',?,'republican'
'n','n','n','n','n','y','y','y','y','n','y','n','n','y','y','y','democrat'
'n','n','y','n','n','n','y','y','y','n','n','n','n','n','y','y','democrat'
'n','n','y','n','n','y','y',?,'y','y','y','n','n','n','y','y','democrat'
'n','n','n','y','y','y','n','n','n','n','n','y','y','y','n',?,'republican'
'n','n','y','n','n','y','y','y','y','n','y','y','n','y','y',?,'democrat'
'n',?,'y','y','y','y','n','n','n','y','n','n','n','y','n','y','republican'
'n','n','y','n','n','n','y','y','y','y','y','n',?,'n','y',?,'democrat'
'y','y','n','n','n','n','y','y',?,'n','y','n','n','n','y',?,'democrat'
'n','n','y','n','n','n','y','y','y','n','n','n','n','y','y','y','democrat'
'y','y','y','n','n','n','y','y','y','n','n','n','n','n','y','y','democrat'
'y','n','y','n','n','y','y','y','y','y','y','n','n','n','y','y','democrat'
'y','n','y','n','n','n','y','y','y','y','n','n','n','n','y','y','democrat'
'n','n','y','y','y','y','y','n','n','n','n','y','y','y','n','y','republican'
'n','n','y','n','n','y','y','y','y','y','n','y','n','n','n','y','democrat'
'n','n','n','y','y','y','n','n','n','y','n','y','n','y','n','y','republican'
'y',?,'n','y','y','y','y','n','n','y','n','y','y','y','n','y','republican'
'n','n','y','n','n','n','y','y','y','n','n',?,'n','n','y','y','democrat'
'y','y','y','n','n','n','y','y','y','y','y','n','n','n','n','y','democrat'
'n','n','y','n','n','y','y','y','y','n','n','n','n','n','y','y','democrat'
'n','y','n','y','y','y','n','n','n','y','n','y','y','y','n','y','republican'
'n','n','y','n','n','n','y','y','y','n','y','n','n','n','y','y','democrat'
'n','y','y','n','n','y','n','y','y','n','y','n','y','n','y','y','democrat'
'y','y','n','y','y','y','n','n','n','y','n','y','y','y','n','y','republican'
'n','y','y','y','y','y','n','n','n','y','y','y','y','y','y',?,'democrat'
'y','y','y','n','y','y','n','n',?,'y','n','n','n','y','y',?,'democrat'
'n','y','n','y','y','y','n','n','n','y','n','y','y','y','n','n','republican'
'y',?,'y','n','n','n','y','y','y','n',?,'n','n','n','y',?,'democrat'
'n','y','y','n','n','n','n','y','y','n','y','n','n','y','y','y','democrat'
'n','n','y','n','n','n','y','y','y','n','n','n','n','n','y',?,'democrat'
'n','y','y','n','y','y','n','n','n','n','y','n','n','n','y',?,'democrat'
'y','n','y','n','n','n','y','y','y','n','y','n','n','n','y',?,'democrat'
'n','n','n','y','y','n','n','n','n','n','n','y','y','y','n','y','republican'
'n','y','n','y','y','y','n','n','n','y','n',?,'y','y','n','n','republican'
'n',?,'n','y','y','y','n','n','n','n','n','y','y','y','n','y','republican'
'n','n','y','n','n','y','y','y','y','n','y','n','n','y','y','y','democrat'
'y','n','y','n','n','n','y','y','y','n','n','n','n','n',?,'y','democrat'
'n','y','n','y','y','y','n','n','n','n','n','y','y',?,'n','y','republican'
'n','y','y','y','y','y','y','n','y','y','n','y','y','y','n','y','republican'
'n','y','n','y','y','y','n','n','n','n','n','y','y','y','n','y','republican'
'n','y','n','y','y','y','n','n','y','y','n','y','y','y','n','y','republican'
'n','y','y','n','n','n','y','y','n','n','y','n','n','n','y',?,'democrat'
'n','y','n','y','y','y','n','n','n','y','n','y','y','y','n','y','republican'
'n','n','y','n','n','y','y','y','y','y','n','y','n','y','y',?,'democrat'
'n','n','n','y','y','y','n','n','n','y','n','y','n','y','n','y','republican'
'n','n','y','n','n','n','y','y','y','n','n','n','n','n','y','y','democrat'
'y','n','y','n','n','y','y','y','n','n','n','y','y','n','n','y','democrat'
'y','y','y','n','n','n','y','y',?,'y','n','n','n','n','y',?,'democrat'
'n','n','n','y','y','y','y','n','n','y','n','n','n','y','y','y','republican'
'n','n','n','y','n','y','y',?,'y','n','n','y','y','y','n','y','republican'
'y','n','y','n','n','n','y','y','y','y','y','n','n','y','y','y','democrat'
'n','n','n','n','y','y','y','n','n','n','n',?,'n','y','y','y','republican'
'n','y','y','n','n','n','y','y',?,'y','n','n','y','n','y','y','democrat'
'y','n','y','n','n','n','n','y','y','y','n','n','n','n','y','y','democrat'
'y','n','y','n','n','n','y','y','y','y','y','n','n','n','y','y','democrat'
'n','n','y','n','y','n','y','y','y','n','n','n','n','y',?,'y','democrat'
'n','y','n','y','y','y',?,'n','n','n','n',?,'y','y','n','n','republican'
?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,'republican'
'y','n','y','n','n','n','y','y',?,'n','y','n','n','n','y','y','democrat'
'n','y','n','y','y','y','n','n','n','n','n','y','y','y','n','n','republican'
'n','y','n','y','y','y','n','n','n','n','n','y','y','y','n','n','republican'
'y','y','y','n','n','y','y','y','y','n','n','n','n','n','y','y','democrat'
'n','y','n','y','y','y','n','n','n','n','n','y','y','y','n','y','republican'
'y','n','y','n','n','n','y','y','y','y','n','n','n','n','n','y','democrat'
'y','n','y','n','n','n','y','y','y','y','n','n','n','y','y','y','democrat'
'n','n','n','y','y','n','n','n','n','n','n','y','n','y','n','n','republican'
'n','n','n','y','y','n','n','n','n','n','n','y','n','y',?,'y','republican'
'n','n','y','n','n','n','y','y','y','n','y','n','n','n','y','y','democrat'
'y','n','y','n','n','n','y','y','y','n','n','n','n','n','n','y','democrat'
'y','n','y','n','n','n','y','y','y','y','n','n','n','n','n','y','democrat'
'y','n','y','n','n',?,'y','y','y','n',?,?,'n',?,?,?,'democrat'
'y','n','y','n','n','n','y','y','y','y','n','n',?,'n','y','y','democrat'
'y','n','y','n','n','n','y','y','y','n','n','n','n','n','y',?,'democrat'
'y','n','y','n','n','n','y','y','y','n','n','n','n','n','y',?,'democrat'
'y','n','y','n','n','n','y','y','y','y','n','n','n','n','n','y','democrat'
'n','n','n','y','y','y','n','n','n','y','n','y','n','y','n','y','republican'
'y','n','n','n','n','n','y','y','y','y','n','n','n','y','n','y','republican'
'y','n','y','n','n','n','y','y','y','n','n','n','n','n','y',?,'democrat'
'y','n','y','n','n','n','y','y','y','n','n','n','n','n','n','y','democrat'
'y','y','y','n','n','n','y','y','y','n','n','n','n','n','y','y','democrat'
'n','y','y','n','n','y','y','y','y','n',?,'n','n','n','n','y','democrat'
'y','n','y','n','n','n','y','y','y','y','n','n','n','n','y',?,'democrat'
'n','n','n','y','y','n','y','y','n','y','n','y','y','y',?,'y','republican'
'y','n','n','y','y','n','y','n','n','y','n','n','n','y','y','y','republican'
'n','n','y','n','y','y','n','n','n','n',?,'n','y','y','n','n','democrat'
'n','n','n','y','y','y','n','n','n','n','n','y','y','y','y','n','republican'
'n','n','y','y','y','y','y','y','n','y','n','n','n','y','n','y','republican'
'n','n','n','y','y','y','n','n','n','n','n','y','y','y','n','y','republican'
'n','n','n','y','y','y','n','n','n','y','n','y','y','y','n','n','republican'
'n','n','y','n','n','n','y','y','y','y','n','n','n','y','n','y','democrat'
'y','n','y','y','y','y','y','y','n','n','n','n','n','y','n',?,'republican'
'y','n','n','y','y','y','n','n','n','y','n',?,'y','y','n','n','republican'
'n','n','n','y','y','y','n','n','n','n','n','y','y','y','n','y','republican'
'n','n','y','n','n','y','y','y','y','y','y','n','n','n',?,'y','democrat'
'n','n','y','n','n','y','y','y','y','y','y','n','n','n','y','y','democrat'
'n','n','y','n','n','y',?,'y',?,'y','y','y','n','y','y',?,'democrat'
'y','y','y',?,'n','y','y','y','y','n','y','n','y','n',?,'y','democrat'
'y','y','y','n','y','y','n','y','n','y','y','n','y','y','y','y','democrat'
'y','y','y','n','y','y','n','y','n','y','y','n','y','y','n',?,'democrat'
'y','n','y','n',?,'y',?,'y','y','y','n','n','y','y','n','y','democrat'
'y','n','y','n','n','y','y','y','y','y','n',?,'n','y','n','y','democrat'
'y','n','y','n','n','y','y','y','n','y','y','n','y','y','y','y','democrat'
'y','y','y','n','n','y','y','y','y','y','y','n','y','y','y','y','democrat'
'n','y','y','n','n','y','y','y','n','y','y','n','y','y','n',?,'democrat'
'n','y','n','y','y','y',?,?,'n','y','n','y',?,?,?,?,'republican'
'n','n','y','y','y','y','n','n','n','y','n','y','y','y','y','y','republican'
'y','y','y','n','n','y','y','y','y','y','n','n',?,'n','y',?,'democrat'
'n','y','n','n','n','n','y','y','y','y','y','n','n','n','y','y','democrat'
'n','y','y','n','n','y','y','y','y','y','n','n','y','y','y','y','democrat'
'n','n','n','y','y','n','y','y','y','y','n','y','y','y','n','y','republican'
'n','n',?,'n','n','y','y','y','y','n','n','n','n','n','y','y','democrat'
'n','n','n','y','y','y','y','n','n','y','n','y','y','y','n','y','republican'
'n','n','n','y','y','y','n','n','n','n','n','y','y','y','n','n','republican'
'n','y','n','y','y','y','n','n','n','y','n','y','y','y','n',?,'republican'
'n','n','n','y','y','y','n','n','n','y','n','y','y','y','n','n','republican'
'n','n','n','y','y','y','n','n','n','n','n','y','y','y','n','n','republican'
'y','n','y','n','n','y','y','y','y','n','n','n','n','y','n',?,'democrat'
'n','n','n','y','y','y','n','n','n','y','n','y','y','y','n','n','republican'
'y','n','n','n','n','y','y','y','y','y','n','n','n','y','y','y','democrat'
'n','n','n','y','y','y','n','n','n','y','n','y','y','y','y','n','republican'
'n','n','y','n','n','y','y','y','y','y','n','n','y','n','n','y','democrat'
'y','y','y','n','n','n','y','y','y','y','n','n','n','n','y','y','democrat'
'n','y','y','y','y','y','n','n','n','y','n','y','y','y','n','y','republican'
'n','y','n','y','y','y','y','y','n','n','y','y','y','y','y','y','republican'
'n','y','y','y','y','y','y',?,'n','n','n','n',?,?,'y',?,'republican'
'n','n','n','n','n','y','n','y','y','n','y','y','y','y','y','n','democrat'
'y','n','n','n','n','n','y','y','y','y','n','n','n','n','y','y','democrat'
'n','n','y','n','n','n','y','y','y','n','n','n','n','n','y',?,'democrat'
'y','n','y','n','n','n','y','y','y','n','n','n','n','n','y',?,'democrat'
'n','y','y','n','n','y','n','y','y','y','n','n','y','y','n','y','democrat'
'y','y','y','n','n','n','y','y','y','y','n','n','y','n','n','y','democrat'
'y','y','y','n',?,'y','n',?,'n','n','y','n','y','y','n',?,'democrat'
'y','y','y','n','y','y','n','y',?,'y','n','n','y','y','n',?,'democrat'
'n','y','n','y','y','y','n','n','n','n','y','y','y','y','n','n','republican'
'n','y','n','n','y','y','n','n',?,'n','n','y','y','y','n','y','democrat'
'y','y','n','y','n','n','y','y','y','n','y','n','n','y','n','y','democrat'
'n','y','n','y','y','y','n','n','n','n','n','y','y','y','n','y','republican'
'y','y','y','n','n','n','y','y','y','n','y','n','n','n','n','y','democrat'
'y',?,'y','n','n','y','y','y','y','y','n','n','n','n','y',?,'democrat'
'n','y','n','y','y','y','n','n','n','y','n','y','y','y','n','n','republican'
'y',?,'y','n','n','n','y','y','y','n','n','n','n','n','y',?,'democrat'
'y','n','y','n','n','n','y','y','y','n','y','n','n','n','y',?,'democrat'
'n','n','y','n','n','n','y','y','y','n','n','n','n','n','y','y','democrat'
'n','y','y','n','n','y','y','y',?,'n','y','y','n','n','y','y','democrat'
'n','n','n','y','y','y','n','n','n','y','y','y','y','y','n',?,'republican'
'n','n','y','n','n','y','y','y','n','n','y','n','n','y',?,'y','democrat'
'y','n','y','n','n','n','y','y','y','n','n','n','n','n','y','y','democrat'
'y','n','y','n','n','n','y','y','y','y','n','n','n','y','y','y','democrat'
'y','n','n','y','y','y','n','n','n','n','y','y','y','y','n','n','republican'
'n','n','n','y','y','y','n','n','n','y','y','y','n','y','n','y','republican'
'n',?,'y',?,'n','y','y','y','y','y','y','n',?,?,'y','y','democrat'
'n','y','y','n','y',?,'y','n','n','y','y','n','y','n','y','y','democrat'
'n','n','n','y','y','n','y','n','y','y','n','n','n','y','n','y','republican'
'n','n','y','n','n','n','y','y','y','y','y','n','n','n','y','y','democrat'
'n','n','n','y','y','y','y','n','n','y','n','y','n','y','y','y','republican'
'n','n','n','y','y','y','n','n','n','y','n','y','y','y','n','y','republican'
'y','n','n','y','y','y','n','n','n','y','n','y','y','y','n','n','republican'
'y','n','y','n','n','n','y','y','y','y','n','y','n','n','y',?,'democrat'
'n','y','y','y','y','y','y','y','y','n','n','y','y','y','n','y','republican'
'n','y','n','n','n','y','y','n','y','n','y','n','n','n','y','y','democrat'
'n','n','y','y','y','y','y','y','y','y','n','y','y','y','y','y','republican'
'n','y','n','y','n','y','y','y','y','n','y','n','y','n','y',?,'democrat'
'n','n','y','y','y','y','y','n','n','y','y','y','y','y','n','y','republican'
'n','y','y','n','n','y','y','y','y','y','n',?,'n','n','y','y','democrat'
'y','n','y','y','n','n','n','y','y','y','n','n','n','y','y','y','republican'
'n','n','n','y','y','y','n','n','n','n','n','y','y','y','n','n','republican'
'n','n','n','y','y','y','n','n','n','n','n','y','y','y','n','n','republican'
'y','y','y','n','n','y','y','y','y','y','y','y','y','y','n',?,'democrat'
'n','n','n','y','y','y','n','n','n','y',?,'y','y','y','n','y','republican'
'y','n','y','n','n','y','y','y','y','y','n','n','y','n','n','y','democrat'
'y','n','y','n','y','y','y','n','y','y','n','n','y','y','n',?,'democrat'
'y','y','y','n','n','y','y','y','y','y','y','y','y','n','n','y','democrat'
'y','y','n','y','y','y','n','n','n','y','y','n','y','n','n','n','republican'
'y','y','n','y','y','y','n','n','n','n','y','n','y','y','n','y','republican'
'n','y','n','n','y','y','n','n','n','y','y','n','y','y','n','n','democrat'
'y','n','y','n','n','n','y','y','n','y','y','n','n','n','n',?,'democrat'
'y','y','y','n','y','y','y','y','n','y','y','n','n','n','y',?,'democrat'
'n','y','y','n','n','y','y','y','n','y','n','n','n','n','y','y','democrat'
'n','y','n','y','y','y','n','n','n','n','n','n','y','y','n','y','republican'
'y','y','y','n',?,'y','y','y','n','y',?,?,'n','n','y','y','democrat'
'y','y','y','n',?,'n','y','y','y','y','n','n','n','n','y',?,'democrat'
'n','y','y','y','y','y','n','n','n','n','y','y',?,'y','n','n','democrat'
'n','y','y',?,'y','y','n','y','n','y',?,'n','y','y',?,'y','democrat'
'n','y','n','y','y','y','n','n','n','n','n','y','y','y','n','y','republican'
'n','y','n','y','y','y','n','n','n','n','y','y','n','y','n','n','democrat'
'y',?,'y','n','n','n','y','y','y','n','y','n','n','n','y','y','democrat'
'n','y','n','y','y','y',?,?,'n','n',?,?,'y',?,?,?,'republican'
'n','n','n','y','y','y','n','n','n','n','n','y','y','y','n','y','republican'
'n','n','n','y','y','y','n','n','n','n','n','y','y','y','n','y','republican'
'y','y','y','n','n','y',?,'y','y','n','y','n','y','n','y','y','democrat'
'y','y','y','n','y','y','y','y','y','y','y','n','y','y','n',?,'democrat'
'y','y','n','y','y','y','n','n','n','n','y','n','y','y','n',?,'democrat'
'y','y','y','n','y','y','n','y','y','y','y','n','n','n','n','y','democrat'
'y','y','y','y','y','y','n','n','n','n','y','y','y','y','n','y','democrat'
'y','y','n','n','y','y','n','n','n','n','y','y','y','y','y','n','democrat'
'n',?,'y','n','y','y','n','y','n','n','y','n','n','n','n',?,'democrat'
'y','y','y','n','y','y','n','y','y','n','y','n','n','y','n',?,'democrat'
'n','y','y','y','y','y','n','n','n','n','n','y','y','y','n',?,'democrat'
'y','n','y','n','n','n','y','y','y',?,'y','n','n','n','y',?,'democrat'
?,?,'n','n',?,'y',?,'n','n','n','y','y','n','y','n',?,'democrat'
'y','y','n','n','n','n','n','y','y','n','y','n','n','n','y','n','democrat'
'y','y','n','y','y','y','n','n','n','n','y','y','y','y','n','y','republican'
?,?,?,?,'n','y','n','y','y','n','n','y','y','n','n',?,'republican'
'y','y',?,?,?,'y','n','n','n','n','y','n','y','n','n','y','democrat'
'y','y','y',?,'n','n','n','y','n','n','y',?,'n','n','y','y','democrat'
'y','y','y','n','y','y','n','y','n','n','y','n','y','n','y','y','democrat'
'y','y','n','n','y',?,'n','n','n','n','y','n','y','y','n','y','democrat'
'n','y','y','n','y','y','n','y','n','n','n','n','n','n','n','y','democrat'
'n','y','n','y',?,'y','n','n','n','y','n','y','y','y','n','n','republican'
'n','y','n','y','y','y','n',?,'n','n',?,?,?,'y','n',?,'republican'
'n','y','n','y','y','y','n','n','n','y','y','y','y','y','n','n','republican'
?,'n','y','y','n','y','y','y','y','y','n','y','n','y','n','y','republican'
'n','y','n','y','y','y','n','n','n','y','n','y',?,'y','n','n','republican'
'y','y','n','y','y','y','n','n','n','y','n','y','y','y','n','y','republican'
'n','n','n','y','y','y','n','n','n','n','n','y','y','y','n','y','republican'
'y','n','y','n','y','y','n','n','y','y','n','n','y','y','n','y','democrat'
'n','n','n','y','y','y','n','n','n','n','y','y','y','y','n','n','democrat'
'y','n','y','n','n','y','y','y','y','n','n','y',?,'y','y','y','democrat'
'n','n','n','y','y','y','n','n','n','n','n','y','y','y','n','n','republican'
'n','n','n','y','y','y','n','n','n','n','y','y','y','y','n','y','republican'
'y','n','y','n','n','y','y','y','y','y','y','n','n','n','n','y','democrat'
'n','n','n','y','y','y','n','n','n','y','n','y','y','y','n','y','republican'
'y','y','y','y','y','y','y','y','n','y',?,?,?,'y','n','y','republican'
'y','y','y','n','n','n','y','y','y','n','n','n','n','n','n','y','democrat'
'n','y','y','n','n','y','y','y',?,'y','n','n','n','n','n','y','democrat'
'y','y','n','y','y','y','n','n','n','y','n','n','y','y','n','y','republican'
'y','y','y','n','n','n','y','y','y','y','y','n','y','n','n','y','democrat'
'y','y','y','n','n','n','y','y','n','y','n','n','n','n','n','y','democrat'
'y','y','y','n','n','n','y','y','y','n','n','n','n','n','n','y','democrat'
'y','y','y','y','y','y','y','y','n','y','n','n','y','y','n','y','republican'
'n','y','y','n','y','y','y','y','n','n','y','n','y','n','y','y','democrat'
'n','n','y','n','n','y','y','y','y','n','y','n','n','n','y','y','democrat'
'n','y','y','n','n','y','y','y','y','n','y','n','n','y','y','y','democrat'
'n','y','y','n','n',?,'y','y','y','y','y','n',?,'y','y','y','democrat'
'n','n','y','n','n','n','y','y','n','y','y','n','n','n','y',?,'democrat'
'y','n','y','n','n','n','y','y','y','y','n','n','n','n','y','y','democrat'
'n','n','n','y','y','y','y','y','n','y','n','y','y','y','n','y','republican'
?,?,?,'n','n','n','y','y','y','y','n','n','y','n','y','y','democrat'
'y','n','y','n',?,'n','y','y','y','y','n','y','n',?,'y','y','democrat'
'n','n','y','y','y','y','n','n','y','y','n','y','y','y','n','y','republican'
'n','n','y','n','n','n','y','y','y','y','n','n','n','n','n','y','democrat'
'n',?,'n','y','y','y','n','n','n','n','y','y','y','y','n','y','republican'
'n','n','n','y','y','y',?,?,?,?,'n','y','y','y','n','y','republican'
'n','y','n','y','y','y','n','n','n','y','n','y','y','y',?,'n','republican'
%
%
%

另外，上例測試集的選取不具隨機性，于是就寫了一段程序（寫的挺難看的，不過能用）隨機挑選35個實例作為測試集。

# 隨機挑選35個實例作為測試集
from random import randint
f = open('vote.arff', 'r')
vote = f.read()
f.close()
list = vote.split('\n')
head = list[194:213]
data = list[213:-4]
test = []
for i in range(35):
    rand = randint(0,len(data)-1)
    info = data.pop(rand)
    test.append(info)
print(len(data),len(test))
f1 = open('vote1.arff','w')
f2 = open('vote1_test.arff','w')
for line in head:
    line += '\n'
    f1.write(line)
    f2.write(line)
for line in data:
    f1.write(line+'\n')
for line in test:
    f2.write(line+'\n')
f1.close()
f2.close()

圖m就是改后的數(shù)據(jù)截圖：

m. vote1.arff 和 vote1_test.arff 在編輯器中打開
（2）四種分類算法主要參數(shù)列表：
  • ** 正確預(yù)測比例 **
評估方法 樸素貝葉斯 SMO支持向量機 2-最鄰近值 C4.5決策樹
10折交叉驗證 90% 95.75% 92.75% 95.5%
使用訓(xùn)練集 91.4286 % 97.1429 % 94.2857 % 100%
  • ** ROC值 **
評估方法 樸素貝葉斯 SMO支持向量機 2-最鄰近值 C4.5決策樹
10折交叉驗證 0.972 0.959 0.964 0.965
使用訓(xùn)練集 0.983 0.975 1 1

這回的數(shù)據(jù)分類模型效果比上例都強了太多：四種算法預(yù)測正確率都在 90% 之上，而 ROC 值都在0.95之上。其原因一是數(shù)據(jù)集中實例較多；二是 vote 這個數(shù)據(jù)集本身是關(guān)于政治傾向問題的，相對 weather 中根據(jù)天氣打網(wǎng)球來說，與“心情”之類的因素沒多少關(guān)系，具有足夠的“必然性”，這點在圖n中也可見一斑（幾乎僅有被黃線標(biāo)識這兩個屬性差異不明顯）。

n. 每個屬性與類別標(biāo)簽的關(guān)系（藍(lán)：democrat，紅：republican）

比如剔除了兩個黃線標(biāo)識的屬性后，再用J48分類（10折交叉驗證情況下），正確預(yù)測率達(dá)到96%，ROC值也達(dá)0.969。（除樸素貝葉斯外，這幾個算法的參數(shù)都有輕微提升）當(dāng)然，剔除太多屬性后，算法效果并不穩(wěn)定。

同時，所有四個算法在使用測試集的評估方法下，都有較之10折交叉驗證時更好的參數(shù)，這大概因為前者雖使用了的35個隨機實例作為測試集，但較之后者偶然性仍更大，沒有統(tǒng)計回歸效應(yīng)。
比如用剛才的程序重新選出一組訓(xùn)練集和測試集后，參數(shù)會變?yōu)椋?/p>

  • ** 正確預(yù)測比例2 **
評估方法 樸素貝葉斯 SMO支持向量機 2-最鄰近值 C4.5決策樹
10折交叉驗證 89.75% 96.5% 92.75% 96.25%
使用訓(xùn)練集 97.1429% 94.2857% 97.1429% 97.1429%
  • ** ROC值2 **
評估方法 樸素貝葉斯 SMO支持向量機 2-最鄰近值 C4.5決策樹
10折交叉驗證 0.97 0.966 0.972 0.967
使用訓(xùn)練集 0.98 0.96 0.96 0.978

顯然使用測試集的評估方法下，各算法參數(shù)變化更大。（當(dāng)然，無法排除抽取數(shù)據(jù)導(dǎo)致的隨機性，不過應(yīng)該已經(jīng)可以提供實驗數(shù)據(jù)支持了）

（3）數(shù)據(jù)分類結(jié)果

選用了最直觀易懂的C4.5決策樹算法在使用測試集下建立的模型，稍微看一下圖o，就可知道起決定作用的只是少數(shù)屬性，于是也側(cè)面證實了之前提到過的剔除部分不顯著屬性可以帶來效果的提升。

o. C4.5決策樹+使用測試集

五、實驗結(jié)論

在此次實驗中，能得到如下結(jié)論（在我已有的知識背景下，相信它們也算是一般規(guī)律了）：
四個算法的效果：SMO支持向量機 > C4.5決策樹 > 2-最鄰近值 > 樸素貝葉斯；
四個算法的輕便度（按時間和資源花費的倒序）：樸素貝葉斯 > 2-最鄰近值 > C4.5決策樹 > SMO支持向量機；
兩個評估方法的穩(wěn)定性：10折交叉驗證 > 使用測試集；
兩個評估方法的輕便度：使用測試集 > 10折交叉驗證。

最后編輯于 ：
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成，瀏覽時請結(jié)合常識與多方信息審慎甄別。
平臺聲明：文章內(nèi)容（如有圖片或視頻亦包括在內(nèi)）由作者上傳并發(fā)布，文章內(nèi)容僅代表作者本人觀點，簡書系信息發(fā)布平臺，僅提供信息存儲服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

  • RSHandbook筆記P1C1：推薦系統(tǒng)中的數(shù)據(jù)挖掘方法 標(biāo)簽： 推薦系統(tǒng)HandBook筆記 由于簡書不支持l...
    littlekid閱讀 1,419評論 0贊 5
  • 機器學(xué)習(xí) 經(jīng)驗 數(shù)據(jù) 數(shù)據(jù)中產(chǎn)生模型model 的算法 學(xué)習(xí)算法 learning algorithm 數(shù)據(jù)集 d...
    時待吾閱讀 4,173評論 0贊 3
  • 大多數(shù)的人都是先談一段時間戀愛，等感覺到雙方彼此之間有了一些相互了解，有些現(xiàn)實問題達(dá)成共識，并且有了一定的感情基礎(chǔ)...
    劍走偏鋒獨行俠閱讀 227評論 1贊 2
  • 有一種童話之所以美好，在于沒有結(jié)局。 1. 腳下的步子不快不慢，剛好夠十分鐘從學(xué)校走到公交車站，懷里抱著自習(xí)課上還...
    歲歲有喬木閱讀 407評論 3贊 7
  • “你知道什么時候我們真的感到孤獨嗎？” “是在人群里” 這個冬天過的很漫長，我卻忽然想起了那個東京最后的夜晚 我本...
    憂愁LEE閱讀 398評論 0贊 0

友情鏈接更多精彩內(nèi)容