【附源碼】

2017-06-19軟件定義世界（SDX）

如果你手上有一批數(shù)據(jù)，你可能應(yīng)用統(tǒng)計(jì)學(xué)、挖掘算法、可視化方法等技術(shù)玩轉(zhuǎn)你的數(shù)據(jù)，但你沒有數(shù)據(jù)的時(shí)候，我該怎么玩呢？接下來就帶著大家玩玩沒有數(shù)據(jù)情況下的數(shù)據(jù)分析。

所有涉及到價(jià)格變動(dòng)的問題，都要先確定一點(diǎn)——經(jīng)濟(jì)學(xué)上決定商品價(jià)格的第一因素是什么？供求。就算認(rèn)定國家故意操縱房?jī)r(jià)的人，也是認(rèn)同控制土地供給等于控制房?jī)r(jià)的概念的。

那么根據(jù)以上定律，房?jī)r(jià)要怎么樣才能跌？沒人要買房子的時(shí)候房?jī)r(jià)就會(huì)跌了。以此為基礎(chǔ)進(jìn)行推演，既然現(xiàn)在想住房子但是由于經(jīng)濟(jì)原因無法實(shí)現(xiàn)的人都在盼跌，那么我問你，如果房?jī)r(jià)是因?yàn)闆]人要買房所以下跌的話，那個(gè)時(shí)候房子已經(jīng)沒人要買了，你為什么還要買？所以現(xiàn)在那些吸引不了外地前來的勞動(dòng)力安家扎根同時(shí)本地居民也沒有改善自己現(xiàn)有住房的期望的地方，房?jī)r(jià)進(jìn)入了下行的通道。

那么有沒有一種在大家都想買的前提下，房?jī)r(jià)又確實(shí)在下跌的情況？在2013年3月1日，國務(wù)院出臺(tái)國五條細(xì)則，其中最引人關(guān)注的便是個(gè)人出售房產(chǎn)要嚴(yán)格按照轉(zhuǎn)讓所得的20%計(jì)征個(gè)人所得稅，力度之大令市場(chǎng)始料不及。此政策一出臺(tái)，被解讀為政府決心出手壓制過熱的房地產(chǎn)市場(chǎng)，此后許多房東為了趕在所得稅開征之前完成交易躲避稅費(fèi)，降價(jià)拋售的也絕不在少數(shù)。這正是一個(gè)在買賣雙方供需量沒有明顯變化情況下為了迅速完成交易導(dǎo)致商品價(jià)格下行的例子。過去荷蘭是歐洲的花卉出口中心，由于花卉的保質(zhì)期非常短，交易必須迅速進(jìn)行，于是荷蘭出現(xiàn)了一種拍賣方式：拍賣人以一個(gè)較高價(jià)格起拍，之后逐步降低價(jià)格，直到有人愿意以此價(jià)格成交。這種拍賣方式的優(yōu)點(diǎn)就是迅速，它也適用于海魚、乳制品等易變質(zhì)物品的拍賣，這種拍賣方式也被稱為荷蘭式拍賣?，F(xiàn)假設(shè)有一套房子，房東以300萬的價(jià)格開售，短時(shí)間內(nèi)沒有買家問津，房東只好開始降價(jià)，你對(duì)這個(gè)房子的心理價(jià)位是250萬，但是很遺憾，房東降價(jià)到275萬的時(shí)候就被心理價(jià)位在275萬的買家成交了。因此在這種情況下的問題就是，你要么購買力比別人都高，要么就要等到所有購買力比你高的人都完成了交易，這時(shí)你只能祈禱當(dāng)?shù)氐膸齑媪磕芏嗟桨奄徺I力比你高的買家都喂飽了，不然對(duì)你來說，買不起的房子還是買不起。另外補(bǔ)充一點(diǎn)，國家將房產(chǎn)交易過程中定價(jià)明顯低于應(yīng)有市場(chǎng)價(jià)的行為界定為逃稅，是要依法打擊的，所以就算是父母想以低價(jià)將自己名下的房屋過戶給子女是不行的，還是需要以一個(gè)合理價(jià)格進(jìn)行交易并支付稅費(fèi)，其實(shí)這從一定程度上支持了國家操縱房?jī)r(jià)的論點(diǎn)。當(dāng)然，最后這個(gè)政策對(duì)房?jī)r(jià)的調(diào)控也是然并卵，這20%的所得稅就算是支持政府開支了。

那么再考慮一個(gè)情況，政府出臺(tái)了一種搖號(hào)或排號(hào)政策，每個(gè)月放出一定的低價(jià)房源，搖到或者排到號(hào)的人可以低價(jià)購買，其實(shí)就類似于現(xiàn)在的廉租房或保障性住房。大家不妨回憶不久前的北京醫(yī)院女子大罵黃牛的事件，再想想每年春運(yùn)期間搶火車票的盛況，一件商品被人為地壓制了價(jià)格，要不就滋生黃牛，要不就需要消費(fèi)者用上吃奶的力氣搶購。

綜上，現(xiàn)在想要置身世外幻想在自己的購買力沒有變化的情況下，房?jī)r(jià)崩盤暴跌，是非常不現(xiàn)實(shí)的。而房?jī)r(jià)的變化應(yīng)該是和民眾的購買力相關(guān)的。為什么北上廣深這幾年的房?jī)r(jià)漲幅如此兇猛，多少人即使傾盡家財(cái)加上貸款也要拼命去供一個(gè)并不算舒適的房子？這些購房者其實(shí)內(nèi)心都有一個(gè)信念——現(xiàn)在雖然還款壓力大，但是我的收入是會(huì)增長(zhǎng)的，等過幾年，我的收入增加了，壓力就不大了，如果那時(shí)房?jī)r(jià)再上漲，賣掉手上的房子，我就能再置換舒適點(diǎn)的房子了。為什么國內(nèi)幾個(gè)一線城市每年都能吸引那么多年輕人心甘情愿地離鄉(xiāng)背井在此打拼？歸根結(jié)底，這些一線城市給予了年輕人向上的通道，每天都有數(shù)不清的機(jī)遇在等待發(fā)掘。新興的金融業(yè)、IT業(yè)每天都在制造著新的百萬富翁，所以什么時(shí)候。有人提出了一個(gè)結(jié)論：“我無法預(yù)言房?jī)r(jià)是漲是跌，但我能知道我什么時(shí)候該買房。那就是當(dāng)你收入增速放緩并且未來可能不會(huì)有較高年增長(zhǎng)率時(shí)，你就應(yīng)該在自己能力范圍內(nèi)買房了。”我在這個(gè)答案下評(píng)論：10年前在1線城市貸款買的房子，哪怕這10年工資收入沒有任何長(zhǎng)進(jìn)，光房?jī)r(jià)的增值就能直接讓你財(cái)富翻番；而10年前如果沒有看好房市而選擇了儲(chǔ)蓄，那么這10年哪怕你收入翻倍也趕不上腳下土地的漲幅了。如果再完善一下這個(gè)結(jié)論，我會(huì)說最佳的購房時(shí)機(jī)是——當(dāng)你購買力的增長(zhǎng)速度比不過當(dāng)?shù)氐姆康禺a(chǎn)價(jià)格的增長(zhǎng)速度的時(shí)候，你就應(yīng)該在自己能力范圍內(nèi)買房了。”為什么現(xiàn)在房地產(chǎn)的行情是三四線城市松動(dòng)，二線城市滯漲，一線城市繼續(xù)高歌猛進(jìn)？因?yàn)槿木€城市已經(jīng)失去了經(jīng)濟(jì)發(fā)展的動(dòng)力，購房者預(yù)期到自己的購買力可能不會(huì)有太大的增長(zhǎng)了，自然就開始保守起來，日本在廣場(chǎng)條約后經(jīng)濟(jì)泡沫破裂，很多人的月收入下挫到連支付月供都有困難，大量房東開始拋售房產(chǎn)，可惜此時(shí)的市場(chǎng)已經(jīng)低落到買家也無法支付房款了，這就是國民購買力預(yù)期大幅下跌最終引致了房地產(chǎn)崩盤。

在此思考一下，一個(gè)房子應(yīng)該值什么價(jià)？這個(gè)價(jià)值怎樣衡量？最簡(jiǎn)單的，使用人民幣衡量。為什么我國房地產(chǎn)在過去的十幾年里如日中天？因?yàn)檫@十幾年來國民的購買力增長(zhǎng)著實(shí)可觀。而我們也知道，人民幣是一般等價(jià)物，是一種特殊的商品，如果我們把人民幣換成其他的商品呢？豬肉、白菜、衣服甚至股票、基金、外匯、黃金、期貨等等等等，這些東西都可以用人民幣兌換，那么我們用房?jī)r(jià)來兌換這些商品，又會(huì)獲得怎樣的結(jié)果？2015年年初到年中的股票牛市，使用人民幣在股市中投資的收益是可以遠(yuǎn)大于投資房地產(chǎn)的，那么這個(gè)時(shí)候，房?jī)r(jià)對(duì)于你來說其實(shí)就是下跌了。同樣，如果你在2015年6月至現(xiàn)在選擇了投資股票的話，房?jī)r(jià)對(duì)你來說真的就是“漲到天上去了”。我經(jīng)常能聽到這樣的感慨：“早知道房?jī)r(jià)這么漲，10年前說什么也要貸款買房子?！彼自捳f，種一棵樹最好的時(shí)間是10年前，其次是現(xiàn)在。我想問問，今天有多少人敢把自己的全部家當(dāng)做投資，賭10年后的收益？我們要認(rèn)識(shí)到，在我們之中其實(shí)沒有多少人有這樣的眼光和膽識(shí)，同樣10年前能想到用買房投資的人，要么真的相信房?jī)r(jià)能漲，要么輸?shù)闷鹫娴牟辉诤跄敲袋c(diǎn)錢，那么這種人和現(xiàn)在在買房投資的人又有什么區(qū)別？以前投資房地產(chǎn)現(xiàn)在暴富的人，他們的今天都是用眼光和膽識(shí)換來的，如果你相信這只是運(yùn)氣好的話，何不帶上你的夢(mèng)想和存款去澳門走一遭？我相信把房地產(chǎn)作為投資品的人還是少數(shù)，在過去現(xiàn)在和未來，買房的人最普遍的心態(tài)還是——想買，而且也買得起。

我認(rèn)為分析房?jī)r(jià)的漲跌是徒勞的，長(zhǎng)期來看房?jī)r(jià)變化都應(yīng)該略高于社會(huì)的普遍購買力，我們只看到日本房?jī)r(jià)大崩盤，但在房?jī)r(jià)崩盤之前，日本的國民經(jīng)濟(jì)已經(jīng)崩盤了。房?jī)r(jià)的走勢(shì)難以預(yù)測(cè)，但你總能預(yù)測(cè)下自己將來的購買力相對(duì)于社會(huì)平均水平到底是怎么個(gè)變化吧？要是連自己幾斤幾兩都不知道，還要去預(yù)測(cè)國民經(jīng)濟(jì)的走向，是不是太想當(dāng)然了點(diǎn)？例如你提升了自己的工作能力，升職加薪了，你的購買力提升了，房?jī)r(jià)相對(duì)來說就下跌了，所以這里投資收益大于房?jī)r(jià)的，正是你自己的工作技能。所謂水漲船高，其實(shí)我們只看到房?jī)r(jià)這個(gè)船在漲，有時(shí)候我們都忘了我們自己也泡在水里，水再漲，我們想上船（買房）的難度其實(shí)是沒有變化的。這里的水，正是當(dāng)?shù)氐慕?jīng)濟(jì)發(fā)展水平，因?yàn)樵谟萌嗣駧藕饬糠績(jī)r(jià)的基礎(chǔ)下，經(jīng)濟(jì)振奮，國民購買力上升，房?jī)r(jià)漲；經(jīng)濟(jì)萎靡，國民購買力下降，房?jī)r(jià)跌。要么你在經(jīng)濟(jì)上行的時(shí)候跑的比別人快，要么在經(jīng)濟(jì)下行的時(shí)候摔得比別人輕，如果你的購買力變化僅僅取決于社會(huì)整體財(cái)富水平的漲跌的話，現(xiàn)在買不起的房子，以后任何時(shí)候你一樣買不起。說到這里不得不說說財(cái)富分配的問題了，最近在知乎上被熱議的4萬億計(jì)劃很大的一個(gè)問題就是這4萬億的水沒有分流，被大量的集中在了少數(shù)的幾個(gè)領(lǐng)域，并沒有廣泛地提高全社會(huì)的財(cái)富水平，反而拉大了貧富差距。對(duì)于光見房?jī)r(jià)漲不見工資漲的狀況，癥結(jié)在于這經(jīng)濟(jì)發(fā)展的“水”，沒有流到你所在的行業(yè)，你和這個(gè)船不在一個(gè)池子里。前幾年盛行“跑贏CPI”的說法，如果說收入能跑贏CPI算是對(duì)能力的肯定，那么收入跑贏房?jī)r(jià)，那這個(gè)房子確實(shí)是你應(yīng)得的回報(bào)。

所以總結(jié)一下吧，對(duì)于想買房改善生活的各位，分各種情況來給出點(diǎn)建議：

1.現(xiàn)在的房?jī)r(jià)對(duì)你來說沒有壓力，那么早買早享受，直接一步到位買買得起的范圍內(nèi)最好的。

2.你現(xiàn)在有足夠支付首付的資金，也有償還月供的能力，同時(shí)你沒有明確的投資途徑能讓這筆資金的增值速度快于房市，但是工作穩(wěn)定將來有一定的上升空間，那么買。

3. 你現(xiàn)在有支付首付的資金，但是你有投資的打算并且認(rèn)為投資的回報(bào)能大于房?jī)r(jià)的增長(zhǎng)，那么投資。但是要注意一點(diǎn)，我舉個(gè)例子，按照現(xiàn)在首套房30%的首付比例來說，你有90萬本金，目標(biāo)是購買300萬的房子，如果1年后房?jī)r(jià)上漲10%，那么90萬的資金在這個(gè)時(shí)間內(nèi)的收益必須同樣達(dá)到10%以上，否則就失去了購房的資格了，同時(shí)在此期間你的月收入也要達(dá)到10%的增長(zhǎng)才能實(shí)現(xiàn)購買力增長(zhǎng)大于房?jī)r(jià)增長(zhǎng)。房?jī)r(jià)年增長(zhǎng)10%在上海太過常見，對(duì)于現(xiàn)在國內(nèi)的投資環(huán)境來說，年化收益在10%應(yīng)該是中高風(fēng)險(xiǎn)了。在這樣的資產(chǎn)配置下，千萬不要再盼房?jī)r(jià)跌了，此時(shí)房?jī)r(jià)一跌，經(jīng)濟(jì)環(huán)境不知道要惡劣到什么程度，這本金恐怕貶值速度也要快于房?jī)r(jià)了。當(dāng)然，如果投資的本金翻倍，但購房的目標(biāo)沒變的話，年化收益就只要達(dá)到5%即可，這算是一個(gè)可控的風(fēng)險(xiǎn)程度了。不過這應(yīng)該比較接近情況1這種壓力不大的情況，買或不買，取決于自己的需求有多迫切。

4.最后說個(gè)比較悲劇的情況，如果你目前沒有支付首付的能力，同時(shí)你沒能讓自己年收入凈增長(zhǎng)在房?jī)r(jià)的凈增長(zhǎng)之上，可能你真的是這個(gè)城市希望篩除的對(duì)象……

本文從如下幾個(gè)角度詳細(xì)講解數(shù)據(jù)分析的流程：

1、數(shù)據(jù)源的獲?。?/b>

2、數(shù)據(jù)探索與清洗；

3、模型構(gòu)建（聚類算法和線性回歸）；

4、模型預(yù)測(cè)；

5、模型評(píng)估；

一、數(shù)據(jù)源的獲取

正如本文的題目一樣，我要分析的是上海二手房數(shù)據(jù)，我想看看哪些因素會(huì)影響房?jī)r(jià)？哪些房源可以歸為一類？我該如何預(yù)測(cè)二手房的價(jià)格？可我手上沒有這樣的數(shù)據(jù)樣本，我該如何回答上面的問題呢？

互聯(lián)網(wǎng)時(shí)代，網(wǎng)絡(luò)信息那么發(fā)達(dá)，信息量那么龐大，隨便找點(diǎn)數(shù)據(jù)就夠喝一壺了。前幾期我們已經(jīng)講過了如何從互聯(lián)網(wǎng)中抓取信息，采用Python這個(gè)靈活而便捷的工具完成爬蟲，

當(dāng)然，上海二手房的數(shù)據(jù)仍然是通過爬蟲獲取的，爬取的平臺(tái)來自于鏈家，頁面是這樣的：

我所需要抓取下來的數(shù)據(jù)就是紅框中的內(nèi)容，即上海各個(gè)區(qū)域下每套二手房的小區(qū)名稱、戶型、面積、所屬區(qū)域、樓層、朝向、售價(jià)及單價(jià)。先截幾張Python爬蟲的代碼，源代碼和數(shù)據(jù)分析代碼寫在文后的鏈接中，如需下載可以

回復(fù)公眾號(hào)“二手房”獲取下載鏈接。

上面圖中的代碼是構(gòu)造所有需要爬蟲的鏈接。

上面圖中的代碼是爬取指定字段的內(nèi)容。

爬下來的數(shù)據(jù)是長(zhǎng)這樣的（總共28000多套二手房）：

二、數(shù)據(jù)探索與清洗（一下均以R語言實(shí)現(xiàn)）

當(dāng)數(shù)據(jù)抓下來后，按照慣例，需要對(duì)數(shù)據(jù)做一個(gè)探索性分析，即了解我的數(shù)據(jù)都長(zhǎng)成什么樣子。

1、戶型分布

# 戶型分布

library(ggplot2)

type_freq <- data.frame(table(house$戶型))

# 繪圖

type_p <- ggplot(data = type_freq, mapping = aes(x = reorder(Var1, -Freq),y = Freq)) + geom_bar(stat = 'identity', fill = 'steelblue') + theme(axis.text.x ?= element_text(angle = 30, vjust = 0.5)) + xlab('戶型') + ylab('套數(shù)')

type_p

我們發(fā)現(xiàn)只有少數(shù)幾種的戶型數(shù)量比較多，其余的都非常少，明顯屬于長(zhǎng)尾分布類型（嚴(yán)重偏態(tài)），所以，考慮將1000套一下的戶型統(tǒng)統(tǒng)歸為一類。

# 把低于一千套的房型設(shè)置為其他

type <- c('2室2廳','2室1廳','3室2廳','1室1廳','3室1廳','4室2廳','1室0廳','2室0廳')

house$type.new <- ifelse(house$戶型 %in% type, house$戶型,'其他')

type_freq <- data.frame(table(house$type.new))

# 繪圖

type_p <- ggplot(data = type_freq, mapping = aes(x = reorder(Var1, -Freq),y = Freq)) + geom_bar(stat = 'identity', fill = 'steelblue') + theme(axis.text.x ?= element_text(angle = 30, vjust = 0.5)) + xlab('戶型') + ylab('套數(shù)')

type_p

2、二手房的面積和房?jī)r(jià)的分布

# 面積的正態(tài)性檢驗(yàn)

norm.test(house$面積)

# 房?jī)r(jià)的正態(tài)性檢驗(yàn)

norm.test(house$價(jià)格.W.)

上面的norm.test函數(shù)是我自定義的函數(shù)，函數(shù)代碼也在下文的鏈接中，可自行下載。從上圖可知，二手房的面積和價(jià)格均不滿足正態(tài)分布，那么就不能直接對(duì)這樣的數(shù)據(jù)進(jìn)行方差分析或構(gòu)建線性回歸模型，因?yàn)檫@兩種統(tǒng)計(jì)方法，都要求正態(tài)性分布的前提假設(shè)，后面我們會(huì)將講解如何處理這樣的問題。

3、二手房的樓層分布

原始數(shù)據(jù)中關(guān)于樓層這一變量，總共有151種水平，如地上5層、低區(qū)/6層、中區(qū)/11層、高區(qū)/40層等，我們覺得有必要將這151種水平設(shè)置為低區(qū)、中區(qū)和高區(qū)三種水平，這樣做有助于后面建模的需要。

# 把樓層分為低區(qū)、中區(qū)和高區(qū)三種

house$floow <- ifelse(substring(house$樓層,1,2) %in% c('低區(qū)','中區(qū)','高區(qū)'), substring(house$樓層,1,2),'低區(qū)')

# 各樓層類型百分比分布

percent <- paste(round(prop.table(table(house$floow))*100,2),'%',sep = '')

df <- data.frame(table(house$floow))

df <- cbind(df, percent)

df

可見，三種樓層的分布大體相當(dāng)，最多的為高區(qū)，占了36.1%。

4、上海各地區(qū)二手房的均價(jià)

# 上海各區(qū)房?jī)r(jià)均價(jià)

avg_price <- aggregate(house$單價(jià).平方米., by = list(house$區(qū)域), mean)

#繪圖

p <- ggplot(data = avg_price, mapping = aes(x = reorder(Group.1, -x), y = x, group = 1)) + geom_area(fill = 'lightgreen') + geom_line(colour = 'steelblue', size = 2) + geom_point() + xlab('') + ylab('均價(jià)')

p

很明顯，上海二手房?jī)r(jià)格最高的三個(gè)地區(qū)為：靜安、黃埔和徐匯，均價(jià)都在7.5W以上，價(jià)格最低的三個(gè)地區(qū)為：崇明、金山和奉賢。

5、房屋建筑時(shí)間缺失嚴(yán)重

建筑時(shí)間這個(gè)變量有6216個(gè)缺失，占了總樣本的22%。雖然缺失嚴(yán)重，但我也不能簡(jiǎn)單粗暴的把該變量扔掉，所以考慮到按各個(gè)區(qū)域分組，實(shí)現(xiàn)眾數(shù)替補(bǔ)法。這里構(gòu)建了兩個(gè)自定義函數(shù)：

library(Hmisc)

# 自定義眾數(shù)函數(shù)

stat.mode <- function(x, rm.na = TRUE){

if (rm.na == TRUE){

y = x[!is.na(x)]

}

res = names(table(y))[which.max(table(y))]

return(res)

}

# 自定義函數(shù)，實(shí)現(xiàn)分組替補(bǔ)

my.impute <- function(data, category.col = NULL,

miss.col = NULL, method = stat.mode){

impute.data = NULL

for(i in as.character(unique(data[,category.col]))){

sub.data = subset(data, data[,category.col] == i)

sub.data[,miss.col] = impute(sub.data[,miss.col], method)

impute.data = c(impute.data, sub.data[,miss.col])

}

data[,miss.col] = impute.data

return(data)

}

# 將建筑時(shí)間中空白字符串轉(zhuǎn)換為缺失值

house$建筑時(shí)間[house$建筑時(shí)間 == ''] <- NA

#分組替補(bǔ)缺失值，并對(duì)數(shù)據(jù)集進(jìn)行變量篩選

final_house <- subset(my.impute(house, '區(qū)域', '建筑時(shí)間'),select = c(type.new,floow,面積,價(jià)格.W.,單價(jià).平方米.,建筑時(shí)間))

#構(gòu)建新字段，即建筑時(shí)間與當(dāng)前2016年的時(shí)長(zhǎng)

final_house <- transform(final_house, builtdate2now = 2016-as.integer(substring(as.character(建筑時(shí)間),1,4)))

#刪除原始的建筑時(shí)間這一字段

final_house <- subset(final_house, select = -建筑時(shí)間)

最終完成的干凈數(shù)據(jù)集如下：

接下來就可以針對(duì)這樣的干凈數(shù)據(jù)集，作進(jìn)一步的分析，如聚類、線性回歸等。

三、模型構(gòu)建

這么多的房子，我該如何把它們分分類呢？即應(yīng)該把哪些房源歸為一類？這就要用到聚類算法了，我們就使用簡(jiǎn)單而快捷的k-means算法實(shí)現(xiàn)聚類的工作。但聚類前，我需要掂量一下我該聚為幾類？根據(jù)聚類原則：組內(nèi)差距要小，組間差距要大。我們繪制不同類簇下的組內(nèi)離差平方和圖，聚類過程中，我們選擇面積、房?jī)r(jià)和單價(jià)三個(gè)數(shù)值型變量：

tot.wssplot <- function(data, nc, seed=1234){

#假設(shè)分為一組時(shí)的總的離差平方和

tot.wss <- (nrow(data)-1)*sum(apply(data,2,var))

for (i in 2:nc){

#必須指定隨機(jī)種子數(shù)

set.seed(seed)

tot.wss[i] <- kmeans(data, centers=i, iter.max = 100)$tot.withinss

}

plot(1:nc, tot.wss, type="b", xlab="Number of Clusters",

ylab="Within groups sum of squares",col = 'blue',

lwd = 2, main = 'Choose best Clusters')

}

# 繪制不同聚類數(shù)目下的組內(nèi)離差平方和

standrad <- data.frame(scale(final_house[,c('面積','價(jià)格.W.','單價(jià).平方米.')]))

myplot <- tot.wssplot(standrad, nc = 15)

當(dāng)把所有樣本當(dāng)作一類時(shí)，離差平方和達(dá)到最大，隨著聚類數(shù)量的增加，組內(nèi)離差平方和會(huì)逐漸降低，直到極端情況，每一個(gè)樣本作為一類，此時(shí)組內(nèi)離差平方和為0。從上圖看，聚類數(shù)量在5次以上，組內(nèi)離差平方降低非常緩慢，可以把拐點(diǎn)當(dāng)作5，即聚為5類。

# 將樣本數(shù)據(jù)聚為5類

set.seed(1234)

clust <- kmeans(x = standrad, centers = 5, iter.max = 100)

table(clust$cluster)

# 按照聚類的結(jié)果，查看各類中的區(qū)域分布

table(final_house$區(qū)域,clust$cluster)

# 各戶型的平均面積

aggregate(final_house$面積, list(final_house$type.new), mean)

# 按聚類結(jié)果，比較各類中房子的平均面積、平均價(jià)格和平均單價(jià)

aggregate(final_house[,3:5], list(clust$cluster), mean)

從平均水平來看，我大體可以將28000多套房源合成為如下幾種說法：

a、大戶型（3室2廳、4室2廳），屬于第2類。平均面積都在130平以上，這種大戶型的房源主要分布在青浦、黃埔、松江等地（具體可從各類中的區(qū)域分布圖可知）。

b、地段型（房?jī)r(jià)高），屬于第1類。典型的區(qū)域有黃埔、徐匯、長(zhǎng)寧、浦東等地（具體可從各類中的區(qū)域分布圖可知）。

c、大眾蝸居型（面積小、價(jià)格適中、房源多），屬于第4和5類。典型的區(qū)域有寶山、虹口、閔行、浦東、普陀、楊浦等地

d、徘徊型（大戶型與地段型之間的房源），屬于第3類。典型的區(qū)域有奉賢、嘉定、青浦、松江等地。這些地區(qū)也是將來迅速崛起的地方。

# 繪制面積與單價(jià)的散點(diǎn)圖，并按聚類進(jìn)行劃分

p <- ggplot(data = final_house[,3:5], mapping = aes(x = 面積,y = 單價(jià).平方米., color = factor(clust$cluster)))

p <- p + geom_point(pch = 20, size = 3)

p + scale_colour_manual(values = c("red","blue", "green", "black", "orange"))

接下來我想借助于已有的數(shù)據(jù)（房?jī)r(jià)、面積、單價(jià)、樓層、戶型、建筑時(shí)長(zhǎng)、聚類水平）構(gòu)建線性回歸方程，用于房?jī)r(jià)因素的判斷及預(yù)測(cè)。由于數(shù)據(jù)中有離散變量，如戶型、樓層等，這些變量入模的話需要對(duì)其進(jìn)行啞變量處理。

# 構(gòu)造樓層和聚類結(jié)果的啞變量

# 將幾個(gè)離散變量轉(zhuǎn)換為因子，目的便于下面一次性處理啞變量

final_house$cluster <- factor(clust$cluster)

final_house$floow <- factor(final_house$floow)

final_house$type.new <- factor(final_house$type.new)

# 篩選出所有因子型變量

factors <- names(final_house)[sapply(final_house, class) == 'factor']

# 將因子型變量轉(zhuǎn)換成公式formula的右半邊形式

formula <- f <- as.formula(paste('~', paste(factors, collapse = '+')))

dummy <- dummyVars(formula = formula, data = final_house)

pred <- predict(dummy, newdata = final_house)

head(pred)

# 將啞變量規(guī)整到final_house數(shù)據(jù)集中

final_house2 <- cbind(final_house,pred)

# 篩選出需要建模的數(shù)據(jù)

model.data <- subset(final_house2,select = -c(1,2,3,8,17,18,24))

# 直接對(duì)數(shù)據(jù)進(jìn)行線性回歸建模

fit1 <- lm(價(jià)格.W. ~ .,data = model.data)

summary(fit1)

從體看上去還行，只有建筑時(shí)長(zhǎng)和2室0廳的房型參數(shù)不顯著，其他均在0.01置信水平下顯著。不要贊贊自喜，我們說，使用線性回歸是有假設(shè)前提的，即因變量滿足正態(tài)或近似于正態(tài)分布，前面說過，房?jī)r(jià)明顯在樣本中是偏態(tài)的，并不服從正態(tài)分布，所以這里使用COX-BOX變換處理。根據(jù)COX-BOX變換的lambda結(jié)果，我們針對(duì)y變量進(jìn)行轉(zhuǎn)換，即：

# Cox-Box轉(zhuǎn)換

library(car)

powerTransform(fit1)

根據(jù)結(jié)果顯示，0.23非常接近上表中的0值，故考慮將二手房的價(jià)格進(jìn)行對(duì)數(shù)變換。

fit2 <- lm(log(價(jià)格.W.) ~ .,data = model.data)

summary(fit2)

這次的結(jié)果就明顯比fit1好很多，僅有樓層的中區(qū)在0.1置信水平下顯著，其余變量均在0.01置信水平下顯著，而且調(diào)整的R方值也提高到了94.3%，即這些自變量對(duì)房?jī)r(jià)的解釋度達(dá)到了94.3%。

最后我們?cè)倏匆幌?，關(guān)于最終模型的診斷結(jié)果：

# 使用plot方法完成模型定性的診斷

opar <- par(no.readonly = TRUE)

par(mfrow = c(2,2))

plot(fit2)

par(opar)

從上圖看，基本上滿足了線性回歸模型的幾個(gè)假設(shè)，即：殘差項(xiàng)服從均值為0（左上），標(biāo)準(zhǔn)差為常數(shù)（左下）的正態(tài)分布分布（右上）?；谶@樣的模型，我們就可以有針對(duì)性的預(yù)測(cè)房?jī)r(jià)啦~