1.直接從實戰(zhàn)開始,抓取新東方在線課程http://www.koolearn.com/
- 找到所有要抓取的分類,組成數組,比如
$cat_url =array (
array (
'cat_id' => '101',
'cat_name' => 'TOEFL',
'url' => 'http://www.koolearn.com/toefl/',
),
array (
'cat_id' => '108',
'cat_name' => 'GMAT',
'url' => 'http://www.koolearn.com/gmat/',
),
);
$base_url = 'http://www.koolearn.com';
cat_id ,cat_name 對應本地數據庫里的數據。
記錄抓取的日志,如在laravel3里可以簡單寫個函數
function _log($info, $pre='===') {
$info = $pre.$info."\n";
echo $info;
File::append('storage/logs/get.log', $info);
return;
}開始抓取