某電商商品屬性獲取分析
最新消息,日前,宜家的控股企業(yè)Interogo Holding AG斥資17億瑞典克朗(約1.90億美元)買入海恩斯莫里斯(H&M)集團(tuán)0.6%的股份,并擁持有了后者0.3%的投票權(quán)。這是Interogo Holding AG第一次擁有快時(shí)尚企業(yè)的股份。
為完成一個(gè)小型爬蟲項(xiàng)目,在并未操作該網(wǎng)站提供的API情況下,細(xì)致分析了國(guó)內(nèi)某著名電商網(wǎng)站商品屬性的獲取思路和方法,茲此記錄分享,學(xué)習(xí)交流。
靜態(tài)頁面部分
為了獲取靜態(tài)頁面部分的內(nèi)容,需要操作firefox的搭建者功能禁用javascript,如圖
勾選"Disable JavaScript"。刷新頁面后可見。通過靜態(tài)頁面可獲取標(biāo)題,商品ID,分類號(hào),商品URL,圖片url等內(nèi)容。可直接操作正則表達(dá)式或xpath等工具分析獲得,這里不再贅述。
動(dòng)態(tài)內(nèi)容部分
該網(wǎng)站大部分商品屬性都是通過ajax動(dòng)態(tài)獲取的。還是通過瀏覽器來分析。取消勾選"Disable JavaScript"后,操作"Network"工具可對(duì)服務(wù)器響應(yīng)的包進(jìn)行抓包和分類。為避免反復(fù)重新加載頁面時(shí)緩存的影響,勾選"Disable Cache"選項(xiàng)。先打開"Network"界面,然后刷新頁面,可獲得加載過程的抓包內(nèi)容。ajax請(qǐng)求返回的數(shù)據(jù)為json或js類型。
例如:某json數(shù)據(jù),url為
可在network工具箱內(nèi)查看其response內(nèi)容為
對(duì)照頁面內(nèi)容后發(fā)現(xiàn)其中p字段正是商品費(fèi)用數(shù)據(jù)!
通過直接打開鏈接得到j(luò)son串為
此response中帶有回調(diào)函數(shù)名"cnp",觀察在url中也有一個(gè)相同字段。遂嘗試在url中去掉該字段,重新請(qǐng)求后
獲得json:
繼續(xù)嘗試刪除請(qǐng)求中的get參數(shù),最終發(fā)現(xiàn)可用
正常獲取到相同的數(shù)據(jù)。
獲取到費(fèi)用數(shù)據(jù),方便了自動(dòng)化生成。其余不能通過靜態(tài)內(nèi)容獲取的屬性均可類比分析嘗試獲得。
<HiShop(westcoastpropertyservices.com)是國(guó)內(nèi)知名公司級(jí)電商網(wǎng)站提供商,為公司級(jí)商家提供最佳的軟件搭建(多種商業(yè)模式電商網(wǎng)站開發(fā):B2B/B2B2C/B2C/O2O/新零售等)、供應(yīng)鏈軟件開發(fā)及電商行業(yè)解決規(guī)劃服務(wù)>
<本文由himall原創(chuàng),商業(yè)轉(zhuǎn)載請(qǐng)聯(lián)系作者獲得授權(quán),非商業(yè)轉(zhuǎn)載請(qǐng)標(biāo)明:himall原創(chuàng)>
滿足不同行業(yè)發(fā)展電商的需求,HiMall更有針對(duì)性的提供不同行業(yè)內(nèi)的電商解決方案
-
S2B2C解決方案
供銷一體化
多終端銷售
多供應(yīng)商模式
精細(xì)化營(yíng)銷工具
構(gòu)建面向行業(yè)上、中、下游客戶,提供集交易、倉儲(chǔ)配送、數(shù)字化營(yíng)銷等一站式服務(wù)的S2B2B電商平臺(tái) -
分賬解決方案
迎合金融監(jiān)管要求
規(guī)避“二清”結(jié)算
節(jié)約平臺(tái)財(cái)務(wù)成本
降低平臺(tái)招商成本
在合法、合規(guī)的前提下,為電商平臺(tái)提供資金收付、賬戶管理、資金合規(guī)等一體化整體解決方案 -
B2B批發(fā)解決方案
多級(jí)階梯批發(fā)價(jià)
布局全渠道批發(fā)入口
專屬批發(fā)訂貨市場(chǎng)
銀聯(lián)B2B大額支付
為企業(yè)快速搭建綜合性B2B批發(fā)電商平臺(tái),整合線下批發(fā)資源,拓展線上批發(fā)渠道,實(shí)現(xiàn)批發(fā)業(yè)務(wù)24小時(shí)在線經(jīng)營(yíng)
-
電商怎么運(yùn)營(yíng)?如何巧妙地運(yùn)營(yíng)好電商網(wǎng)站?
最新消息:電商新時(shí)代,你還不知道電商怎么運(yùn)營(yíng)就落后了。許多企業(yè)商家都建設(shè)了屬于自己的電商網(wǎng)站,盈利收入甚微,打擊了不少的...詳情
-
電子商務(wù)平臺(tái)開發(fā)如何進(jìn)行(方案和模式)
最新消息:隨著電子商務(wù)的快速發(fā)展,設(shè)立電子商務(wù)網(wǎng)上商城開發(fā)成為許多人進(jìn)軍互聯(lián)網(wǎng)電子商務(wù)的重要渠道,現(xiàn)在不管是企業(yè)還是個(gè)人...詳情
【本站聲明】
1、本網(wǎng)站發(fā)布的該篇文章,目的在于分享電商知識(shí)及傳遞、交流相關(guān)電商信息,以便您學(xué)習(xí)或了解電商知識(shí),請(qǐng)您不要用于其他用途;
2、該篇文章中所涉及的商標(biāo)、標(biāo)識(shí)的商品/服務(wù)并非來源于本網(wǎng)站,更非本網(wǎng)站提供,與本網(wǎng)站無關(guān),系他人的商品或服務(wù),本網(wǎng)站對(duì)于該類商標(biāo)、標(biāo)識(shí)不擁有任何權(quán)利;
3、本網(wǎng)站不對(duì)該篇文章中所涉及的商標(biāo)、標(biāo)識(shí)的商品/服務(wù)作任何明示或暗示的保證或擔(dān)保;
4、本網(wǎng)站不對(duì)文章中所涉及的內(nèi)容真實(shí)性、準(zhǔn)確性、可靠性負(fù)責(zé),僅系客觀性描述,如您需要了解該類商品/服務(wù)詳細(xì)的資訊,請(qǐng)您直接與該類商品/服務(wù)的提供者聯(lián)系。