熊貓智能采集 v3.5官方版

熊貓智能采集是一款功能強大，但又操作簡單的采集器軟件，其采用熊貓精準搜索引擎的解析內核，實現(xiàn)對網(wǎng)頁內容的仿瀏覽器解析，在此基礎上利用原創(chuàng)的技術實現(xiàn)對網(wǎng)頁框架內容與核心內容的分離、抽取，并實現(xiàn)相似頁面的有效比對、匹配。因此，用戶只需要指定一個參考頁面，熊貓采集軟件系統(tǒng)就可以據(jù)此來匹配類似的頁面，來實現(xiàn)用戶需要采集資料的批量采集。

在采集過程中，用戶不再需要使用非常專業(yè)的“正則表達式”技術，不要需要借助技術高手來編寫采集匹配規(guī)則。熊貓采集軟件系統(tǒng)會將參考頁面的內容解析分解后，由用戶利用鼠標點選需要采集的對象即可，系統(tǒng)據(jù)此就可以知道用戶需要采集的內容。總之，瀏覽器可見的內容都可以采集，有興趣的用戶不妨下載體驗！

如何用熊貓采集器實現(xiàn)網(wǎng)絡上企業(yè)名錄、客戶手機電話號碼的搜索采集

1、首先，打開軟件，點擊“客戶資料采集模板”標簽?？梢钥吹街髁鞯碾娫捲淳W(wǎng)站，都已經(jīng)內置在軟件中了，包括“從網(wǎng)頁搜索電話”（輸入關鍵詞，即可全網(wǎng)搜索相關電話）。官方會不停的追加新的電話源采集網(wǎng)站進去。如果你有合適的網(wǎng)站，也可以推薦給熊貓。

電話采集模板

圖示1：客戶資料采集模板

2、點擊你需要采集對象網(wǎng)站的圖標，即可打開新項目復制對話框。

新項目復制對話框

圖示2：新項目復制對話框

3、在打開的復制項目對話框中，首先選擇你需要采集的城市編碼，從下拉列表中直接選擇即可（如果下拉列表太長，難以找到?？梢灾苯釉谙吕斜砜蛑校斎肽阈枰某鞘忻Q，即可快速定位該城市。）。

然后輸入你需要搜索的關鍵詞，多個關鍵詞之間可以用逗號分開即可。

再將當前項目取個名字（在上述截圖左側的“項目名稱”輸入框中）。

然后點擊“確認創(chuàng)建”按鈕，即可完成一個新的電話采集項目的配置。

是不是足夠簡單？——已經(jīng)簡單到無法再簡單了！

然后點擊“立即運行”按鈕，即可關閉設置界面，直接進入數(shù)據(jù)采集運行。

最新獲取的結果數(shù)據(jù)，會在軟件主界面下方的列表中滾動展示：

最新獲取的結果數(shù)據(jù)

圖示3：最新獲取的結果數(shù)據(jù)

4、當當前項目的運行進度條全部完成，并且“項目當前狀態(tài)：”出現(xiàn)“運行已完成”字樣的時候，說明本次采集完成。

當項目運行結束后，即可選擇導出數(shù)據(jù)：軟件菜單：項目數(shù)據(jù)-導出數(shù)據(jù) 。（或者直接點擊軟件界面中間的“導出數(shù)據(jù)（當前項目）”按鈕）

5、默認的導出數(shù)據(jù)設置，是只導出單一的電話號碼，并自動排除重復手機號。如果需要完整數(shù)據(jù)，請在彈出的對話框中，選擇“指定列輸出”。

導出數(shù)據(jù)的設置

圖示5：導出數(shù)據(jù)的設置

6、默認的導出數(shù)據(jù)文件，會在項目專屬文件夾下，和當前項目同名的文件。

默認情況下，項目采集結果數(shù)據(jù)會存儲在項目專屬文件夾下的data.mdb文件中，為office.access軟件格式，用office.excel軟件也可以直接打開該data.mdb文件進行查看、編輯。推薦使用access軟件打開該data.mdb文件進行數(shù)據(jù)輸出。如果你的電腦中，沒有安裝Office或者access，可以使用“導出數(shù)據(jù)”功能導出為csv通用excel格式文件。

7、至此即可完成一個電話采集項目的設置、運行、數(shù)據(jù)導出的全部流程。

注意同一個網(wǎng)站下，不宜同時運行多個采集項目，因為這會給對方網(wǎng)站造成很大的訪問壓力，進而可能會被封IP。軟件的內置模板已經(jīng)對訪問壓力做了均衡設置，單一項目運行的時候，一般不會被封IP的。但是同時運行多個項目，則會超出均衡設置的范圍。

當被封IP的時候，請打開“項目高級設置”-云計算-選擇“僅請求協(xié)助網(wǎng)頁的訪問”，進行云采集，即可繞開對方網(wǎng)站的采集屏蔽。

1、全方位的采集功能

采集的對象包括文字內容、圖片、flash動畫視頻、下載文件等等各類網(wǎng)絡內容。支持圖文混排對象的同時采集。支持結構復雜的采集對象集合，支持復雜多數(shù)據(jù)庫表單，支持跨頁面內容合并采集的能力。

2、面向對象采集，采集對象的內容可以是分散在多個頁面（模板頁面的深度嵌套訪問）熊貓采集是面向對象的，一個采集對象可以擁有許多需要采集的子項屬性內容。這些子項屬性的內容允許分散在不同的頁面內，這些頁面可以是需要通過若干次鏈接才能到達的頁面。

此處所謂“對象”，可以理解為“（需要采集的數(shù)據(jù)的）數(shù)據(jù)集合 ”的意思。這個數(shù)據(jù)集合的內容和范圍由用戶根據(jù)實際需求自行決定，沒有特定的要求。也可以將該對象范疇囊括到“標題列表頁面”，這屬于變通使用的方法，在此不多做贅述。靈活的使用面向對象的方法，不僅可以實現(xiàn)很多復雜的采集需求，更可以使得采集設置過程更為簡單。

3、采集速度快

熊貓采集的采集速度是采集軟件中最快的（之一）。不使用落后低效的正則匹配技術。也不使用第三方內置瀏覽器訪問的技術。使用自己研發(fā)的解析引擎，實現(xiàn)對網(wǎng)頁源碼的仿瀏覽器解析。分解網(wǎng)頁可視化內容元素，在此基礎上進行機器學習、批量采集匹配。經(jīng)實際測試，是傳統(tǒng)的正則匹配方式采集速度的2~5倍。是基于第三方內置瀏覽器采集速度的10~20倍。

4、結果數(shù)據(jù)完整度高

實際采集過程中，由于目標頁面存在豐富的內容頁面板式的情況，此時就需要使用熊貓獨有的“多模板功能”，才能實現(xiàn)完整的采集。同時，看起來頁面版面一致的情況下，也可能會存在因為頁面內部的少量差異而采集采集匹配失敗，此時就需要采集器具有智能容錯能力。智能容錯能力，是衡量一個采集器是否成熟的基本標志之一。熊貓追求的是采集結果100%的完整。包括有效頁面100%的采集，頁面中采集的內容100%的采集。只要設置恰當，不會出現(xiàn)采集結果遺漏的情況?！挥行茇埐拍茏尳Y果如此完整。

5、JS解析的自動判斷識別

現(xiàn)在很多網(wǎng)頁都采用了ajax網(wǎng)頁內容動態(tài)生成技術。此時僅僅依靠網(wǎng)頁源碼，并不能獲取需要的有效內容。此時就需要對被采集的頁面執(zhí)行JavaScript（JS）解析，獲取JS執(zhí)行后的結果代碼。熊貓支持對需要JS解析的頁面，執(zhí)行JS解析，獲取JS解析后的實際內容。鑒于執(zhí)行JS解析的速度效率很低，因此熊貓內置了智能判斷功能，自動檢查是否需要對被采集的頁面執(zhí)行JS解析，如果不需要的，盡量不使用低效的JS解析模式。

6、多模板自動適應能力

很多網(wǎng)站的“內容頁面”會存在多個不同種類的模板，因此熊貓采集軟件允許每個采集項目可以同時設置多個內容頁面參考模板，在采集運行時，系統(tǒng)會自動匹配尋找最合適的參考模板用來分析內容頁面。

7、實時幫助窗口

在采集項目設置環(huán)節(jié)，系統(tǒng)會在窗口右上顯示與當前配置相關的實時幫助內容，為使用新手提供實時幫助。因此熊貓采集軟件的使用可以輕松上手。配合全程智能化輔助能力，即便是第一次接觸熊貓采集軟件，也可以較輕松實現(xiàn)采集項目的配置工作。

8、正文和回復內容同時采集的能力

典型如論壇頁面，正文內容在前，若干回復內容在后，或者還存在若干個回復分頁存在。熊貓采集可以將這些作為一個“對象”來對待，一并同時完整采集，其配置過程也非常簡單。

9、分頁內容的輕松合并

支持各種類型的分頁模式，用戶只需要做兩步就可以實現(xiàn)分頁內容的合并：鼠標點選確認分頁鏈接所在，將需要分頁合并的字段項勾選上“分頁合并”項即可。如果頁面內具有重復子項存在，則能自動在分頁中尋找該重復子項，隱含自動進行分頁內容合并。

典型如上述的論壇例子，分頁頁面內的回復內容，可自動實現(xiàn)歸并，此時用戶只需要鼠標點選確認分頁鏈接所在即可。有些場合下，在論壇內容頁面的分頁中也會同時出現(xiàn)主體（主表）內容，此時系統(tǒng)會自動進行判斷，不會將主表內容當成重復子項的子表內容進行采集。

10、利用cookie方式模擬登錄網(wǎng)站

對于需要登錄才能訪問采集頁面的網(wǎng)站（包括Discuz等各類型論壇），可以利用賬號進行模擬登錄。熊貓采集可以通過模擬瀏覽器機制，利用動態(tài)cookie和網(wǎng)站進行cookie動態(tài)對話。有些網(wǎng)站，為了加強數(shù)據(jù)的安全性，利用cookie對網(wǎng)頁內容數(shù)據(jù)進行加密，此時就需要使用熊貓采集特有的“動態(tài)Cookie”功能。

11、支持常見類型數(shù)據(jù)庫引擎。支持FTP上傳

熊目前版本的熊貓，支持Access/mssql/mysql/Oracle 四種常用數(shù)據(jù)庫類型，以后可能會視需求進行擴充。支持將下載的各類文件圖片等同時FTP上傳到遠程服務器內。用戶利用此項功能就可以將在本地電腦上采集的數(shù)據(jù)同時更新到自己網(wǎng)站內，充實欄目內容。對于其他的動態(tài)數(shù)據(jù)發(fā)布方式，熊貓會在用戶使用反饋的基礎上盡快實現(xiàn)。

12、無人值守自動定時運行

提供更新采集訪問的能力，自動定時更新運行。無需人工干預，系統(tǒng)自動封閉運行。

13、文字內容的“偽原創(chuàng)”修改。支持文章時間的提前

提供文字內容的“偽原創(chuàng)”修改。還可以將文章時間做“提前”修改，文章的發(fā)表時間是搜索引擎用來區(qū)別文章是否原創(chuàng)的一個參考因素。

軟件功能

1、大數(shù)據(jù)采集

熊貓擁有極高的采集速度和效率，是大數(shù)據(jù)采集場合的最優(yōu)選擇。同時熊貓獨有的海量數(shù)據(jù)處理能力，可以應付大數(shù)據(jù)采集的需要。是大數(shù)據(jù)采集場合的首選

2、輿情監(jiān)測

借助全部中文搜素引擎，輕松實現(xiàn)全網(wǎng)輿情信息的監(jiān)測，信息覆蓋面廣。對于需要重點監(jiān)測的網(wǎng)站，只需要錄入網(wǎng)址即可實現(xiàn)監(jiān)測。PC端獨立運行，普通的移動PC即可勝任輿情監(jiān)測工作。同時熊貓智能采集監(jiān)測引擎，也是第三方輿情系統(tǒng)內置爬蟲的首選。

3、招標信息監(jiān)測

利用熊貓智能采集監(jiān)測引擎，可以輕松實現(xiàn)對招標信息發(fā)布網(wǎng)站的最新招標信息進行監(jiān)測。熊貓采集，是招標信息監(jiān)測軟件的最優(yōu)選擇：操作容易、維護簡單、結果直觀方便。

4、客戶資料收集

利用熊貓可以輕松從網(wǎng)絡中批量獲取需要的客戶信息，利用熊貓的各類繞開防采集機制（，如熊貓獨有的云采集功能），可以輕松繞開被采集網(wǎng)站的防采集機制。如58、趕集、百姓網(wǎng)、阿里巴巴、慧聰?shù)鹊取?

5、眾多站長：網(wǎng)站搬家、網(wǎng)站內容自動填充

熊貓是操作最簡單的采集器，是眾多網(wǎng)站站長的首先。同時熊貓也是功能復雜的采集器，可以應用幾乎所有的復雜網(wǎng)站的采集、搬家操作。

6、采集互聯(lián)網(wǎng)資源

利用熊貓采集軟件，可以將互聯(lián)網(wǎng)資源實現(xiàn)批量、格式化的下載到本地。 可選的采集工具軟件是在太多了，但都屬于DOS時代，操作繁瑣、作用簡單、需要專業(yè)技術人員才可以勉強操作。而熊貓不同，全程可視化鼠標操作，操作簡單，且功能全面，尤其熊貓可以實現(xiàn)非常復雜的采集需求，不懂技術的人也可以輕松操作。熊貓采集是采集軟件的換代產品，——輕松采集，從熊貓開始！

7、充實用戶網(wǎng)站內容

用戶可以利用熊貓，將互聯(lián)網(wǎng)上零散或集中的資源批量采集拷貝到自己網(wǎng)站內，充實自己網(wǎng)站內容。不需要懂技術、不要資金、不要人力投入、借助熊貓，任何人都可以輕松成為一個大站的站長。

8、行業(yè)垂直搜索引擎

利用熊貓采集，配合熊貓采集配套的分詞索引檢索系統(tǒng)，用戶就可以輕松構建一個行業(yè)垂直搜索引擎。例如招聘、人才、房產、旅游、購物、商務、分類信息、二手、醫(yī)療健康等等。

熊貓采集軟件，從開發(fā)伊始，就是為了做通用搜索引擎而設計，如果僅僅認為熊貓只是原始而廉價的采集軟件，那就是對熊貓大誤解。熊貓采集的技術，是源于熊貓精準搜索引擎。

9、作為相關軟件的功能配套

可以作為輿情、監(jiān)控、情報等互聯(lián)網(wǎng)相關軟件的配套軟件，節(jié)約重復高成本開發(fā)，關鍵是可以提高用戶的使用體驗，提升軟件自身的技術形象。

技術特點

1、搜索引擎解析內核

熊貓利用的是搜索引擎的智能解析內核，實現(xiàn)對網(wǎng)頁內容的仿瀏覽器解析、分解、內容提取、近似頁面比對等等。

2、內置分詞/索引/檢索引擎

軟件內置有熊貓獨立研發(fā)的分詞索引檢索引擎，用于文章的分詞、文章內容相似度的分析匹配，摘要自動生成等應用。性能強悍，內存占用小，效率極高。

3、視覺模擬技術

熊貓采集軟件會模擬人的視覺來分析網(wǎng)頁，在此基礎上利用參考（模板）頁面實現(xiàn)采集匹配工作。

4、網(wǎng)站頁面邏輯關系分析技術

這是熊貓?zhí)赜械脑瓌?chuàng)技術。是熊貓采集軟件所依賴的基礎技術之一。