火車采集器（LocoySpider）V10.1 官方版

　　火車采集器是一款功能強大的數(shù)據(jù)采集軟件，用戶可以通過軟件進(jìn)行數(shù)據(jù)各式各樣的數(shù)據(jù)采集，用戶還可以自行設(shè)置時間及參數(shù)，隨后一鍵啟動即可，操作十分簡單，對于提高我們的工作效率非常有幫助 ，如果有需要的用戶就快來下載吧。

功能介紹

　　1、通用性強

　　無論新聞、論壇、視頻、黃頁、圖片、下載類網(wǎng)站，只要通過瀏覽器能看到的結(jié)構(gòu)化的內(nèi)容，通過指定匹配規(guī)則，都能采集到您所需要的內(nèi)容。

　　2、穩(wěn)定、高效

　　五年磨一劍，軟件不斷更新進(jìn)步，采集速度快，性能穩(wěn)定，占用資源少。

　　3、擴(kuò)展性強、適用范圍廣

　　自定義web發(fā)布，自定義主流的數(shù)據(jù)庫的保存和發(fā)布，自定義本地php及。net外部編程接口處理數(shù)據(jù)，讓數(shù)據(jù)都能為你所用。

　　4、支持所有網(wǎng)站編碼

　　完美支持采集所有編碼格式的網(wǎng)頁，程序還可以自動識別網(wǎng)頁編碼。

　　5、多種發(fā)布方式

　　支持目前所有主流和非主流的CMS，BBS等網(wǎng)站程序，通過系統(tǒng)的發(fā)布模塊能實現(xiàn)采集器和網(wǎng)站程序間的完美結(jié)合。

　　6、全自動

　　無人值守工作，配置好程序后，程序?qū)⒁罁?jù)您的設(shè)置自動運行，完全無需人工干預(yù)。

　　7、本地編輯

　　本地可視化編輯已采集的數(shù)據(jù)。

　　8、采集測試

　　這是其它任何同類采集軟件所不能比的，程序支持直接查看采集結(jié)果并測試發(fā)布。

　　9、管理方便

　　使用站點+任務(wù)方式管理采集節(jié)點，任務(wù)支持批量操作，再多的數(shù)據(jù)管理也很輕松。

軟件特色

　　1、規(guī)則自定義

　　通過采集規(guī)則的定義，可以搜索所有網(wǎng)站采集幾乎任何類型的信息。

　　2、多任務(wù)，多線程

　　可以同時進(jìn)行多個信息采集任務(wù)，每個任務(wù)可以使用多個線程。

　　3、所見即所得

　　任務(wù)采集過程所見即所得，過程中遍歷的鏈接信息、采集信息、錯誤信息等都會及時的反映在軟件界面中。

　　4、數(shù)據(jù)保存

　　數(shù)據(jù)邊采集邊自動保存到關(guān)系數(shù)據(jù)庫中，并且數(shù)據(jù)結(jié)構(gòu)能夠自動適應(yīng)，軟件可以根據(jù)采集規(guī)則自動創(chuàng)建數(shù)據(jù)庫，以及其中的表和字段，也可以通過導(dǎo)庫方式靈活的將數(shù)據(jù)保存到客戶已有的數(shù)據(jù)庫結(jié)構(gòu)中。

　　5、斷點續(xù)采

　　信息采集任務(wù)可以在停止后從斷點開始繼續(xù)采集，從此你用不再擔(dān)心你的采集任務(wù)意外中斷了。

　　6、網(wǎng)站登錄

　　支持網(wǎng)站Cookie，支持網(wǎng)站可視化登錄，即使登錄時需要驗證碼的網(wǎng)站也能采集。

　　7、計劃任務(wù)

　　通過這個功能可以讓你的采集任務(wù)定時、定量或者一直循環(huán)執(zhí)行。

　　8、采集范圍限制

　　可以根據(jù)采集的深度和網(wǎng)址的標(biāo)識來限制采集的范圍。

　　9、文件下載

　　可以將采集到的二進(jìn)制文件（諸如：圖片、音樂、軟件、文檔等等）下載到本地磁盤或者采集結(jié)果數(shù)據(jù)庫中。

　　10、結(jié)果替換

　　可以將采集的結(jié)果根據(jù)規(guī)則替換成你定義的內(nèi)容。

　　11、條件保存

　　可以根據(jù)某個條件來決定那些信息保存，那些信息過濾。

　　12、過濾重復(fù)內(nèi)容

　　軟件可根據(jù)用戶設(shè)置和實際情況對重復(fù)內(nèi)容和重復(fù)網(wǎng)址自動刪除重復(fù)內(nèi)容。

　　13、特殊鏈接識別

　　運用此功能可以將用JavaScript動態(tài)生成的鏈接或其他更古怪的連接識別出來。

　　14、數(shù)據(jù)發(fā)布

　　可以通過自定義接口，將已采集的結(jié)果數(shù)據(jù)發(fā)布到任意的內(nèi)容管理系統(tǒng)和指定數(shù)據(jù)庫中�，F(xiàn)在已支持的目標(biāo)發(fā)布媒體包括：數(shù)據(jù)庫（access， sql server，my sql，oracle） ，靜態(tài)htm文件。

　　15、預(yù)留編程接口

　　定義多個編程接口，用戶可以在事件中利用PHP，C#語言進(jìn)行編程，擴(kuò)充采集功能。

菜單功能

　　1、新建分組

　　新建一個任務(wù)分組，選擇所屬分組，確定分組名稱和備注。

　　2、新建任務(wù)

　　確定所屬分組，新建一個任務(wù)，填寫任務(wù)名稱并保存。

　　3、Web發(fā)布配置

　　Web發(fā)布配置定義了如何登陸一個網(wǎng)站以及向該網(wǎng)站提交數(shù)據(jù)。

　　主要涉及到登錄信息的獲取，網(wǎng)站編碼設(shè)定，欄目列表的獲取，以及使用數(shù)據(jù)測試發(fā)布效果。

　　4、Web發(fā)布模塊

　　可以定義網(wǎng)站登錄，獲取欄目列表，獲取網(wǎng)頁隨機值，內(nèi)容發(fā)布參數(shù)，以及上傳文件，構(gòu)造發(fā)布數(shù)據(jù)等高級功能。

　　5、數(shù)據(jù)庫發(fā)布配置

　　數(shù)據(jù)庫發(fā)布配置定義了數(shù)據(jù)庫鏈接信息的設(shè)置以及數(shù)據(jù)庫模塊的選擇。

　　6、數(shù)據(jù)庫發(fā)布模塊

　　用于編輯數(shù)據(jù)庫的發(fā)布模塊，方便我們將數(shù)據(jù)發(fā)布到配置好的數(shù)據(jù)庫中。

　　火車采集器可選mysql、sqlserver、oracle、access四種數(shù)據(jù)庫類型，在文本輸入框中填寫sql語句

　�。ㄐ栌袛�(shù)據(jù)庫相關(guān)知識），并可使用標(biāo)簽替換相應(yīng)數(shù)據(jù)。也可在采集器模塊文件夾中加載某一模塊進(jìn)行編輯。

　　7、計劃任務(wù)

　　設(shè)置列表中采集任務(wù)的啟動計劃，可每間隔、每天、每周、僅一次、或自定義Cron表達(dá)式，

　�。–ron表達(dá)式的寫法可參考相關(guān)術(shù)語中的介紹）。保存設(shè)置后，任務(wù)即可按照設(shè)置執(zhí)行。

　　8、插件管理

　　插件是可以用來擴(kuò)展火車采集器功能的程序

　　火車采集器V9支持PHP源碼、C#源碼、C#類庫三種類型的插件，

　　可用于擴(kuò)展http請求、內(nèi)容處理和文件下載的功能，并可以分別進(jìn)行測試。

　　9、http二級代理

　　網(wǎng)絡(luò)中的服務(wù)器，可以讓網(wǎng)絡(luò)用戶去取得所需要的網(wǎng)絡(luò)信息。

　　代理的功能有可以突破自身ip的訪問限制訪問國外站點，訪問一些單位或團(tuán)體內(nèi)部資源，

　　突破電信的ip封鎖和隱藏真實的ip等。

　　火車采集器V9支持http代理、socket4和socket5代理。

　　10、http模擬請求

　　可以設(shè)置如何發(fā)起一個http請求，包括設(shè)置請求信息，返回頭信息。并具有自動提交的功能。

更新日志

　　火車采集器V9.21版

　　1、自動獲取cookie功能優(yōu)化。

　　2、數(shù)據(jù)庫發(fā)布增加事務(wù)，優(yōu)化數(shù)據(jù)庫發(fā)布速度。

　　3、數(shù)據(jù)轉(zhuǎn)換速度優(yōu)化(針對Mysql和SqlServer數(shù)據(jù)庫的導(dǎo)入)， 同時去除網(wǎng)址庫的清空邏輯。

　　4、html標(biāo)簽處理錯誤問題處理。

　　5、json提取關(guān)于數(shù)字轉(zhuǎn)換為科學(xué)計數(shù)法問題處理。

　　6、發(fā)布測試時，圖片上傳無效的問題處理。

　　7、采集內(nèi)容頁處理錯誤時，增加對于當(dāng)前出錯標(biāo)簽的提示，以便快速定位出錯標(biāo)簽。

　　8、任務(wù)批量編輯，增加可操作范圍。

　　9、循環(huán)匹配匹配空格問題處理。

　　10、刷新分組中增加統(tǒng)計數(shù)據(jù)的刷新。

　　11、post分頁處理。

　　12、部分功能邏輯優(yōu)化。

　　火車采集器V9.9版

　　1、優(yōu)化效率修復(fù)運行大量任務(wù)時運行卡頓問題。

　　2、修復(fù)大量代理時配置文件鎖死程序退出問題。

　　3、修復(fù)部分情況下mysql鏈接不上問題。

　　4、其它界面和功能優(yōu)化。

　　火車采集器V9.8版

　　1、“遠(yuǎn)程管理” 正式升級為 “私有云”，全面優(yōu)化調(diào)整。

　　2、布模塊增加自定義頭信息的增加。

　　3、采集線程間隔調(diào)整，增加自定義區(qū)間設(shè)置。

　　4、長時間使用后的運行卡頓問題修復(fù)。

　　5、二級代理，IP輸入框修改為普通TextBox。增加代理免驗證的功能。

　　6、分組丟失、死循環(huán)問題修復(fù)。

　　7、ftp上傳，增加超時處理。