Kafka消費(fèi)者消費(fèi)數(shù)據(jù)的速度是非??斓模绻捎谔幚鞬afka消息時(shí),由于有一些外部IO、或者是產(chǎn)生網(wǎng)絡(luò)擁堵,就會(huì)造成Kafka中的數(shù)據(jù)積壓(或稱(chēng)為數(shù)據(jù)堆積)。如果數(shù)據(jù)一直積壓,會(huì)導(dǎo)致數(shù)據(jù)出來(lái)的實(shí)時(shí)性受到較大影響。查看全文>>
通用網(wǎng)絡(luò)爬蟲(chóng)的采集目標(biāo)是整個(gè)互聯(lián)網(wǎng)上的所有網(wǎng)頁(yè),它會(huì)先從一個(gè)或多個(gè)初始URL開(kāi)始,獲取初始URL對(duì)應(yīng)的網(wǎng)頁(yè)數(shù)據(jù),并不斷從該網(wǎng)頁(yè)數(shù)據(jù)中抽取新的URL放到隊(duì)列中,直至滿足一定的條件后停止。查看全文>>
大多數(shù)網(wǎng)站中都加人了SSL證書(shū),以實(shí)現(xiàn)數(shù)據(jù)信息在瀏覽器和服務(wù)器之間的加密傳輸,保證雙方傳遞信息的安全性。SSL證書(shū)是一種數(shù)字證書(shū),類(lèi)似于駕駛證、護(hù)照和營(yíng)業(yè)執(zhí)照的電子副本,由受信任的數(shù)字證書(shū)頒發(fā)機(jī)構(gòu)CA在驗(yàn)證服務(wù)器身份后頒發(fā),具有服務(wù)器身份驗(yàn)證和數(shù)據(jù)傳輸加密功能。查看全文>>
在使用Fiddler工具之前,需要在計(jì)算機(jī)中下載與安裝Fiddler工具。這里以Fiddler4(版本為v5.0)為例演示下載與安裝的過(guò)程,具體內(nèi)容如下。查看全文>>
fail-fast產(chǎn)生的原因就在于程序在對(duì)collection進(jìn)行迭代時(shí),某個(gè)線程對(duì)該collection在結(jié)構(gòu)上對(duì)其做了修改,這時(shí)迭代器就會(huì)拋出。 ConcurrentModificationException異常信息,從而產(chǎn)生fail-fast。要了解fail-fast機(jī)制,我們首先要對(duì)ConcurrentModificationException異常有所了解。當(dāng)方法檢測(cè)到對(duì)象的并發(fā)修改,但不允許這種修改時(shí)就拋出該異常。查看全文>>
在安裝mapbtlb前,需要先確保計(jì)算機(jī)中已經(jīng)配置好Python開(kāi)發(fā)環(huán)境。mapbtib的安裝方式有很多種,既可以使用pip命令直接安裝,也可以使用Anaconda工具進(jìn)行安裝。查看全文>>