Plotting是以構建視覺符號為核心的接口,可以結合各種視覺元素(例如,點、圓、線等其他元素)和工具(例如,縮放、保存、重置等其他工具)創(chuàng)建可視化圖形查看全文>>
網絡爬蟲歷經幾十年的發(fā)展,技術變得更加多樣化,并結合不同的需求衍生出類型眾多的網絡爬蟲。網絡爬蟲按照系統(tǒng)結構和實現(xiàn)技術大致可以分為4種類型,分別是通用網絡爬蟲、聚焦網絡爬蟲、增量式網絡爬蟲、深層網絡爬蟲。接下來,對增量式爬蟲和深層網絡爬蟲這兩種爬蟲分別進行介紹。查看全文>>
大家試想一下,如果需要判斷的情況大于兩種,if和if-else語句顯然是無法完成判斷的。這時,出現(xiàn)了if-elif判斷語句,該語句可以判斷多種情況...查看全文>>
優(yōu)化器是數(shù)據(jù)庫的核心,決定了每條語句如何執(zhí)行。如果將數(shù)據(jù)庫比作一支軍隊,那么優(yōu)化器就是這支軍隊的主將、軍師,需要運籌帷幄,決勝于千里之外。俗話說一將無能累死三軍,同樣的一條語句,選擇不同的查詢計劃,最終的運行時間可能會相差很大。對優(yōu)化器的研究一直是學術界比較活躍的領域,優(yōu)化是永無止境,可以說在這塊投入多大的精力都不為過。 從優(yōu)化方法上,大致可以分為三類:查看全文>>
在大數(shù)據(jù)領域,安全永遠是一個繞不開的話題。對于一個簡單安裝上線的 hadoop 集群,我們可以認為有如下安全隱患:如,可以人為的添加一個客戶端節(jié)點,并以此假冒的客戶端來獲取集群數(shù)據(jù)。對于一個假冒的客戶端節(jié)點,成功加入集群就能夠偽裝 datanode 讓得到 namenode 指派的任務和數(shù)據(jù)。創(chuàng)建一個HDFS賬戶,就可以得到 hadoop 文件系統(tǒng)的最高權限。Kerberos 主要用來做網絡通訊中的身份認證,幫助我們高效、安全的識別訪問者。那么 Kerberos 是如何做身份認證的呢?查看全文>>
?Kafka中的Rebalance稱之為再均衡,是Kafka中確保Consumer group下所有的consumer如何達成一致,分配訂閱的topic的每個分區(qū)的機制。Rebalance觸發(fā)的時機有:ce觸發(fā)的時機有:查看全文>>