Spark的Shuffle分為Write和Read兩個階段,分屬于兩個不同的Stage,前者是Parent Stage的最后一步,后者是Child Stage的第一步。查看全文>>
SQL語句用于從原始數(shù)據(jù)中,根據(jù)條件篩選出字段,并進行預(yù)處理和轉(zhuǎn)換,基本格式為:查看全文>>
OLTP是操作型處理,叫聯(lián)機事務(wù)處理OLTP(On-LineTransactionProcessing),主要目標(biāo)是做數(shù)據(jù)處理,它是針對具體業(yè)務(wù)在數(shù)據(jù)庫聯(lián)機的日常操作,通常對少數(shù)記錄進行查詢、修改。查看全文>>
Scala提供了強大的模式匹配機制,最常見的模式匹配就是match語句,主要應(yīng)用于從多個分支中進行選擇的場景。不僅如此,Scala還提供了樣例類,它可以對模式匹配進行優(yōu)化,提高匹配的速率。接下來,針對Scala提供的模式匹配和樣例類進行詳細(xì)講解。查看全文>>
利用Python內(nèi)置的pip工具可以非常方便地安裝Python第三方庫。該工具可在命令提示符窗口中使用。使用該工具在命令窗口中安裝第三方模塊或庫的命令格式如下。查看全文>>
E-R圖也稱為實體-聯(lián)系圖(Entity Relationship Diagram),它是一種用圖形表示的實體聯(lián)系模型。E-R圖通用的表示方式查看全文>>