一出一进一爽一粗一大小说_亚洲 无码 制服 日韩 中文_撕掉她的衣服吮的双乳游戏_人妻少妇久久中文字幕一区二区_奶涨边摸边做爰爽别停快点小说

火山引擎ByteHouse上線ELT能力，進一步降低企業數字化維護成本

(相關資料圖)

在數據分析場景中(zhong)，企業(ye)使用(yong)的數據通常具備來源(yuan)多(duo)樣化的特點，如支付交易記(ji)錄、用(yong)戶(hu)行(xing)為等，且數據格式(shi)各異，有的為行(xing)式(shi)存儲(chu)結(jie)構(gou)，有的為列式(shi)存儲(chu)結(jie)構(gou)。這就要求企業(ye)數倉具備一(yi)定的數據轉換能力。

傳(chuan)(chuan)統方(fang)式是采用Extract-Transform-Load (ETL)來將業(ye)務(wu)數據轉換為適合數倉(cang)的(de)數據模(mo)型，然而(er)，這依賴于獨(du)立于數倉(cang)外的(de)ETL系統，導致維護成本較高。但隨著云計(ji)算時(shi)代(dai)的(de)到來，云數據倉(cang)庫具備(bei)更強擴展性(xing)和計(ji)算能力，也要求(qiu)改變傳(chuan)(chuan)統的(de)ELT流程。

火山引(yin)(yin)擎ByteHouse是一款基于開(kai)源(yuan)ClickHouse推出的云原生數(shu)據倉庫，為用戶提(ti)供極速(su)分(fen)析(xi)體驗，能夠支撐實時(shi)(shi)數(shu)據分(fen)析(xi)和海量數(shu)據離線(xian)分(fen)析(xi)，同時(shi)(shi)還具備便捷的彈(dan)性擴(kuo)縮容(rong)能力(li)，極致分(fen)析(xi)性能和豐富的企業(ye)級特(te)性。憑借其強(qiang)大(da)的計算能力(li)，火山引(yin)(yin)擎ByteHouse目前已全面(mian)支持Extract-Load-Transform (ELT)的能力(li)，讓用戶免于維護多套異構(gou)系統，產品易(yi)用性實現飛(fei)躍。

通(tong)過ByteHouse的ELT能力(li)，用(yong)戶只(zhi)需將數(shu)據(ju)(ju)導入，用(yong)自定(ding)義SQL語句在ByteHouse內部(bu)進行數(shu)據(ju)(ju)轉換，無需依賴獨立的ETL系(xi)統及(ji)資源。具體來說，ByteHouse主要(yao)通(tong)過以下三(san)個能力(li)實現ELT能力(li)：

首先，長任務管理。ByteHouse的(de)(de)查(cha)詢時(shi)間為秒級，一(yi)旦(dan)查(cha)詢中(zhong)出(chu)故障(zhang)，系統會(hui)(hui)直接返回錯誤(wu)并重試(shi)。在(zai)(zai)ETL場景下，如果一(yi)個任務已經執(zhi)行50分鐘(zhong)才發生(sheng)故障(zhang)，重試(shi)意味(wei)著浪費了(le)前50分鐘(zhong)的(de)(de)資源(yuan)(yuan)，影響任務推進。在(zai)(zai)ByteHouse中(zhong)，SQL查(cha)詢會(hui)(hui)被(bei)轉化為一(yi)系列的(de)(de)算子(zi)(zi)，研發團(tuan)隊(dui)則(ze)通過(guo)提升算子(zi)(zi)的(de)(de)容錯能力(li)，來應對長時(shi)間查(cha)詢下的(de)(de)系統故障(zhang)問(wen)題(ti)，即當(dang)某個算子(zi)(zi)無法(fa)獲得足夠(gou)的(de)(de)內存時(shi)，系統允許該算子(zi)(zi)將一(yi)部(bu)分數據(ju)緩存在(zai)(zai)磁盤上，保證(zheng)在(zai)(zai)資源(yuan)(yuan)緊張的(de)(de)情況下仍能夠(gou)完(wan)成(cheng)工作。

其次，異(yi)(yi)步提(ti)交能力(li)。面對大量長耗(hao)時的ETL任(ren)務(wu)時，傳統的同步執行方(fang)式需要客戶端等待服(fu)務(wu)端返回，容易出現(xian)超時問(wen)題，影響后續任(ren)務(wu)執行，而ByteHouse提(ti)供的異(yi)(yi)步提(ti)交能力(li)，通過(guo)客戶端的間(jian)歇性輪訓來獲得用(yong)戶任(ren)務(wu)的最終狀(zhuang)態，由此保障任(ren)務(wu)在(zai)規定時間(jian)內完成。

最后，查詢隊列(lie)。當面臨(lin)大量(liang)離(li)線加工請(qing)求時，系(xi)統(tong)會出現超載。ByteHouse為此提供了查詢隊列(lie)能力，允許用戶從隊列(lie)大小、總CPU占用率(lv)、總內存占用率(lv)三個維(wei)度定義一(yi)個隊列(lie)。

具體來說，當用(yong)戶向某(mou)隊(dui)(dui)列提交查詢(xun)時(shi)，ByteHouse可以通過組件監聽(ting)各個(ge)隊(dui)(dui)列中的查詢(xun)指標，如果隊(dui)(dui)列未達到(dao)上(shang)限，則會(hui)將查詢(xun)入(ru)隊(dui)(dui)，否則拒絕。除此之(zhi)外(wai)，ByteHouse還會(hui)檢查隊(dui)(dui)列的資(zi)源(yuan)利用(yong)率，當空閑資(zi)源(yuan)高過某(mou)閾值時(shi)，自動將等(deng)待中的查詢(xun)出隊(dui)(dui)。利用(yong)查詢(xun)隊(dui)(dui)列，用(yong)戶在編排ETL任務(wu)時(shi)無需擔心底層(ceng)資(zi)源(yuan)過載，讓開發更加便(bian)捷。

長任務(wu)管理、異步提(ti)交和查詢隊(dui)列是火山引擎(qing)ByteHouse ELT的核心(xin)能(neng)力。未(wei)來，ByteHouse也會(hui)進一步迭代，支(zhi)持轉換函數、長任務(wu)容錯、優先級隊(dui)列等更豐富ELT功能(neng)，為(wei)用(yong)戶提(ti)供更極致、更便捷的使用(yong)體驗。（作者：何雅逸）