在頭條刪庫上了頭條。
6月23日晚,脈脈上有網(wǎng)友爆料——字節(jié)跳動(dòng)的實(shí)習(xí)生刪除了公司所有GB級(jí)別以下的機(jī)器學(xué)習(xí)模型。
GB級(jí)別以下的機(jī)器學(xué)習(xí)模型也就是lite(TensorFlowLite)模型,而且由于實(shí)習(xí)生刪除的是父目錄且加了skiptrash操作,被刪除模型無法恢復(fù)。于是當(dāng)晚全公司通報(bào),并且列入P0事故等級(jí)(嚴(yán)重事故)。
這時(shí)候,筆者開始思考幾個(gè)問題:
1、為什么會(huì)出現(xiàn)這種刪庫行為?
(1)實(shí)習(xí)生為什么準(zhǔn)備刪目錄。據(jù)稱實(shí)習(xí)生是在清理HDFS上的目錄,發(fā)現(xiàn)一個(gè)目錄最近更新時(shí)間是3月份,認(rèn)為這是不用的一個(gè)目錄。
(2)實(shí)習(xí)生刪目錄行為前是否詢問過領(lǐng)導(dǎo)。據(jù)稱當(dāng)時(shí)實(shí)習(xí)生有過詢問行為,但依然實(shí)施了刪除操作,這也涉及到內(nèi)部相關(guān)人的把控不嚴(yán)。
(3)實(shí)習(xí)生為什么擁有刪目錄的權(quán)限。權(quán)限分配邏輯是否存在不嚴(yán)謹(jǐn)、員工出現(xiàn)不當(dāng)操作時(shí)為什么沒有提醒,這是安全措施和內(nèi)部流程不到位的結(jié)果。
2、實(shí)習(xí)生怎么處理?
有網(wǎng)友表示:“只要不是主觀故意的”就不會(huì)被開除。
同時(shí),我們也邀請(qǐng)了婁鶴律師分享對(duì)此次事件歸責(zé)的看法:從上述的信息來看,此次事故主要是公司的內(nèi)控問題:如實(shí)習(xí)生的權(quán)限包含此類刪除是否合適?沒法恢復(fù)說明公司沒有任何備份?操作流程是怎么規(guī)范的?而實(shí)習(xí)生最多是存在過失,相較于追責(zé)實(shí)習(xí)生,更重要的是追究內(nèi)部人員的失職和公司安全管理存在的問題。
權(quán)限管理一直是企業(yè)需要不斷優(yōu)化的安全工作,在微盟刪庫事故啟示錄中,F(xiàn)reeBuf也分享過,權(quán)限管理是業(yè)務(wù)風(fēng)險(xiǎn)管控的重要手段。常見的操作包括:
權(quán)限授予
授權(quán)主要分為工單申請(qǐng)、動(dòng)態(tài)授權(quán)、靜態(tài)授權(quán)。
工單申請(qǐng)即通過內(nèi)部系統(tǒng)向領(lǐng)導(dǎo)提交工單申請(qǐng),保障操作可追溯,有審核;靜態(tài)授權(quán)則是根據(jù)角色工作需求進(jìn)行策略配置,從更小的細(xì)粒度來授予權(quán)限,且一般是低權(quán)限賬號(hào);動(dòng)態(tài)授權(quán)則是目前更流行以及更靈活的方式,基于角色、設(shè)備類型、地點(diǎn)等的變化,動(dòng)態(tài)授予對(duì)象不同的權(quán)限。
數(shù)據(jù)庫權(quán)限管理
1)最小化權(quán)限原則
2)分庫分表
數(shù)據(jù)庫主從及備份
1)主從:當(dāng)出現(xiàn)故障時(shí)能夠進(jìn)行故障遷移,滿足高可用
2)備份:
實(shí)時(shí)備份:在線備份數(shù)據(jù)庫進(jìn)行讀寫分離,用于數(shù)據(jù)恢復(fù)
離線備份:日常異地離線備份,用于數(shù)據(jù)災(zāi)難恢復(fù)
備份數(shù)據(jù)權(quán)限控制
1)設(shè)置備份數(shù)據(jù)的操作權(quán)限策略,限制高危敏感操作,如drop、rm等
2)設(shè)置備份數(shù)據(jù)的訪問控制策略,否則易導(dǎo)致另一種的數(shù)據(jù)泄露問題
指令控制和審計(jì)
1)操作系統(tǒng)的敏感/關(guān)鍵指令的限制和監(jiān)控,并對(duì)操作指令歷史進(jìn)行采集和遠(yuǎn)程存儲(chǔ)分析
2)數(shù)據(jù)庫審計(jì),對(duì)數(shù)據(jù)庫流量或日志審計(jì),設(shè)定告警通知機(jī)制
管理流程優(yōu)化改進(jìn)
1)線上變更的流程審批,申請(qǐng)變更時(shí)段和操作細(xì)節(jié),效率會(huì)慢一點(diǎn),但提升了安全性
2)系統(tǒng)性的風(fēng)險(xiǎn)評(píng)估,識(shí)別與量化風(fēng)險(xiǎn),進(jìn)行風(fēng)險(xiǎn)處置,降低風(fēng)險(xiǎn)
3)BCP(業(yè)務(wù)連續(xù)性計(jì)劃)和DRP(災(zāi)難恢復(fù)計(jì)劃)的制定、評(píng)估和周期性演練。達(dá)到一定規(guī)模體量的企業(yè),是有必要認(rèn)真考慮這兩個(gè)計(jì)劃。
來源:FreeBuf.COM