網站制作的關鍵技術優化點

發布：2018-12-25 20:47:05 瀏覽：4583

大流量讀系統的設計手段，當這些手段全部窮盡以后，仍然產生大流量又該如何處理呢?所以秒殺系統還要解決以下關鍵問題。

1.Java處理大并發動態請求優化的問題

Java和通用的Web服務器(Nginx或Apache)相比，在處理大并發的HTP請求時要弱一點，所以一般我們都會對大流量的Web系統做靜態化改造，讓大部分請求和數據直接在NginxI服務器或者Web代理服務器(Varnish、squid等)上直接返回(可以減少數據的序列化與反序列化)，Java層只處理少量數據的動態請求。針對這些請求可以使用以下優化手段:

直接使用Servlet處理請求。避免使用傳統的MVC框架，這樣可以繞過一大堆復雜且用處不大的處理邏輯，節省1毫秒的時間一取決于對MVC框架的依賴程度；

直接輸出流數據。使用resp.getoutputstreamo而不是resp.getWriter)可以省掉一些不變字符數據的編碼，提升性能；數據輸出時，推薦使用JSON而不是模板引擎(一般都是解釋執行)來輸出頁面。

2.同一商品被大并發讀的問題

也許有讀者會覺得這個問題很容易解決，無非就是將熱點數據放到Tair緩存里。集中式Tair緩存為了保證命中率一般都會采用一致性Hash，所以同一個key會落到同臺機器上。雖然單臺Tair緩存機器也能支撐1秒30萬次的請求，但還是遠不足以應付大秒級別的熱點商品，該如何徹底解決單點的瓶頸呢?答案是采用應用層的Localcache，即在秒殺系統的單機上緩存商品相關的數據。那么如何Cache數據?答案是劃分成動態數據和靜態數據分別處理。

像商品的標題和描述這此機器上、并一直緩存到秒殺結束像庫存這類動態數據會采用被動失效的方式緩存一定時間(一般是數秒)，失效后再去Tai緩存拉取最新的數據。

讀者可能還會有疑問，像庫存這種頻繁更新的數據一旦數據不一致會不會導致超賣?這就要用到前面介紹的讀數據的分層校驗原則了，讀的場景可以允許一定的臟數據，因為這里的誤判只會導致少量原本無庫存的下單請求被誤認為有庫存，可以等到真正寫數據時再保證最終的一致性，通過在數據的高可用性和一致性之間的平衡來解決高并發的數據讀取問題。

3.同一數據大并發更新問題

采用Localcache和數據的分層校驗可以一定程度上解決大并發讀問題，但是無論如何還是避免不了減庫存這類的大并發寫問題，這也是秒殺場景中最核心的技術難題。

同一數據在數據庫里肯定是一行存儲(MYSQL)，所以會有大量的線程來競爭INNODB行鎖，并發度越高時等待的線程也會越多，TPS會下降而RT會上升，數據庫的吞吐量會嚴重受到影響。這里會出現一個問題，即單個熱點商品會影響整個數據庫的性能，出現我們不愿意看到的0.01%商品影響9999的商品的情況。此處的解決思路也是要遵循前面介紹的第一個原則“隔離”把熱點商品放到單獨的熱點庫中盡管這會帶來維護的麻煩(要做熱點數據的動態遷移以及單獨的數據庫等)把熱點商品分離到單獨的數據庫并沒有解決并發鎖的問題，要解決并發鎖問題有以下兩種辦法。

第一種是在應用層做排隊。按照商品維度設置隊列順序執行，這樣能減少同一臺機器對數據庫同一行記錄操作的并發度，也能控制單個商品占用數據庫連接的數量防止熱點商品占用太多的數據庫連接。

第二種是在數據庫層做排隊。應用層只能做到單機的排隊，但是應用層機器數量很多，用這種排隊方式控制并發仍然是很有限的，如果能在數據庫層做全局排隊是最理想的。數據庫團隊開發了MYSQL的INNODB層上的patch，可以做到在數據庫層上對單行記錄并發排隊。

你可能會有疑問:排隊和鎖競爭不都是要等得嗎，有何區別?如果熟悉MYSQL的話，應該知道INNODB內部的死鎖檢測以及MYSQLServer和INNODB的切換會比較耗性能，MYSQL核心團隊還做了很多其他方面的網站制作優化，如COMMIT_ON_SUCCESS和ROLLBACKONFAIL的patch，配合在SQL里面加hint，在事務里不需要等待應用層提交COMMIT而在數據執行完最后一條SQL后，根據TARGETAFFECTROW結果就直接提交或回滾，這樣可以減少網絡的等待時間(平均約0.7毫秒)。