利用elasticsearch和redis檢索和存儲(chǔ)十億信息

路漫漫其修遠(yuǎn)兮，吾將上下而求索路漫漫其修遠(yuǎn)兮，吾將上下而求索-百度文庫(kù)#使用，一個(gè)節(jié)點(diǎn)故障不會(huì)引起任何人的注意。在它再平衡時(shí)你會(huì)得到 使用率過(guò)高的警報(bào)，但是系統(tǒng)仍然運(yùn)行。用個(gè)去處理流量的增長(zhǎng)?；诘漠a(chǎn)品 調(diào)整可能非常棘手。要使用，必須有堆空間容量計(jì)劃。測(cè)試緩存。 可以緩存過(guò)濾結(jié)果，這是非?？焖俚?，但是你需要很大的堆空間。雖然個(gè)主機(jī)擁有的內(nèi)存，但還會(huì)隨著緩存的打開(kāi)被耗盡。所以如果不需要就關(guān)閉緩存。緩存有問(wèn)題，因?yàn)樗鼤?huì)遇到內(nèi)存不足的錯(cuò)誤然后失敗。集群會(huì)在幾分鐘內(nèi)恢復(fù)，只有少數(shù)用戶會(huì)注意到這個(gè)問(wèn)題。因?yàn)榫W(wǎng)絡(luò)的不可靠， 的故障轉(zhuǎn)移也可能存在問(wèn)題。在集群中可能會(huì)引起錯(cuò)誤的選舉發(fā)生。?使用 會(huì)遇到這些問(wèn)題。原本有個(gè)節(jié)點(diǎn)作為主節(jié)點(diǎn)選舉運(yùn)行，一個(gè)節(jié)點(diǎn)可能會(huì)耗盡內(nèi)存或者遇到一個(gè) 暫停并在網(wǎng)絡(luò)中丟失。那么其他人就不會(huì)看到這個(gè)主節(jié)點(diǎn)，進(jìn)行選舉，并宣布自己是主節(jié)點(diǎn)。他們選舉架構(gòu)中的缺陷是他們不需要法定人數(shù)。因此就會(huì)出現(xiàn) 問(wèn)題，從而引起很多問(wèn)題。?解決方案是在專用的節(jié)點(diǎn)上運(yùn)行 主節(jié)點(diǎn)，那么需要做的事情就是成為主節(jié)點(diǎn)，從而避免了后續(xù)問(wèn)題。主節(jié)點(diǎn)處理分片的分配是完成，誰(shuí)是主要的，并且完成復(fù)制分片分布圖。實(shí)現(xiàn)再平衡要容易的多，因?yàn)橹鞴?jié)點(diǎn)可以性能優(yōu)良的處理所有的再平衡?？梢圆樵?nèi)魏喂?jié)點(diǎn)，并會(huì)做內(nèi)部路由。， 使用月索引，每個(gè)月是一個(gè)單獨(dú)的索引。每個(gè)初級(jí)索引有個(gè)分片，然后有兩個(gè)副本。如果一個(gè)節(jié)點(diǎn)丟失，系統(tǒng)仍能工作。， 不要把 移動(dòng)到 中。需要使用 的數(shù)據(jù)一般儲(chǔ)存在 中，典型的是用戶管理數(shù)據(jù)。，在 集群被釋放之前， 中大量的緩存是主從設(shè)置。有一個(gè) 統(tǒng)計(jì)服務(wù)器，處于離線狀態(tài)。 歷史緩存的最后條消息，用于防止在第一次加載對(duì)話時(shí)不間斷的訪問(wèn)數(shù)據(jù)庫(kù)。也有內(nèi)部狀態(tài)或快速數(shù)據(jù)的狀態(tài)，比如登入用戶數(shù)量。常規(guī)， 用于異步工作，比如 的推送和傳遞電子郵件。， 用于災(zāi)難恢復(fù)，一切都會(huì)備份到 。， 用于所有配置。 有一個(gè)很好的 手冊(cè)，輕松上手。像 ，因?yàn)槟憧梢蚤_(kāi)始寫(xiě) 代碼而不是使用 風(fēng)格的 ，它也有一個(gè)很好的活躍的社群。， 收購(gòu)經(jīng)驗(yàn)。他們現(xiàn)在已經(jīng)進(jìn)入公司的核心資產(chǎn)和人才，但 不干擾工作，之所以相信，是有原因的?？梢栽趦?nèi)部要求，例如，如何擴(kuò)大 ，當(dāng)別人在需要幫助時(shí)，他們可以加入幫忙的隊(duì)伍。良好的整體體驗(yàn)。扁平的團(tuán)隊(duì)結(jié)構(gòu)。仍然是一個(gè)小團(tuán)隊(duì)，目前大約有人。兩個(gè)人在 ，少數(shù)平臺(tái)， 、 的開(kāi)發(fā)人員在服務(wù)器端，一個(gè) 開(kāi)發(fā)工程師（在法國(guó)）。用于部署所有的主機(jī)。用于監(jiān)控應(yīng)用程序。讓你無(wú)需監(jiān)視堆空間 節(jié)點(diǎn)，然后在沒(méi)有任何通知的情況下解決 問(wèn)題。目前堆的使用率為％，這正是他們想要的狀態(tài)。用于持續(xù)集成。， 客戶端版本還不正規(guī)，開(kāi)發(fā)者驅(qū)動(dòng)，有一個(gè)臨時(shí)區(qū)域進(jìn)行測(cè)試。， 集團(tuán)標(biāo)志?？梢钥刂颇男┤后w得到了一個(gè)功能、測(cè)試特性能及緩慢釋放特性，除此之外還能幫助控制主機(jī)的負(fù)載。， 功能標(biāo)志。有利于 部署過(guò)程中的保護(hù)。例如，如果他們發(fā)現(xiàn)一個(gè)漏洞，他們可以關(guān)閉一個(gè)功能，并回去找 。用戶不會(huì)注意到差別。在 和之間的過(guò)渡階段，他們都有應(yīng)用復(fù)制到兩個(gè)存儲(chǔ)。， 新的 版本將使用 ，因此，開(kāi)發(fā)人員可以使用 在自己的服務(wù)器上部署。有客戶使用自己的服務(wù)器是一個(gè)更具擴(kuò)展性的模式。未來(lái)， 未來(lái)幾個(gè)月將會(huì)達(dá)到億條消息，估計(jì) 可以處理大約億條消息。不確定如何處理負(fù)載的預(yù)期增長(zhǎng)。預(yù)計(jì)要到 以獲得數(shù)據(jù)心更多的的可用性和可能在不同的數(shù)據(jù)中心投入更多的用戶。， 自動(dòng)擴(kuò)展能力， 移動(dòng)到語(yǔ)音，私人一對(duì)一視頻、音頻聊天、基本的會(huì)議， 將來(lái)可能使用 來(lái)傳遞消息，與 更大的集成。使用 聊天，然后使用 頁(yè)面來(lái)捕捉細(xì)節(jié)。經(jīng)驗(yàn)教訓(xùn)企業(yè)應(yīng)用程序是搖錢(qián)樹(shù)。賣(mài)入一個(gè)企業(yè)是很痛苦的，銷(xiāo)售周期長(zhǎng)意味著太多的不確定性。但是如果你成功賣(mài)出，那就會(huì)獲得豐厚的利潤(rùn)，所以你應(yīng)該考慮企業(yè)市場(chǎng)。時(shí)代在變，企業(yè)卻可能是滯后的，但是他們?nèi)匀徊捎眯鹿ぞ吆托碌淖鍪路绞?，這其中就有機(jī)會(huì)。隱私在產(chǎn)品給企業(yè)推銷(xiāo)時(shí)變得越來(lái)越重要，它會(huì)直接影響到產(chǎn)品的選擇與否。正在做他們產(chǎn)品的備用版本，以使那些不相信公共網(wǎng)絡(luò)的客戶滿意。對(duì)于一個(gè)程序員來(lái)說(shuō)，云作為一個(gè)平臺(tái)非常有意義。對(duì)于一個(gè)企業(yè)來(lái)說(shuō)，云可以是魔鬼。這意味著你必須做出靈活的技術(shù)堆棧選擇。如果你在服務(wù)上依靠，那你的系統(tǒng)移動(dòng)到另一個(gè)數(shù)據(jù)中心將變得幾乎不可能。這對(duì)也許并不重要，但是如果你想賣(mài)入企業(yè)市場(chǎng)，它就很重要了。

縱向擴(kuò)展以獲得喘息的空間。當(dāng)你等待弄清楚架構(gòu)中下步要做什么的時(shí)候，可以花很縱向擴(kuò)展以獲得喘息的空間。當(dāng)你等待弄清楚架構(gòu)中下步要做什么的時(shí)候，可以花很少的錢(qián)去縱向擴(kuò)展，給自己幾個(gè)月的喘息之機(jī)。選擇不會(huì)失敗的。 做出了不會(huì)丟失用戶聊天記錄優(yōu)先級(jí)，所以他們的架構(gòu)將這個(gè)優(yōu)先級(jí)反映給保存聊天記錄到磁盤(pán)，在宕掉后系統(tǒng)恢復(fù)時(shí)會(huì)重新加載。進(jìn)入本地。你的客戶在許多不同的平臺(tái)上，一個(gè)本地的應(yīng)用將會(huì)提供最好的體驗(yàn)。對(duì)于一個(gè)初創(chuàng)公司，那是很多的資源，太多了。所以，賣(mài)給擁有更多資源的公司在某種程度上是說(shuō)得通的，這樣你可以建立更好的產(chǎn)品。功能和群組標(biāo)志做出更好地發(fā)布慣例。如果你可以選擇哪些組看到一個(gè)功能，如果你能在生產(chǎn)和測(cè)試中關(guān)閉功能，那么你就不用擔(dān)心發(fā)布新的構(gòu)建項(xiàng)目了。選擇你真正自信的技術(shù)。 應(yīng)對(duì)增長(zhǎng)的橫向擴(kuò)展能力讓 很放心，同樣也會(huì)有一個(gè)很好的用戶體驗(yàn)，這才是最重要的。成為該流程的一部分，你變得更有價(jià)值，難以消除。 作為人和工具之間的天然契合點(diǎn)，也是來(lái)編寫(xiě)實(shí)現(xiàn)各種有用工作流的天然點(diǎn)。這使得 在企業(yè)中有發(fā)揮的平臺(tái)，它使本來(lái)不可建造的功能得以實(shí)現(xiàn)。如果你能做到同樣的事情，那么大家都會(huì)很需要你。需要在總線上存在一個(gè)單獨(dú)的節(jié)點(diǎn)，這個(gè)要求看起來(lái)有點(diǎn)荒謬，但是在云環(huán)境下卻非常重要，因?yàn)闄C(jī)器可用信息在第三方目的源中并不可見(jiàn)。如果著眼機(jī)架就會(huì)發(fā)現(xiàn)它經(jīng)常有一個(gè)單獨(dú)存在的總線插槽，如果其他插槽可用，他就會(huì)知道。這樣，你就不必去猜測(cè)。在云中，軟件采用基于原始的連接技術(shù)和心跳，去猜測(cè)另一個(gè)節(jié)點(diǎn)是否發(fā)生故障，從而導(dǎo)致問(wèn)題及啟用備庫(kù)時(shí)產(chǎn)生數(shù)據(jù)丟失。這需要時(shí)間去演變，到達(dá)完全可靠還需要邁一大步。產(chǎn)品決策驅(qū)動(dòng)堆棧的決定，服務(wù)器驅(qū)動(dòng)技術(shù)堆棧的決定：集群可以自托管；不選擇亞馬遜的，是因?yàn)樵诜阑饓Φ暮竺鎰?chuàng)建一個(gè)托管服務(wù)。你需要打開(kāi)視野。你需要容量規(guī)劃，即使是在云中。除非你的架構(gòu)從一開(kāi)始就完全是原生云，否則任何架構(gòu)都會(huì)有負(fù)荷的拐點(diǎn)，在拐點(diǎn)他們的架構(gòu)將不再能夠處理負(fù)載?？纯丛鲩L(zhǎng)速度，項(xiàng)目出來(lái)了。會(huì)打破什么？你將會(huì)做什么？而且不要再犯同樣的錯(cuò)誤。將如何處理億條消息？當(dāng)下還無(wú)法知曉。

了解系統(tǒng)的限制。 有的存儲(chǔ)限制，這是很大的限制，但如果你的存儲(chǔ)已接近了