荒野悲歌提示您:看后求收藏(DZ读书dzdushi.com),接着再看更方便。
成本控制很重要
成本控制很重要
数据中心的时间同步非常重要。
比如支付系统,账户上有100块钱,在北方买了点卡类的虚拟产品。如果不能及时同步,就发现南方的账户上这100块钱还没花掉,就又可以买点卡了。
这年头,网友们利用技术性漏洞,没少钻空子去免费买Q币。
国内还好。
按照程秉皓的说法,紫微星自己搞的这套同步系统,3个月内保准上线。国家虽然很大,但到底是内陆,光纤都连着呢,技术难度不高。
可Facebook搞得就不一样了,人家玩的是全球性的同步,这就是世界级难度了。
东半球和西半球,打个电话都有延迟呢,要想让数据库及时同步,神知道他们要采用什么办法。
然后,唐斌辰又简单说了一下其他的7个技术项目。
流量控制系统,就是当高峰期时,网站的服务器和宽带压力太大,就会造成数据传输拥堵和数据丢失。为了避免这种情况,就要对一些电脑性能好、带宽使用量的用户进行流量控制,把资源分给更多的用户。
嗯,对朋友网有用。
分布式缓存系统,就是让系统并行地进行缓存读取,提高效率,节约页面响应时间。背后还要根据任务量的不同选择不同的缓存形式,以节省空间并进一步提高读取速度。
这个项目技术难度非常大。
嗯,对朋友网很有用。
容灾系统,不管是多好的服务器,不管是多先进的运转系统,服务器故障一定会发生。如果有少量的服务器无法相应,则有其他的服务器承担。当有大量的服务器无法响应,所有的负荷就要有少量服务器承担,这会非常危险,会导致数据的丢失和损坏。所以就要设定一个阕值,当阕值达到时,页面就不再无法响应,以保证数据中心的稳定。
说起这个,周不器就很熟悉了。
“双十一”和春运抢购火车票,都经常会出现这种情况。校内网在卖爆款产品时,也会出现这种情况。
周不器笑道:“这个系统咱们也有,是从网宿那边模仿来的,两年前就有了。”
王星道:“不奇怪,Facebook才刚刚开始全球化布局,他们的服务器运营压力不大,以前应该没遇到过这种情况。”
唐斌辰接着说:“调度与监控系统,就是指当服务器并行的处理一些任务时,不同的服务器要相互监控。一旦一方发生问题,另一方就要马上响应,把未完成的任务接过去。”
周不器头都大了,“并行?分布式算法?”
“对。”
“Facebook也在搞分布式算法研究?”
“这是大趋势啊。”唐斌辰知道周老板的意思,笑着安抚他,“不过大家做分布式,更多的是数据处理。”
周不器问道:“你知道进程吗?Facebook在这方面的进展怎样?”
“分布式算法吗?”
“对。”
“正因为这个算法有进展了,他们才能开展缓存系统和监控系统的研究。”
周不器的脸色就不太好看了,“他们做了多长时间?”
唐斌辰道:“三四个月吧。”
“靠!”
周不器有点崩溃,深深感受到了技术上的差距。
紫微星在做分布式数据库,首先要做分布式算法,都做了快一年了,马上第二波1个亿的研发经费又要砸进去了。
可离应用还差的远呢。
再看人家Facebook,做了三四个月,就能把分布式算法简单的应用起来了。
重生一回,周不器可以在一些应用层上进行更早的布局,可是技术层面……真是有点乏力,早布局也改变不了技术落后的现实条件。他一个外行,想参与都没法参与。
庆幸的是国家发展非常快,越来越多的硅谷华人在回国路上,带回来了先进的思维和科技理念。国内科技的进步速度,要远远超过硅谷。
王星见周老板有些颓唐,就笑着宽慰说:“分布式数据库是大项目,而分布式缓存系统和调度监控系统都是小项目,不一样。我们的分布式算法要精益求精,Facebook只需要简单的应用就可以。单从分布式算法来看,等5月份咱们也能上线应用了,功能会更强大,而且稳定。”
周不器眼前一亮,“5月份就能应用了?”
王星道:“对,其实已经做出来了,杨振坤那边在抓细节……主要是投资太大了,这是研发中心那边的产品第一次亮相,他想做到万无一失,时间上难免会耽搁。”
周不器追问:“等咱们的分布式算法做出来了,也可以做缓存系统和监控系统的研发工作了吧?”
唐斌辰和王星对视了一眼,给出了比较含糊的回答,“差不多吧。”
研发中心那边到底什么情况,谁都不清楚。
只知道钱没少花,啥结果都没看见。
杨振坤大权独揽,许亮杰过去考察了两次,吵了两架都没什么用。周大老板对杨博士非常信任。
接下来的几个系统项目,都是改进页面响应时间的,通过技术手段,让用户能够更快的打开网页。同时,要降低web端的CPU使用,减少服务器需求等等。
而这里面,在数据库的使用理念中,就产生了一个巨大的分歧。
众所周知,在信息爆发的年代,传统的数据库模式已经跟不上了,必须要加以改进。紫微星选择了分布式服务器下的分布式数据库,Facebook采用的分布式服务器架构下的多个单行数据库。
就是要为网站中的信息流、照片、日志、分享链接、转帖等内容,都分别搞一个数据库。用多数据库的形式来应对爆炸性的数据,提高读取效率。
为了方便周大老板理解,唐斌辰专门举了一个例子——
如果把数据库比作一个盆,数据比作豆子,有红豆、绿豆、黑豆、白豆四种,信息的读取就是捡豆子。
传统的单机数据库模式,是一个人捡豆子,效率很低。
紫微星的模式,就是把所有豆子放在一个盆里,四个人一起捡豆子,效率提升。
Facebook的模式,是把所有豆子分成四个盆,一个红豆盆,一个绿豆盆,一个黑豆盆和一个白豆盆。然后四个人分别对应四个盆,效率大幅提升。
周不器眉头紧锁,“听起来,他们的好像更高端?”
唐斌辰笑道:“就是一个类比,咱们是混捡,他们是单捡。混捡安全性更高,死了一个人,剩下三个人不影响,很稳定。他们是单捡,是单机结构的数据库,所以取红豆的人只能取红豆,取绿豆的人只能取绿豆。假如取红豆的那个人死了,红豆就取不出来了。”
周不器道:“所以他们的模式稳定性不如咱们?就需要在硬件条件方面有更大的支出?”
唐斌辰道:“对,从效率来看,他们更高。从成本和稳定性来看,是我们的优势。”
周不器明白过来了。
怪不得硅谷那些巨头们都不搞分布式数据库,而是在积极的寻求着对oracle、mysql这些传统服务器的技术性升级。
人家背靠全球市场,富得流油,不在乎这点小钱。稳定性可以用金钱来弥补,无非是多搞一些服务器,多搞一些备用数据库。
让一个人捡红豆,人死了,红豆就取不出来,系统就崩溃了。可搞100个人专门捡红豆,死了一批,红豆一样能取出来。
王星道:“硅谷不搞分布式数据库,是因为市场格局已经定了,Oracle这类的数据库巨头已经称霸很多年了。工程师们从读书时,学习的就是使用Oracle这类的数据库,后期让他们改,也改不动了。只能通过技术手段,研发豆子的分发系统和多种针对不同豆子的存储系统,来完成对传统数据库的使用升级。”
周不器听懂了他的意思,“所以说咱们要从头开始培养?给大学拿钱,成立专门的实验室,开设针对咱们‘飞天’数据库的课程和研究课题?”
王星点了点头,“很有必要。”
唐斌辰道:“分布式一定是未来的趋势,并行结构相比于单行结构,有巨大的优势。还是刚才那个例子,只要咱们也搞数据的分发和不同的存储系统,然后也把豆子分在不同的盆里,抓取的时候效率不就高了?又有混检功能,稳定性也强。”
周不器头都大了。
满脑子的红豆。
不过他脑海中还是出现了一个新的看问题角度。
国内的数据库市场一片空白,未必不是好事。硅谷那边有巨头把持,想创新、革新非常困难,有点僵化了。
国内是白纸,恰好能够泼墨挥毫。
这就像是马斯克做火箭,跟全世界各国的航天局都拧着来,然后……就通过成本控制,取得了惊人的成绩。
星链计划要是以传统的火箭发射模式,那造价海了去了,根本玩不起。马斯克的火箭却能回收重复利用,给这个计划有了可行性的思路。
技术重要,成本控制也很重要!
未来的数据,只会越来越多,越来越多。
背靠着高端昂贵服务器的传统单行数据库肯定不行。
一定要有更廉价的替代品才行。
这就是分布式数据库的机会。
打发走了唐斌辰和王星,周不器有气无力的往大班椅上一靠,感觉脑细胞都快消耗光了,让他一个外行参与这么复杂的技术讨论,真是太难为人了。
还用什么红豆、绿豆、白豆的举例子,乱七八糟!
“雅娴!”
“来了。”
“你打电话问问杨蜜在哪,我一会儿去她那边。”
“干嘛呀?”
“没啥,就吃吃红豆,聊聊天。”