Facebook 海量数据处理
时间:2008-06-27 09:43 标签:Facebook 网站架构 转贴摘录 
好几个地方看到这个 Facebook - Needle in a Haystack: Efficient Storage of Billions of Photos,是 Facebook 的 Jason Sobel 做的一个 PPT,揭示了不少比较有参考价值的信息。【也别错过我过去的这篇Facebook 的PHP性能与扩展性】 图片规模 作为世界上最大的 SNS 站点之一,Facebook 图片有多少? 65 亿张原始图片,每张图片存为 4-5 个不同尺寸,这样总计图片文件有 300 亿左右,总容量 540T,天! 峰值的时候每秒钟请求 47.5 万个图片 (当然多数通过 CDN) ,每周上传 1 亿张图片。 图片存储 前一段时间说 Facebook 服务器超过 10000 台,现在打开不止了吧,Facebook 融到的大把银子都用来买硬件了。图片是存储在 Netapp NAS上的,采用 NFS 方式。 图片写入 尽管这么大的量,似乎图片写入并不是问题。如上图,是直接通过 NFS 写的。 图片读取..
收到扶贫基金会寄来的荣誉证书及收据
时间:2008-06-21 14:22 标签:扶贫基金会 捐款 
512汶川地震刚开始的时候,俺响应号召,给中国红十字总会捐了一笔款.但后来媒体上关于灾情的不断报道,让我苦于不能帮上忙,同时也想再捐一点款,以尽绵薄之类.但又不想捐给红十字总会,因为这时候已经有一些相关的负面报道了. 这时候就在张老兄的blog上看到他的亲身体验,因此马上再捐了一笔款子.但居然在付款成功后页面出错,然后回到该基金网站时,没有办法查到相关的捐款记录,不知是什么原因.但后来在5月25的时候,收到了他们的一封email,内容如下: 尊敬的女士/先生: 2008年5月20日已收到您的捐赠。您的捐助将通过中国扶贫基金会这双呵护和关爱之手,直接传递到四川灾区人民的手中,转化为良知和爱心,激励他们的信心和斗志,促进社会的互助与文明。为此,我们代表成千上万受您关爱的灾区同胞,对您的慷慨捐助表示难以言表的感激之情。谢谢!谢谢您!如果您..
InfoQ 数据库架构采访文字修正稿(2)
时间:2008-06-21 14:00 标签:InfoQ 网站架构 转贴摘录 
InfoQ中文站: 在 Web 2.0的时代,海量数据对于越来越多的开发者来说,已经不再是一个遥不可及的话题了,可能随便哪一个访问量很大的Web2.0网站都有可能拥有令人咂舌的数据量,那么对于这种网站,除了对数据库存储进行优化,除了缓存,然后还有那些策略? Fenng: 我觉得可能主要是在存储方面会有一些大的挑战。比如存储的可靠性,像以前就有过 BSP服务商对客户的数据居然没有备份,导致了很多用户损失了一段时间之内的数据,这样总体来说对网站的声誉有很大影响、对用户的体验也很糟糕。 随着互联网的飞速发展,数据总体来说是趋于膨胀性的,在这个过程中,如何把数据有效的存储,并且有效的获取,便是个比较复杂的问题。我们前面说了太多 Web 2.0相关的话题,【换个角度】比如说我所在的公司支付宝,也面临着这样的大数据量、海量数据的挑战。当前我们..
InfoQ 数据库架构采访文字修正稿
时间:2008-06-21 13:59 标签:InfoQ 网站架构 转贴摘录 
在 InfoQ 对我的采访发布后,我看到已经有网站在转载文字稿。其实口头的东西转换到文字,自己的话难免有些辞不达意的地方,征求 InfoQ 泰稳的意见后,我在这里就部分问答作一下修正,以免误导。 以下是正文: InfoQ中文站: 作为一名资深的 DBA,大辉却在自己的 BLOG 上边写了不少关于网站架构这方面的一些文章,能不能谈谈 DBA 跟网站架构这方面的关系呢? Fenng: 好多朋友和我开玩笑,说我做一个DBA,却总去写一些架构相关的东西,"是不是这个厨子不看菜谱,看兵法了?" 其实这二者之间我觉得是有些关系的。像数据库的维护,甚至设计、架构相关的工作,做到一定程度上还是要向前再走几步:也就是说要把我们架构相关的一些事情融合进来。当然作为一个 DBA 没必要一定要像我们的相关架构师这样,去做一些编码之类的实际工作,不过一些和 DB 结合的比较紧..
LinkedIn 架构与开发过程
时间:2008-05-28 09:38 标签:LinkedIn 网站架构 转贴摘录 
关心 Web 2.0 的朋友对于 LinkedIn 应该都不陌生。我这个 Blog 上以前也介绍过 LinkedIn 的架构信息。最近, LinkedIn 公司的两位工程师在 JavaOne 上做了两个分享。揭示了更多 LinkedIn 架构方面的技术信息。 1) LinkedIn - A Professional Network built with Java Technologies and Agile Practices 这是我看到的 Web 2.0 公司中第一个完全拥抱 SOA 的。这个文档中大致描述了 LinkedIn 开发过程上的一些经验。 | View News Service Architecture 对于国内鲜果这样的 RSS 工具网站或许能有点参考价值。另外一个值得注意的地方是架构的变迁,随着业务的增长,后端 DB 的变化非常明显。 2) LinkedIn Communication Architecture 这一篇中描述了几次迭代经验,其思路值得借鉴。 | View 其中提到了对 CLOB 字段的更新认识。我个人的建议是..
Linux 的 Out-of-Memory (OOM) Killer
时间:2008-05-27 10:04 标签:Linux Out-of-Memory 转贴摘录 
同事在 Linux 服务器上遇到点小问题,我也上去折腾半天。这还是第一次注意到 Linux 这个多年来就存在的特性:OOM Killer 。说白了 OOM Killer 就是一层保护机制,用于避免 Linux 在内存不足的时候不至于出太严重的问题,把无关紧要的进程杀掉,有些壮士断腕的意思。 先要学习点老知识,在 32 位CPU 架构下寻址是有限制的。Linux 内核定义了三个区域: # DMA: 0x00000000 - 0x00999999 (0 - 16 MB) # LowMem: 0x01000000 - 0x037999999 (16 - 896 MB) - size: 880MB# HighMem: 0x038000000 - <硬件特定> LowMem 区 (也叫 NORMAL ZONE ) 一共 880 MB,而且不能改变(除非用 hugemem 内核)。对于高负载的系统,就可能因为 LowMem 利用不好而引发 OOM Killer 。一个可能原因是 LowFree 太少了,另外一个原因是 LowMem 里都是碎片,请求不到连续的..
提倡:用献血的方式捐骨髓
时间:2008-05-16 18:21 标签:四川汶川地震 献血 捐献骨髓 
 近日,广州市民大量涌向广州市的六大献血点,小编就此问题电话采访了广州血液中心的专家,进行了一些相关的咨询,专家也呼吁广州市民理性献血,把握献血时间:   目前广州市各献血点出现的情况主要有:   1、各献血点人太多,拥挤   专家建议:现在想要献血的朋友最好不要马上去献血点,目前每辆献血车的血液存储量只能容纳200人的血液,请想献血的朋友下星期以后再过去各大献血点献血,最近几天尽量不要去献血点。   2、广州血库目前各种血型齐备   专家提醒:目前广州血库各种血型齐备,暂时不存在某一种血型偏少的情况。   3、献血时请带好本人身份证   专家提醒:去献血的时候请务必带好本人身份证。很多去献血的朋友一时起意过去,发现未带身份证最后白跑一趟,所以特别提醒大家,带好身份证。   4、献血前注意休息   ..
无知、愤青、无耻的人最近特别多。。。
时间:2008-05-14 17:26 标签: 
5月12日的四川汶川地震,是我国的一个灾难。有良心的人,都会感到不舒服。但就在这个苦难的时刻,还有很多无耻之徒在发灾难财,在挑拨离间群众。这几天都看到很多,有如下: 1、短信 以儿女的名义,群发信息,说和同学外出,遭遇地震,手机和银行卡也丢了,希望父母将钱汇到一个不知名的帐号,说是同学的帐号 2、图片 以缅甸水灾的图片报称是地震的图片 3、文字 以捐款额来要求大家支持国货,反对洋货。但其中索尼中国昨天就捐了100w。但之后就有人说,才捐这么少。真无耻。如果外国的捐多了,就说人家显摆,捐少了,就嫌少。真tm难服侍。甚至还有人造谣姚明,真不明白这些人是什么脑袋的。
事后诸葛亮特别多。。。
时间:2008-05-14 10:03 标签:四川汶川 地震 唐山大地震 心得体会 
2008年5月12日14点28分,我国四川省汶川地区发生了7.8级强烈地震。截止现在,死亡人数12012人,掩埋9千多人。 对此,网络上非常多的事后诸葛亮人士,均发表了诸多意见,例如国家地震局为什么不发布预报啊,为什么看到有大量癞蛤蟆突然涌到街面反而说是征兆等等,做出了非常严厉的批评。 对于这些人,我只能感到无语。首先可以提一点相关资料,根据凤凰卫视曾子墨的《社会能见度》在2005年做的一期节目,是关于唐山大地震的采访报道(上、下)。在71年开始的11年间,国家地震局的一个专家所带领的小组,一共做出地震短临预报175次。事后联合国组织对此进行打分评估,最后的结果是准确率为33.1%,“一个令世界为之震惊的数字”。由此可以知道,在当时的环境下,地震界根据周总理的指示“群防群治,土洋结合”,可以做出准确率为33.1..
Flickr Stats 功能的设计经验
时间:2008-04-28 09:54 标签:Flickr Stats 网站架构 转贴摘录 
Flickr 的 DBA Dathan Pattishall 在前几天的 MySQL 大会上分享了 Scaling Heavy Concurrent Writes In Real Time (Record every Referral for Flickr Realtime) ,其中介绍了 Flickr Stats 的设计经验。国内好多 Web 站点其实也在设计类似的功能,只是不知道细节罢了。 数据结构原型 字段 数据类型 Path_query Varchar(255) PK Domain Varchar(50) Owner Bigint When Date Object-ID Bigint Object-Type Tinyint Counts and stuff Various ints May be some keys 主键是字符串,开..
共 299 记录 / 30 页 1 2 3 4 5 > » 
分类导航
文章导读
最新评论
本站广告
RSS订阅
我的滔滔
归档
友情连接
图标
本站推荐
Copyright ©2006 - 2008 w2Blog.Net