- 探索Google App Engine背后的奥秘(2)--Google的整体架构猜想
-
本文是基于现有的公开资料和个人的经验来对Google的整体架构进行总结和猜想。
在软件工程界,大家有一个共识,那就是\"需求决定架构\",也就是说,架构的发展是为了更好地支撑应用。那么本文在介绍架构之前,先介绍一下Google所提供的主要产品有哪些?
产品
对于Google和它几个主要产品,比如搜索和邮件等,大家已经非常熟悉了,但是其提供服务的不只于此,并主要可...
- 时间:06月10日 20:26 标签:
Google App Engine
网站架构
- 探索Google App Engine背后的奥秘(1)--Google的核心技术
-
本系列文章基于公开资料对Google App Engine的实现机制这个话题进行深度探讨。在切入Google App Engine之前,首先会对Google的核心技术和其整体架构进行分析,以帮助大家之后更好地理解Google App Engine的实现。
本篇将主要介绍Google的十个核心技术,而且可以分为四大类:
分布式基础设施:GFS、Chubby 和 Protocol Buffer。
分布式大规模数据处理:MapReduce ...
- 时间:06月10日 20:00 标签:
Google App Engine
网站架构
- 读书 - 实战Nginx:取代Apache的高性能Web服务器
-
内容简介
《实战Nginx:取代Apache的高性能Web服务器》内容简介:Nginx是俄罗斯人Igor Sysoev编写的一款高性能的HTTP和反向代理服务器。Nginx选择了epoll和kqueue作为网络I/O模型,在高连接并发的情况下,内存、CPU等系统资源消耗非常低,运行稳定。 《实战Nginx:取代Apache的高性能Web服务器》系统地介绍了Nginx与PHP、RUBY、Python结合的使用方法,Nginx作为反向代理与...
- 时间:04月24日 00:16 标签:
Apache
高性能Web服务器
读书
Nginx
网站架构
- 读书 - 高性能MySQL(第二版)
- 《高性能MySQL》汇聚了著名MySQL专家在实践中构建大型系统的多年宝贵经验,指导你如何使用MySQLTF发出快速可靠的系统。本书的第二版着眼于健壮性、安全性及数据完整性,涵盖了MySQL性能的细微之处。 《高性能MYSQL》指导你深入MYSQL的高级技术,充分利用MySQL的全部强大能力。你将学到如何设计MySQL的表、索引、查询以及可以将性能发挥到极致的高级特性。另外,你还会在MySQ...
- 时间:04月15日 20:43 标签:
高性能
MySQL
优化
网站架构
读书
- 多IDC的数据分布设计(二)
-
在前文《 多IDC的数据分布设计(一) 》中介绍了多IDC数据一致性的几种实现原理,遗憾的是,目前虽然有不少分布式产品,但几乎都没有开源的产品专门针对IDC来优化。本文从实践的角度分析各种方法优缺点。
背景资料 Latency差异
Jeff Dean提到不同数据访问方式latency差异
Numbers Everyone Should Know
L1 cache reference &a...
- 时间:04月11日 20:37 标签:
IDC
数据分布
网站架构
转帖摘录
- PC 服务器的 RAS 能力
-
曾经被问过很多次这样的问题:PC 服务器的可靠性到底是怎样的? 能否给出一个可用率数值?
这问题说来话长,而且也算不上是什么好问题,当然这里面有非常值得琢磨的地方,那就是 PC 服务器的 RAS 能力到底如何? 只有弄清楚这一点,才会明白在 PC 服务器计算能力已经如此强大的今天,为什么昂贵的小型机依然有市场。在服务器选型的时候才不会拍脑袋做决策...
- 时间:04月11日 20:04 标签:
RAS
网站架构
转帖摘录
- FarmVille(美版开心农场)谈架构:所有模块都是一个可降级的服务
- 在2009年Facebook Developer Garage Shanghai活动上, Five Minutes程延辉 介绍开心农场架构 ,让大家了解了SNS game的一些挑战和设计模式。
由于农场游戏风靡全球,最近 highscalability.com 网站采访了美版开心农场FarmVille的Luke Rajlich,他介绍了FarmVille的部分架构资料(1)。
所有模块都是一个可降级的服务
For any web application, high latency kill...
- 时间:03月09日 09:57 标签:
FarmVille
fackbook
开心农场
网站架构
- Five Minutes程延辉 介绍开心农场架构
- Five Minutes 公司程延辉(小名康天) 介绍开心农场架构,social game的技术挑战,支持千万级DAU的social game技术架构。这是一个对于开发者来说,非常精彩,非常有实用性指导的一次演讲,详细介绍了很多技术内幕。 >>猛击这里下载演讲ppt<<
...
- 时间:03月09日 09:48 标签:
Five Minutes
程延辉
开心农场
网站架构
转帖摘录
- 多IDC的数据分布设计(一)
- 上个月跟某个朋友谈及多IDC数据同时读写访问的问题( tweet ),当时觉得有不少解决方案,但觉得思路还不够清晰。最近看了Google App Engine工程师Ryan Barrett介绍GAE后端数据服务的演讲稿 Transactions Across Datacenters ( 视频 ),用Ryan的方法来分析这个问题后就豁然开朗。
按Ryan的方法,多IDC实现有以下几种思路。
一、Master/slave
这个是多机房数据访问最...
- 时间:02月03日 12:39 标签:
IDC
数据分布
网站架构
转帖摘录
- 关于两个机房的讨论
- 如何最大限度的提升中国的网站速度,今天发信给我信任的朋友们,老冒回复如下: 我朝Internet南北不畅通的解决方案(老旧方案) (需要翻墙。可以在Google Reader里面订阅http://robertmao.com/feeds/latest/访问)。很多要点老冒几乎都提到了,我在此列出我的一些问题和思考,共有用样需求的各位讨论。
1. MySQL跨越广域网的复制(Replication of MySQL)是否稳定可靠
...
- 时间:02月03日 12:37 标签:
机房
广域网复制
MySQL
Cache
网站架构
转帖摘录
- Oracle Exadata 技术浅析
- 自从 Oracle 和 HP 推出 Exadata 之后,我就很关注这个产品,之前也写了一篇 Oracle Database Machine 介绍它。去年,Oracle和SUN合并后,推出了Oracle Exadata V2,相比较上一代产品有几个变化:第一,使用 SUN 的硬件;第二,宣称支持 OLTP 应用;第三,Oracle 11g R2 提供了更多的新特性。
Exadata Smart Flash Cache
Exadata V2整体架构并没有太多改变,换用了...
- 时间:02月02日 16:02 标签:
Oracle
Exadata
行压缩
列压缩
存储索引
Smart Scan
网站架构
转帖摘录
- 用Twitter的cursor方式进行Web数据分页
- 本文讨论Web应用中实现数据分页功能,不同的技术实现方式的性能方区别。 上图功能的技术实现方法拿MySQL来举例就是
select * from msgs where thread_id = ? limit page * count, count
不过在看Twitter API的时候,我们却发现不少接口使用cursor的方法,而不用page, count这样直观的形式,如 followers ids 接口
URL:
http://twitter.com/followers/i...
- 时间:01月20日 13:05 标签:
数据分页
cursor
游标
Twitter
网站架构
转帖摘录
- SmugMug 的架构介绍
-
本文介绍的 SmugMug 是一家提供付费图片托管服务的站点,在 2002 年由 Chris MacAskill 与 Don MacAskill 父子二人创建,最初提供面向游戏的视频服务,随后转型为现在的模式。网站流量现在是全球 1800 多,盈利能力自称良好。
在 MySQL Conf 2009 上,SmugMug 的 Don MacAskill 做了一次关于 SmugMug 网站架构 的分享。
Sm...
- 时间:12月21日 09:58 标签:
SmugMug
网站架构
转帖摘录
- 数据分片(Sharding)设计问题一例
-
Question:假设一家 C2C 网站,数据库中某表存储买卖双方交易的数据信息,对于一条交易来说,买卖双方数据具有一定程度的耦合性,比如卖家的状态更新对应买家的状态也会更新,对于一个中大规模的电子商务网站,架构师在设计中如何考虑数据分片的问题(假定该表随着数据的膨胀必须拆分)?
Answer:对于一个中大规模的电子商务网站,随着网站的不断发展,其相应的数据规...
- 时间:12月10日 08:46 标签:
数据分片
Sharding
网站架构
- OpenDNS 的统计(Stats)服务的实现
-
对国内互联网用户来说, OpenDNS.com 这个服务在技术圈子里还是有些知名度的,当然这要归功于国内电信服务商对域名的无耻劫持行为。
OpenDNS 的员工 Richard Crowley 在 Velocity 2009 上和与会者分享了关于 OpenDNS Stats 服务的实现 。当时的数据是每天有 140 亿次的 DNS 查询,而现在从公开的数据看,每天已经超过 180 亿次查询。这个 PPT 的内容就是讲 O...
- 时间:12月03日 08:55 标签:
OpenDNS
统计(Stats)服务
网站架构
- 再跟 Flickr 学习网站运维经验
-
学习了一下 Flickr 的运维工程师 John Allspaw 的这个 Operational Efficiency Hacks 讲座内容。做一点笔记。
现在 Flickr 的数据相比 2007年 的时候真是有了显著的增长:
24 TB 的 MySQL 数据
每秒钟 MySQL 有 3.2 万次写操作
每秒钟 MySQL 有 12万次读操作
图片容量 6 PB
每天要用掉 10TB 存储
超过 15000 个服务监控点
在 2004 ...
- 时间:12月02日 11:38 标签:
网站运维
Flickr
网站架构
- MySQL 大企业级应用可行性分析(之四)
-
如果你觉得 MySQL 不够好,那是因为你不会用。
这是以前开了头的一个话题,现在有了一点新的想法和变化,倒是可以记录一下和大家分享。
数据仓库解决方案
一般来说,一个企业随着不断快速发展,或许在数据库上的投入到后期反而不如数据仓库、商业智能上面的投入。在数据仓库解决方案上,MySQL + InfoBright ( 参考 )是个不错的解决方案。在数据仓库亦或是海量...
- 时间:2009年09月14日 12:56 标签:
MySQL
企业级应用
网站架构
转贴摘录
- MySQL 大企业级应用可行性分析(之三)
-
封装业务逻辑:存储过程
在商业数据库软件的实践方式上,利用存储过程封装业务逻辑是非常通用的做法(也有很大一部分原因是 IT 架构演化造成的)。MySQL 5 之后也支持存储过程,如果要把 Oracle/DB2 等的就有逻辑迁移到 MySQL 当然不是容易的事情。最好的办法可能是:不在存储过程上动脑筋,在应用层想办法。
谁是\"推手\"?
让我们回过头来,看看当年 ...
- 时间:2009年09月14日 12:54 标签:
MySQL
企业级应用
网站架构
转贴摘录
- 小规模低性能低流量网站设计原则
-
到处都是什么大规模啊,高流量啊,高性能之类的网站架构设计,这类文章一是满足人们好奇心,但看过之后也就看过了,实际收益可能并不大;另外一个副作用是容易让人心潮澎湃,没学走先学跑,在很多条件仍不具备的情况下, 过度设计、过度扩展 ,所以,这里反弹琵琶,讨论一下 小规模 、 低性能 、 低流量 的网站该如何搞法。
如果站点起步阶段可能就是一台机器(或是一台...
- 时间:2009年04月17日 15:16 标签:
小规模
低性能
低流量
网站架构
转贴摘录
- eBay 的Scalability最佳实践
-
用什么来衡量一天没有白过? 可能看到一篇好文章能算做一个条件。 infoQ 上的这篇 Scalability Best Practices: Lessons from eBay 会让每个架构师都比较激动的。
过几天估计 infoQ 中文站 就翻译这篇文章了,所以只记录一点自己的想法好了。在其中的 7 个实战经验中,每一条都值得写篇学习笔记,我比较关注面向 DB 的几条。
水平切分
对于 eBay 这样个头...
- 时间:2009年04月14日 09:01 标签:
Scalability
eBay
网站架构
转贴摘录
共 57 记录 1 / 3 页 1 2 3 > »