搜索：网站架构

探索Google App Engine背后的奥秘(2)--Google的整体架构猜想

本文是基于现有的公开资料和个人的经验来对Google的整体架构进行总结和猜想。在软件工程界，大家有一个共识，那就是\"需求决定架构\"，也就是说，架构的发展是为了更好地支撑应用。那么本文在介绍架构之前，先介绍一下Google所提供的主要产品有哪些？产品对于Google和它几个主要产品，比如搜索和邮件等，大家已经非常熟悉了，但是其提供服务的不只于此，并主要可...

时间:06月10日 20:26 标签: Google App Engine 网站架构

探索Google App Engine背后的奥秘(1)--Google的核心技术

本系列文章基于公开资料对Google App Engine的实现机制这个话题进行深度探讨。在切入Google App Engine之前，首先会对Google的核心技术和其整体架构进行分析，以帮助大家之后更好地理解Google App Engine的实现。本篇将主要介绍Google的十个核心技术，而且可以分为四大类：分布式基础设施：GFS、Chubby 和 Protocol Buffer。分布式大规模数据处理：MapReduce ...

时间:06月10日 20:00 标签: Google App Engine 网站架构

读书 - 实战Nginx：取代Apache的高性能Web服务器

内容简介《实战Nginx:取代Apache的高性能Web服务器》内容简介：Nginx是俄罗斯人Igor Sysoev编写的一款高性能的HTTP和反向代理服务器。Nginx选择了epoll和kqueue作为网络I/O模型，在高连接并发的情况下，内存、CPU等系统资源消耗非常低，运行稳定。《实战Nginx:取代Apache的高性能Web服务器》系统地介绍了Nginx与PHP、RUBY、Python结合的使用方法，Nginx作为反向代理与...

时间:04月24日 00:16 标签: Apache 高性能Web服务器读书 Nginx 网站架构

读书 - 高性能MySQL（第二版）

《高性能MySQL》汇聚了著名MySQL专家在实践中构建大型系统的多年宝贵经验，指导你如何使用MySQLTF发出快速可靠的系统。本书的第二版着眼于健壮性、安全性及数据完整性，涵盖了MySQL性能的细微之处。《高性能MYSQL》指导你深入MYSQL的高级技术，充分利用MySQL的全部强大能力。你将学到如何设计MySQL的表、索引、查询以及可以将性能发挥到极致的高级特性。另外，你还会在MySQ...

时间:04月15日 20:43 标签: 高性能 MySQL 优化网站架构读书

多IDC的数据分布设计(二)

  在前文《多IDC的数据分布设计(一) 》中介绍了多IDC数据一致性的几种实现原理，遗憾的是，目前虽然有不少分布式产品，但几乎都没有开源的产品专门针对IDC来优化。本文从实践的角度分析各种方法优缺点。背景资料 Latency差异 Jeff Dean提到不同数据访问方式latency差异 Numbers Everyone Should Know L1 cache reference   &a...

时间:04月11日 20:37 标签: IDC 数据分布网站架构转帖摘录

PC 服务器的 RAS 能力

  曾经被问过很多次这样的问题：PC 服务器的可靠性到底是怎样的? 能否给出一个可用率数值? 这问题说来话长，而且也算不上是什么好问题，当然这里面有非常值得琢磨的地方，那就是 PC 服务器的 RAS 能力到底如何? 只有弄清楚这一点，才会明白在 PC 服务器计算能力已经如此强大的今天，为什么昂贵的小型机依然有市场。在服务器选型的时候才不会拍脑袋做决策...

时间:04月11日 20:04 标签: RAS 网站架构转帖摘录

FarmVille(美版开心农场)谈架构:所有模块都是一个可降级的服务

在2009年Facebook Developer Garage Shanghai活动上， Five Minutes程延辉介绍开心农场架构，让大家了解了SNS game的一些挑战和设计模式。由于农场游戏风靡全球，最近 highscalability.com 网站采访了美版开心农场FarmVille的Luke Rajlich，他介绍了FarmVille的部分架构资料(1)。所有模块都是一个可降级的服务 For any web application, high latency kill...

时间:03月09日 09:57 标签: FarmVille fackbook 开心农场网站架构

Five Minutes程延辉介绍开心农场架构

Five Minutes 公司程延辉（小名康天）介绍开心农场架构，social game的技术挑战，支持千万级DAU的social game技术架构。这是一个对于开发者来说，非常精彩，非常有实用性指导的一次演讲，详细介绍了很多技术内幕。 >>猛击这里下载演讲ppt<< ...

时间:03月09日 09:48 标签: Five Minutes 程延辉开心农场网站架构转帖摘录

多IDC的数据分布设计(一)

上个月跟某个朋友谈及多IDC数据同时读写访问的问题( tweet )，当时觉得有不少解决方案，但觉得思路还不够清晰。最近看了Google App Engine工程师Ryan Barrett介绍GAE后端数据服务的演讲稿 Transactions Across Datacenters ( 视频 )，用Ryan的方法来分析这个问题后就豁然开朗。按Ryan的方法，多IDC实现有以下几种思路。一、Master/slave 这个是多机房数据访问最...

时间:02月03日 12:39 标签: IDC 数据分布网站架构转帖摘录

关于两个机房的讨论

如何最大限度的提升中国的网站速度，今天发信给我信任的朋友们，老冒回复如下：我朝Internet南北不畅通的解决方案（老旧方案）（需要翻墙。可以在Google Reader里面订阅http://robertmao.com/feeds/latest/访问）。很多要点老冒几乎都提到了，我在此列出我的一些问题和思考，共有用样需求的各位讨论。 1. MySQL跨越广域网的复制(Replication of MySQL)是否稳定可靠 ...

时间:02月03日 12:37 标签: 机房广域网复制 MySQL Cache 网站架构转帖摘录

Oracle Exadata 技术浅析

自从 Oracle 和 HP 推出 Exadata 之后，我就很关注这个产品，之前也写了一篇 Oracle Database Machine 介绍它。去年，Oracle和SUN合并后，推出了Oracle Exadata V2，相比较上一代产品有几个变化：第一，使用 SUN 的硬件；第二，宣称支持 OLTP 应用；第三，Oracle 11g R2 提供了更多的新特性。 Exadata Smart Flash Cache Exadata V2整体架构并没有太多改变，换用了...

时间:02月02日 16:02 标签: Oracle Exadata 行压缩列压缩存储索引 Smart Scan 网站架构转帖摘录

用Twitter的cursor方式进行Web数据分页

本文讨论Web应用中实现数据分页功能，不同的技术实现方式的性能方区别。上图功能的技术实现方法拿MySQL来举例就是 select * from msgs where thread_id = ? limit page * count, count 不过在看Twitter API的时候，我们却发现不少接口使用cursor的方法，而不用page, count这样直观的形式，如 followers ids 接口 URL: http://twitter.com/followers/i...

时间:01月20日 13:05 标签: 数据分页 cursor 游标 Twitter 网站架构转帖摘录

SmugMug 的架构介绍

本文介绍的  SmugMug  是一家提供付费图片托管服务的站点，在 2002 年由 Chris MacAskill 与 Don MacAskill 父子二人创建，最初提供面向游戏的视频服务，随后转型为现在的模式。网站流量现在是全球 1800 多，盈利能力自称良好。在 MySQL Conf 2009 上，SmugMug 的  Don MacAskill  做了一次关于 SmugMug 网站架构的分享。 Sm...

时间:12月21日 09:58 标签: SmugMug 网站架构转帖摘录

数据分片(Sharding)设计问题一例

Question：假设一家 C2C 网站，数据库中某表存储买卖双方交易的数据信息，对于一条交易来说，买卖双方数据具有一定程度的耦合性，比如卖家的状态更新对应买家的状态也会更新，对于一个中大规模的电子商务网站，架构师在设计中如何考虑数据分片的问题（假定该表随着数据的膨胀必须拆分)? Answer：对于一个中大规模的电子商务网站，随着网站的不断发展，其相应的数据规...

时间:12月10日 08:46 标签: 数据分片 Sharding 网站架构

OpenDNS 的统计(Stats)服务的实现

对国内互联网用户来说， OpenDNS.com 这个服务在技术圈子里还是有些知名度的，当然这要归功于国内电信服务商对域名的无耻劫持行为。 OpenDNS 的员工 Richard Crowley 在 Velocity 2009 上和与会者分享了关于 OpenDNS Stats 服务的实现。当时的数据是每天有 140 亿次的 DNS 查询，而现在从公开的数据看，每天已经超过 180 亿次查询。这个 PPT 的内容就是讲 O...

时间:12月03日 08:55 标签: OpenDNS 统计(Stats)服务网站架构

再跟 Flickr 学习网站运维经验

学习了一下 Flickr 的运维工程师 John Allspaw 的这个 Operational Efficiency Hacks 讲座内容。做一点笔记。现在 Flickr 的数据相比 2007年的时候真是有了显著的增长： 24 TB 的 MySQL 数据每秒钟 MySQL 有 3.2 万次写操作每秒钟 MySQL 有 12万次读操作图片容量 6 PB 每天要用掉 10TB 存储超过 15000 个服务监控点在 2004 ...

时间:12月02日 11:38 标签: 网站运维 Flickr 网站架构

MySQL 大企业级应用可行性分析(之四)

如果你觉得 MySQL 不够好，那是因为你不会用。这是以前开了头的一个话题，现在有了一点新的想法和变化，倒是可以记录一下和大家分享。数据仓库解决方案一般来说，一个企业随着不断快速发展，或许在数据库上的投入到后期反而不如数据仓库、商业智能上面的投入。在数据仓库解决方案上，MySQL + InfoBright ( 参考 )是个不错的解决方案。在数据仓库亦或是海量...

时间:2009年09月14日 12:56 标签: MySQL 企业级应用网站架构转贴摘录

MySQL 大企业级应用可行性分析(之三)

封装业务逻辑:存储过程在商业数据库软件的实践方式上，利用存储过程封装业务逻辑是非常通用的做法(也有很大一部分原因是 IT 架构演化造成的)。MySQL 5 之后也支持存储过程，如果要把 Oracle/DB2 等的就有逻辑迁移到 MySQL 当然不是容易的事情。最好的办法可能是：不在存储过程上动脑筋，在应用层想办法。谁是\"推手\"? 让我们回过头来，看看当年 ...

时间:2009年09月14日 12:54 标签: MySQL 企业级应用网站架构转贴摘录

小规模低性能低流量网站设计原则

到处都是什么大规模啊，高流量啊，高性能之类的网站架构设计，这类文章一是满足人们好奇心，但看过之后也就看过了，实际收益可能并不大；另外一个副作用是容易让人心潮澎湃，没学走先学跑，在很多条件仍不具备的情况下，过度设计、过度扩展，所以，这里反弹琵琶，讨论一下小规模、低性能、低流量的网站该如何搞法。如果站点起步阶段可能就是一台机器(或是一台...

时间:2009年04月17日 15:16 标签: 小规模低性能低流量网站架构转贴摘录

eBay 的Scalability最佳实践

用什么来衡量一天没有白过? 可能看到一篇好文章能算做一个条件。 infoQ 上的这篇 Scalability Best Practices: Lessons from eBay 会让每个架构师都比较激动的。过几天估计 infoQ 中文站就翻译这篇文章了，所以只记录一点自己的想法好了。在其中的 7 个实战经验中，每一条都值得写篇学习笔记，我比较关注面向 DB 的几条。水平切分对于 eBay 这样个头...

时间:2009年04月14日 09:01 标签: Scalability eBay 网站架构转贴摘录