高并发读取档案流 php怎么处理

当用户发来请求的时候，Web伺服器通过修改HTTP响应头中的Location标记来返回一个新的url，然后浏览器再继续请求这个新url，实际上就是页面重定向。通过重定向，来达到“负载均衡”的目标。例如，我们在下载PHP原始码包的时候，点选下载连结时，为了解决不同国家和地域下载速度的问题，它会返回一个离我们近的下载地址。重定向的HTTP返回码是302

这个重定向非常容易实现，并且可以自定义各种策略。但是，它在大规模访问量下，效能不佳。而且，给使用者的体验也不好，实际请求发生重定向，增加了网路延时。

2. 反向代理负载均衡

反向代理服务的核心工作主要是转发HTTP请求，扮演了浏览器端和后台Web伺服器中转的角色。因为它工作在HTTP层（应用层），也就是网路七层结构中的第七层，因此也被称为“七层负载均衡”。可以做反向代理的软体很多，比较常见的一种是Nginx。

Nginx是一种非常灵活的反向代理软体，可以自由定制化转发策略，分配伺服器流量的权重等。反向代理中，常见的一个问题，就是Web伺服器储存的session资料，因为一般负载均衡的策略都是随机分配请求的。同一个登入使用者的请求，无法保证一定分配到相同的Web机器上，会导致无法找到session的问题。

解决方案主要有两种：

1.配置反向代理的转发规则，让同一个使用者的请求一定落到同一台机器上（通过分析cookie），复杂的转发规则将会消耗更多的CPU，也增加了代理伺服器的负担。

2.将session这类的资讯，专门用某个独立服务来储存，例如redis/memchache，这个方案是比较推荐的。

反向代理服务，也是可以开启快取的，如果开启了，会增加反向代理的负担，需要谨慎使用。这种负载均衡策略实现和部署非常简单，而且效能表现也比较好。但是，它有“单点故障”的问题，如果挂了，会带来很多的麻烦。而且，到了后期Web伺服器继续增加，它本身可能成为系统的瓶颈。

3. IP负载均衡

IP负载均衡服务是工作在网路层（修改IP）和传输层（修改埠，第四层），比起工作在应用层（第七层）效能要高出非常多。原理是，他是对IP层的资料包的IP地址和埠资讯进行修改，达到负载均衡的目的。这种方式，也被称为“四层负载均衡”。常见的负载均衡方式，是LVS（Linux Virtual Server，Linux虚拟服务），通过IPVS（IP Virtual Server，IP虚拟服务）来实现。

在负载均衡伺服器收到客户端的IP包的时候，会修改IP包的目标IP地址或埠，然后原封不动地投递到内部网路中，资料包会流入到实际Web伺服器。实际伺服器处理完成后，又会将资料包投递回给负载均衡伺服器，它再修改目标IP地址为使用者IP地址，最终回到客户端。

上述的方式叫LVS-NAT，除此之外，还有LVS-RD（直接路由），LVS-TUN（IP隧道），三者之间都属于LVS的方式，但是有一定的区别，篇幅问题，不赘叙。

IP负载均衡的效能要高出Nginx的反向代理很多，它只处理到传输层为止的资料包，并不做进一步的组包，然后直接转发给实际伺服器。不过，它的配置和搭建比较复杂。

4. DNS负载均衡

DNS（Domain Name System）负责域名解析的服务，域名url实际上是伺服器的别名，实际对映是一个IP地址，解析过程，就是DNS完成域名到IP的对映。而一个域名是可以配置成对应多个IP的。因此，DNS也就可以作为负载均衡服务。

这种负载均衡策略，配置简单，效能极佳。但是，不能自由定义规则，而且，变更被对映的IP或者机器故障时很麻烦，还存在DNS生效延迟的问题。

5. DNS/GSLB负载均衡

我们常用的CDN（Content Delivery Neork，内容分发网路）实现方式，其实就是在同一个域名对映为多IP的基础上更进一步，通过GSLB（Global Server Load Balance，全域性负载均衡）按照指定规则对映域名的IP。一般情况下都是按照地理位置，将离使用者近的IP返回给使用者，减少网路传输中的路由节点之间的跳跃消耗。

“向上寻找”，实际过程是LDNS（Local DNS）先向根域名服务（Root Name Server）获取到顶级根的Name Server（例如.的），然后得到指定域名的授权DNS，然后再获得实际伺服器IP。

CDN在Web系统中，一般情况下是用来解决大小较大的静态资源（/Js/Css/图片等）的载入问题，让这些比较依赖网路下载的内容，尽可能离使用者更近，提升使用者体验。

例如，我访问了一张imgcache.gtimg.上的图片（腾讯的自建CDN，不使用qq.域名的原因是防止请求的时候，带上了多余的cookie资讯），我获得的IP是183.60.217.90。

这种方式，和前面的DNS负载均衡一样，不仅效能极佳，而且支援配置多种策略。但是，搭建和维护成本非常高。网际网路一线公司，会自建CDN服务，中小型公司一般使用第三方提供的CDN。

Web系统的快取机制的建立和优化

刚刚我们讲完了Web系统的外部网路环境，现在我们开始关注我们Web系统自身的效能问题。我们的Web站点随着访问量的上升，会遇到很多的挑战，解决这些问题不仅仅是扩容机器这么简单，建立和使用合适的快取机制才是根本。

最开始，我们的Web系统架构可能是这样的，每个环节，都可能只有1台机器。

我们从最根本的资料储存开始看哈。

一、 MySQL资料库内部快取使用

MySQL的快取机制，就从先从MySQL内部开始，下面的内容将以最常见的InnoDB储存引擎为主。

1. 建立恰当的索引

最简单的是建立索引，索引在表资料比较大的时候，起到快速检索资料的作用，但是成本也是有的。首先，占用了一定的磁碟空间，其中组合索引最突出，使用需要谨慎，它产生的索引甚至会比源资料更大。其次，建立索引之后的资料insert/update/delete等操作，因为需要更新原来的索引，耗时会增加。当然，实际上我们的系统从总体来说，是以select查询操作居多，因此，索引的使用仍然对系统性能有大幅提升的作用。

2. 资料库连线执行绪池快取

如果，每一个数据库操作请求都需要建立和销毁连线的话，对资料库来说，无疑也是一种巨大的开销。为了减少这型别的开销，可以在MySQL中配置thread_cache_size来表示保留多少执行绪用于复用。执行绪不够的时候，再建立，空闲过多的时候，则销毁。

其实，还有更为激进一点的做法，使用pconnect（资料库长连线），执行绪一旦建立在很长时间内都保持着。但是，在访问量比较大，机器比较多的情况下，这种用法很可能会导致“资料库连线数耗尽”，因为建立连线并不回收，最终达到资料库的max_connections（最大连线数）。因此，长连线的用法通常需要在CGI和MySQL之间实现一个“连线池”服务，控制CGI机器“盲目”建立连线数。

建立资料库连线池服务，有很多实现的方式，PHP的话，我推荐使用swoole（PHP的一个网路通讯拓展）来实现。

3. Innodb快取设定（innodb_buffer_pool_size）

innodb_buffer_pool_size这是个用来储存索引和资料的记忆体快取区，如果机器是MySQL独占的机器，一般推荐为机器实体记忆体的80%。在取表资料的场景中，它可以减少磁碟IO。一般来说，这个值设定越大，cache命中率会越高。

4. 分库/分表/分割槽。

MySQL资料库表一般承受资料量在百万级别，再往上增长，各项效能将会出现大幅度下降，因此，当我们预见资料量会超过这个量级的时候，建议进行分库/分表/分割槽等操作。最好的做法，是服务在搭建之初就设计为分库分表的储存模式，从根本上杜绝中后期的风险。不过，会牺牲一些便利性，例如列表式的查询，同时，也增加了维护的复杂度。不过，到了资料量千万级别或者以上的时候，我们会发现，它们都是值得的。

二、 MySQL资料库多台服务搭建

1台MySQL机器，实际上是高风险的单点，因为如果它挂了，我们Web服务就不可用了。而且，随着Web系统访问量继续增加，终于有一天，我们发现1台MySQL伺服器无法支撑下去，我们开始需要使用更多的MySQL机器。当引入多台MySQL机器的时候，很多新的问题又将产生。

1. 建立MySQL主从，从库作为备份

这种做法纯粹为了解决“单点故障”的问题，在主库出故障的时候，切换到从库。不过，这种做法实际上有点浪费资源，因为从库实际上被闲著了。

2. MySQL读写分离，主库写js取系统时间有延迟，从库读。

两台资料库做读写分离，主库负责写入类的操作，从库负责读的操作。并且，如果主库发生故障，仍然不影响读的操作，同时也可以将全部读写都临时切换到从库中（需要注意流量，可能会因为流量过大，把从库也拖垮）。

3. 主主互备。

两台MySQL之间互为彼此的从库，同时又是主库。这种方案，既做到了访问量的压力分流，同时也解决了“单点故障”问题。任何一台故障，都还有另外一套可供使用的服务。

不过，这种方案，只能用在两台机器的场景。如果业务拓展还是很快的话，可以选择将业务分离，建立多个主主互备。

三、 MySQL资料库机器之间的资料同步

每当我们解决一个问题，新的问题必然诞生在旧的解决方案上。当我们有多台MySQL，在业务高峰期，很可能出现两个库之间的资料有延迟的场景。并且，网路和机器负载等，也会影响资料同步的延迟。我们曾经遇到过，在日访问量接近1亿的特殊场景下，出现，从库资料需要很多天才能同步追上主库的资料。这种场景下，从库基本失去效用了。

于是，解决同步问题，就是我们下一步需要关注的点。

1. MySQL自带多执行绪同步

MySQL5.6开始支援主库和从库资料同步，走多执行绪。但是，限制也是比较明显的，只能以库为单位。MySQL资料同步是通过binlog日志，主库写入到binlog日志的操作，是具有顺序的，尤其当SQL操作中含有对于表结构的修改等操作，对于后续的SQL语句操作是有影响的。因此，从库同步资料，必须走单程序。

2. 自己实现解析binlog，多执行绪写入。

以资料库的表为单位，解析binlog多张表同时做资料同步。这样做的话，的确能够加快资料同步的效率，但是，如果表和表之间存在结构关系或者资料依赖的话，则同样存在写入顺序的问题。这种方式，可用于一些比较稳定并且相对独立的资料表。

国内一线网际网路公司，大部分都是通过这种方式，来加快资料同步效率。还有更为激进的做法，是直接解析binlog，忽略以表为单位，直接写入。但是这种做法，实现复杂，使用范围就更受到限制，只能用于一些场景特殊的资料库中（没有表结构变更，表和表之间没有资料依赖等特殊表）。

四、 在Web伺服器和资料库之间建立快取

实际上，解决大访问量的问题，不能仅仅着眼于资料库层面。根据“二八定律”，80%的请求只关注在20%的热点资料上。因此，我们应该建立Web伺服器和资料库之间的快取机制。这种机制，可以用磁碟作为快取，也可以用记忆体快取的方式。通过它们，将大部分的热点资料查询，阻挡在资料库之前。

1. 页面静态化

使用者访问网站的某个页面，页面上的大部分内容在很长一段时间内，可能都是没有变化的。例如一篇新闻报道，一旦释出几乎是不会修改内容的。这样的话，通过CGI生成的静态页面快取到Web伺服器的磁碟本地。除了第一次，是通过动态CGI查询资料库获取之外，之后都直接将本地磁碟档案返回给使用者。

在Web系统规模比较小的时候，这种做法看似完美。但是，一旦Web系统规模变大，例如当我有100台的Web伺服器的时候。那样这些磁碟档案，将会有100份，这个是资源浪费，也不好维护。这个时候有人会想，可以集中一台伺服器存起来，呵呵，不如看看下面一种快取方式吧，它就是这样做的。

2. 单台记忆体快取

通过页面静态化的例子中，我们可以知道将“快取”搭建在Web机器本机是不好维护的，会带来更多问题（实际上，通过PHP的apc拓展，可通过Key/value操作Web伺服器的本机记忆体）。因此，我们选择搭建的记忆体快取服务，也必须是一个独立的服务。

记忆体快取的选择，主要有redis/memcache。从效能上说，两者差别不大，从功能丰富程度上说，Redis更胜一筹。

3. 记忆体快取丛集

当我们搭建单台记忆体快取完毕，我们又会面临单点故障的问题，因此，我们必须将它变成一个丛集。简单的做法，是给他增加一个slave作为备份机器。但是，如果请求量真的很多，我们发现cache命中率不高，需要更多的机器记忆体呢？因此，我们更建议将它配置成一个丛集。例如，类似redis cluster。

Redis cluster丛集内的Redis互为多组主从，同时每个节点都可以接受请求，在拓展丛集的时候比较方便。客户端可以向任意一个节点发送请求，如果是它的“负责”的内容，则直接返回内容。否则，查询实际负责Redis节点，然后将地址告知客户端，客户端重新请求。

对于使用快取服务的客户端来说，这一切是透明的。

记忆体快取服务在切换的时候，是有一定风险的。从A丛集切换到B丛集的过程中，必须保证B丛集提前做好“预热”（B丛集的记忆体中的热点资料，应该尽量与A丛集相同，否则，切换的一瞬间大量请求内容，在B丛集的记忆体快取中查询不到，流量直接冲击后端的资料库服务，很可能导致资料库宕机）。

4. 减少资料库“写”

上面的机制，都实现减少资料库的“读”的操作，但是，写的操作也是一个大的压力。写的操作，虽然无法减少，但是可以通过合并请求，来起到减轻压力的效果。这个时候，我们就需要在记忆体快取丛集和资料库丛集之间，建立一个修改同步机制。

先将修改请求生效在cache中，让外界查询显示正常，然后将这些sql修改放入到一个伫列中储存起来，伫列满或者每隔一段时间，合并为一个请求到资料库中更新资料库。

除了上述通过改变系统架构的方式提升写的效能外，MySQL本身也可以通过配置引数innodb_flush_log_at_trx_mit来调整写入磁碟的策略。如果机器成本允许，从硬体层面解决问题，可以选择老一点的RAID（Redundant Arrays of independent Disks，磁碟列阵）或者比较新的SSD（Solid State Drives，固态硬碟）。

5. NoSQL储存

不管资料库的读还是写，当流量再进一步上涨，终会达到“人力有穷时”的场景。继续加机器的成本比较高，并且不一定可以真正解决问题的时候。这个时候，部分核心资料，就可以考虑使用NoSQL的资料库。NoSQL储存，大部分都是采用key-value的方式，这里比较推荐使用上面介绍过Redis，Redis本身是一个记忆体cache，同时也可以当做一个储存来使用，让它直接将资料落地到磁碟。

这样的话，我们就将资料库中某些被频繁读写的资料，分离出来，放在我们新搭建的Redis储存丛集中，又进一步减轻原来MySQL资料库的压力，同时因为Redis本身是个记忆体级别的Cache，读写的效能都会大幅度提升。

国内一线网际网路公司，架构上采用的解决方案很多是类似于上述方案，不过，使用的cache服务却不一定是Redis，他们会有更丰富的其他选择，甚至根据自身业务特点开发出自己的NoSQL服务。

6. 空节点查询问题

当我们搭建完前面所说的全部服务，认为Web系统已经很强的时候。我们还是那句话，新的问题还是会来的。空节点查询，是指那些资料库中根本不存在的资料请求。例如，我请求查询一个不存在人员资讯，系统会从各级快取逐级查询，最后查到到资料库本身，然后才得出查询不到的结论，返回给前端。因为各级cache对它无效，这个请求是非常消耗系统资源的，而如果大量的空节点查询，是可以冲击到系统服务的。

在我曾经的工作经历中，曾深受其害。因此，为了维护Web系统的稳定性，设计适当的空节点过滤机制，非常有必要。

我们当时采用的方式，就是设计一张简单的记录对映表。将存在的记录储存起来，放入到一台记忆体cache中，这样的话，如果还有空节点查询，则在快取这一层就被阻挡了。

异地部署（地理分散式）

完成了上述架构建设之后，我们的系统是否就已经足够强大了呢？答案当然是否定的哈，优化是无极限的。Web系统虽然表面上看，似乎比较强大了，但是给予使用者的体验却不一定是最好的。因为东北的同学，访问深圳的一个网站服务，他还是会感到一些网路距离上的慢。这个时候，我们就需要做异地部署，让Web系统离使用者更近。

一、 核心集中与节点分散

有玩过大型网游的同学都会知道，网游是有很多个区的，一般都是按照地域来分，例如广东专区，北京专区。如果一个在广东的玩家，去北京专区玩，那么他会感觉明显比在广东专区卡。实际上，这些大区的名称就已经说明了，它的伺服器所在地，所以，广东的玩家去连线地处北京的伺服器，网路当然会比较慢。

当一个系统和服务足够大的时候，就必须开始考虑异地部署的问题了。让你的服务，尽可能离使用者更近。我们前面已经提到了Web的静态资源，可以存放在CDN上，然后通过DNS/GSLB的方式，让静态资源的分散“全国各地”。但是，CDN只解决的静态资源的问题，没有解决后端庞大的系统服务还只集中在某个固定城市的问题。

这个时候，异地部署就开始了。异地部署一般遵循：核心集中，节点分散。

·核心集中：实际部署过程中，总有一部分的资料和服务存在不可部署多套，或者部署多套成本巨大。而对于这些服务和资料，就仍然维持一套，而部署地点选择一个地域比较中心的地方，通过网路内部专线来和各个节点通讯。

·节点分散：将一些服务部署为多套，分布在各个城市节点，让使用者请求尽可能选择近的节点访问服务。

例如，我们选择在上海部署为核心节点，北京，深圳，武汉，上海为分散节点（上海自己本身也是一个分散节点）。我们的服务架构如图：

需要补充一下的是，上图中上海节点和核心节点是同处于一个机房的，其他分散节点各自独立机房。

国内有很多大型网游，都是大致遵循上述架构。它们会把资料量不大的使用者核心账号等放在核心节点，而大部分的网游资料，例如装备、任务等资料和服务放在地区节点里。当然，核心节点和地域节点之间，也有快取机制。

二、 节点容灾和过载保护

节点容灾是指，某个节点如果发生故障时，我们需要建立一个机制去保证服务仍然可用。毫无疑问，这里比较常见的容灾方式，是切换到附近城市节点。假如系统的天津节点发生故障，那么我们就将网路流量切换到附近的北京节点上。考虑到负载均衡，可能需要同时将流量切换到附近的几个地域节点。另一方面，核心节点自身也是需要自己做好容灾和备份的，核心节点一旦故障，就会影响全国服务。

过载保护，指的是一个节点已经达到最大容量，无法继续接接受更多请求了，系统必须有一个保护的机制。一个服务已经满负载，还继续接受新的请求，结果很可能就是宕机，影响整个节点的服务，为了至少保障大部分使用者的正常使用，过载保护是必要的。

解决过载保护，一般2个方向：

·拒绝服务，检测到满负载之后，就不再接受新的连线请求。例如网游登入中的排队。

·分流到其他节点。这种的话，系统实现更为复杂，又涉及到负载均衡的问题。

小结

Web系统会随着访问规模的增长，渐渐地从1台伺服器可以满足需求，一直成长为“庞然大物”的大丛集。而这个Web系统变大的过程，实际上就是我们解决问题的过程。在不同的阶段，解决不同的问题，而新的问题又诞生在旧的解决方案之上。

系统的优化是没有极限的，软体和系统架构也一直在快速发展，新的方案解决了老的问题，同时也带来新的挑战。

js怎么处理高并发

JS不同于Java, C#等语言.

使用Java编写的应用, 可以程式设计开启多执行绪处理高并发业务场景.

而JS处理高并发场景使用的是 : 伫列机制, 事件机制

因为JS在网页中执行时单执行绪模式, 在服务端nodejs中执行是单程序模式, 都无法像JAVA那样开启多个执行绪或者协程来处理高并发任务.

但是这不意味着JS无法处理高并发任务, 单程序的程式在使用伫列机制(就是待处理任务一个个排队)处理高并发场景也仍然是非常高效的, 而且避免了开启多个执行绪的记忆体消耗.但是其缺点也是很明显的 : 不适合处理单个任务计算非常复杂消耗时间的场景.

举个栗子 :

想象一下生活中排队的场景, 如果前面有一个人磨磨唧唧, 半天赖在视窗各种问问题, 后面的人都要排队等著, 很着急.

而如果开启多个视窗(多执行绪/程序), 那些难缠的人分到一个视窗, 速度快的人分到一个视窗, 效率就大大提升了.

高并发读取档案流 php怎么处理

去看看《php核心技术与最佳实践》是十一章还是十二章有点忘了，里面有一个小例子

是用写档案的方式实现一个小资料库的，

大体来说就是用移动指标的方式来读取档案，还不是把个档案读取出来(file_get_contents)去看这本书吧

php处理高并发用什么框架好吧

框架帮不了你js取系统时间有延迟，你得用好mysql资料库和redis、memcache这一类的快取

php高并发的curl怎么实现和处理，求办法

联络下运营商

一般的简讯都有简讯通道，大量传送时，积累到一定条数时才统一发送出去。

nginx为什么可以处理高并发问题

ng占用记忆体少属于多程序处理 ap 属于吃记忆体一个程序就2M多相差一倍的在并发上海市ng比较厉害 前提你要好好的配置

商城如何处理高并发，怎么使用memcache做快取

其实相于应用程式资料库间块记忆体区域些高频访问资料放其避免每都请求资料库至于所用memcachedredis自程式hashmap块区域共享且容易管理丛集环境更便使用

些做直接资料序列化存redisstring或memcached些其做利用redis特资料结构储存些关系例用sorted set存排行榜string用计数set做些倒排索引、使用者友关系类我觉些都称快取

MS SQL 储存过程 高并发，该怎么处理

1.事务不要大，太大一方面占用资源多，另外对资源加锁时间也长

2.合理的索引，使事务快速完成

3.表的栏位和记录不要涉及多个业务，不同的业务使用不同的表

4.优化程式设计，将大的业务分解

简单的说：就是使并发操作对资源的使用降低到最小

如何在伺服器端处理高并发

不是几台伺服器能解决的，他们有数量很庞大的分散式伺服器丛集，分布在全国各地，这样就能处理全国各地的大量高并发聊天需求了