http://www.jackxiang.com/index.php zh-cn http://www.jackxiang.com/post/10747/ jack <xdy108@126.com> Tue, 03 Nov 2020 06:30:48 +0000 http://www.jackxiang.com/post/10747/ 怎么办：实际上Swoole提供的System::exec()行为上与PHP的shell_exec是完全一致的，我们写一个shell_exec的同步阻塞版本，执行后发现同样拿不到标准错误流输出的内容，会被直接打印到屏幕。
答案：  使用proc_open+hook实现。
现象：
<?php $result = shell_exec('unknown'); var_dump($result);

==================================================================
#php tt.php
PHP Warning:  shell_exec() has been disabled for security reasons in /data/www/testswoole/tt.php on line 2
NULL

估计整成错误输出了，于是用：
php tt.php >/dev/null 2>&1

果然，怎么办？加入管道，将此错误指向新的文件描述符。



前置：打开php.ini里面的proc_open禁用函数。
#cat t.php
<?php Swoole\Runtime::setHookFlags(SWOOLE_HOOK_ALL); Swoole\Coroutine\run(function () {     $descriptorspec = array(         0 => array("pipe", "r"),         1 => array("pipe", "w"),         2 => array("pipe", "w"),     );     $process = proc_open('unknown', $descriptorspec, $pipes);     var_dump($pipes);     var_dump(fread($pipes[2], 8192));     $return_value = proc_close($process);     echo "command returned $return_value\n"; });

#php t.php
array(3) {
  [0]=>
  resource(4) of type (stream)
  [1]=>
  resource(5) of type (stream)
  [2]=>
  resource(6) of type (stream)
}
string(31) "sh: unknown: command not found
"
command returned 32512

代码来自rango：https://mp.weixin.qq.com/s/z7SPy-tV3hsQqLXZ-tKlZw ]]> http://www.jackxiang.com/post/10348/ jack <xdy108@126.com> Wed, 13 Nov 2019 08:10:14 +0000 http://www.jackxiang.com/post/10348/
cat  process.croutine.php
<?php $proc1 = new \swoole_process(function (swoole_process $proc) {     $socket = $proc->exportSocket();     echo $socket->recv();     $socket->send("hello proc2\n");     echo "proc1 stop\n"; }, false, 1, true); assert($proc1->start()); $proc2 = new \swoole_process(function (swoole_process $proc) use ($proc1) {     Co::sleep(0.01);     $socket = $proc1->exportSocket();     $socket->send("hello proc1\n");     echo $socket->recv();     echo "proc2 stop\n"; }, false, 0, true); assert($proc2->start()); swoole_process::wait(true); swoole_process::wait(true);

php -d "zend.assertions=1"  process.croutine.php
hello proc1
proc1 stop
hello proc2
proc2 stop

来自：https://wiki.swoole.com/wiki/page/1061.html ]]> http://www.jackxiang.com/post/10292/ jack <xdy108@126.com> Tue, 17 Sep 2019 03:18:34 +0000 http://www.jackxiang.com/post/10292/ <?php $server = new swoole_server("127.0.0.1", 6666,SWOOLE_PROCESS);  #Process 时千万不要抛出错误，容易出现CLOSE_WAIT,专门有一个主进程的线程在处理连接，不会存在backlog塞满。 #$server = new swoole_server("127.0.0.1", 6666,SWOOLE_BASE);        #都是Worker进程去accept，会发Fin包，服务器端不会进入CLOSE_WAIT，但是backlog容易塞满,connfd = accept( listenfd, (struct sockaddr *)&clientaddr, &clilen ); $server->on('connect', function ($server, $fd){     echo "connection open: {$fd}\n"; }); $server->on('receive', function ($server, $fd, $reactor_id, $data) {     $server->send($fd, "Swoole: {$data}");     $server->close($fd); }); $server->on('close', function ($server, $fd) {#Sleep在里面后，Sleep函数的出现无法调底层的Close方法，导致出现服务端一直处于CLOSE_WAIT，出现连接状态，客户端在FIN_WAIT2状态。     echo "connection close: {$fd}\n";     #die(); # 进程通出     sleep(1000); }); $server->start();

ACCEPT队列（全连接队列）：由listen()函数的第二个参数 backlog 指定，内核硬限制由 net.core.somaxconn 限制，即实际的值由min(backlog,somaxconn) 来决定。表示已完成连接的队列，等待被 accept系统调用取走。

php server.php
connection open: 1
[2019-09-17 06:47:18 *9116.0]   NOTICE  swFactoryProcess_finish (ERRNO 1004): send 25 byte failed, because connection[fd=1] is closed
connection close: 1

client.php
<?php $client = new swoole_client(SWOOLE_SOCK_TCP, SWOOLE_SOCK_SYNC); var_dump($client->connect('127.0.0.1',6666)); $client->send("date to kill conn"); $client->close(); sleep(1000);

netstat -lantp|grep 6666          
tcp        0      0 127.0.0.1:48344         127.0.0.1:6666          FIN_WAIT2   -      #客户端进入  FIN_WAIT2 状态            
tcp        0      0 127.0.0.1:6666          127.0.0.1:48344         CLOSE_WAIT  9110/php     #服务器端进入CLOSE_WAIT


https://blog.csdn.net/Tanswer_/article/details/78375317


SYN队列（半连接队列）：由/proc/sys/net/ipv4/tcp_max_syn_backlog指定，表示处于 SYN_RECV 状态的队列
ACCEPT队列（全连接队列）：由listen()函数的第二个参数 backlog 指定，内核硬限制由 net.core.somaxconn 限制，即实际的值由min(backlog,somaxconn) 来决定。表示已完成连接的队列，等待被 accept系统调用取走。
原文链接：https://blog.csdn.net/Tanswer_/article/details/78375317



cat /proc/sys/net/ipv4/tcp_max_syn_backlog
65535
cat /proc/sys/net/core/somaxconn
65535 ]]> http://www.jackxiang.com/post/10276/ jack <xdy108@126.com> Fri, 30 Aug 2019 08:24:43 +0000 http://www.jackxiang.com/post/10276/ Channel->pop：当队列为空时自动yield，等待其他协程生产数据。消费数据后，队列可写入新的数据，自动按顺序唤醒一个生产者协程。
Coroutine\Channel使用本地内存，不同的进程之间内存是隔离的。只能在同一进程的不同协程内进行push和pop操作
Coroutine\Channel在2.0.13或更高版本可用

作者：逸宸a
链接：https://www.jianshu.com/p/ed71cb92050d
来源：简书
简书著作权归作者所有，任何形式的转载都请联系作者获得授权并注明出处。

cat pooldemo.php <?php use \Swoole\Coroutine\Channel; $chan = new Channel(); go(function () use ($chan) {     echo "我是第一个协程，等待3秒内有push就执行返回" . PHP_EOL;     $p = $chan->pop(2);#1     echo "pop返回结果" . PHP_EOL;     var_dump($p); }); go(function () use ($chan) {     co::sleep(1);#2     $chan->push(1); }); echo "main" . PHP_EOL; 1处代码会首先执行，然后遇到pop(),因为channel还是空，会等待2s。此时协程会让出cpu,跳到第二个协程执行，然后#2出睡眠1秒，push变量1进去channel后返回#1处继续执行，成功取车通过中刚push的值1.运行结果为： 我是第一个协程，等待3秒内有push就执行返回 main pop返回结果 /data/www/xiangdong.coro.swoole.com.cn/pooldemo.php:8: int(1) 设置超过2秒的情况： 如果把#2处的睡眠时间换成大于pop()的等待时间，结果是：#php pooldemo.php 我是第一个协程，等待3秒内有push就执行返回 main pop返回结果 /data/www/xiangdong.coro.swoole.com.cn/pooldemo.php:8: bool(false)

来自：https://www.jianshu.com/p/ed71cb92050d
https://www.jianshu.com/p/ed71cb92050d ]]> http://www.jackxiang.com/post/10250/ jack <xdy108@126.com> Mon, 22 Jul 2019 09:03:23 +0000 http://www.jackxiang.com/post/10250/
实践中发现swoole去获取微信授权，在单队列网卡和多队列（2个物理核心，8逻辑CPU）的一个情况：
单队列：
8CPU8G：1000并发。
两队列：
8CPU8G：10000并发1W的TPS。

#ls /sys/class/net/enp0s3/queues/
rx-0  tx-0

Top的Cache有点多：
7111104 buff/cache

队列来自：https://jackxiang.com/post/10079/


技术：
也就是说三次访问以最长那个，在一些微信请求时以PHP-FPM进行阻塞时，80进程也就400个请求，用这个swoole的请求也就不存在这个问题，可以实现同时发出curl请求，而不是卡在那儿。

也即使是Mysql的访问，用协程，如果一次卡20秒，那么影响也就那一个请求，而不是所有的后面请求就排队等待，这也就是它的优势。

其实现方式，应该是用socket的句柄结合Epoll的事件驱动经过reactor的挂起和唤醒，用到系统的内核进行通知，性能是很不错的。也就是说：
1）必须开端口。
2）那个句柄数要设置大一些才行，一般设置个10万左右。
3）协程对内存的要求较高，内存大一些好。

系统三大杀手，一是内存拷贝（PHP内核支持写时拷贝）、二是系统调用、进程线程切换，而协程经过测试PHP切换一次150纳秒，而Go得160纳秒。

========================================================================================
#cat  curl.php  

   <?php $server = new Swoole\Http\Server('127.0.0.1',8000); $server->on("Request",function($req,$resp){     $chan = new Chan();     go(function () use ($chan){          $c = new Co\Http\Client("www.baidu.com",443,true);          $c->get('/index.php');          $chan->push($c->body);     });     go(function () use ($chan){          $c = new Co\Http\Client("www.taobao.com",443,true);          $c->get('/index.php');          $chan->push($c->body);     });     go(function () use ($chan){          $c = new Co\Http\Client("www.sina.com.cn",443,true);          $c->get('/index.php');          $chan->push($c->body);     });     for($i = 0; $i < 3;$i++){         $resp->write($chan->pop());     }     $resp->end(); }); $server->start();

php curl.php
PHP Fatal error:  Swoole\Coroutine\Http\Client::__construct(): need to use `--enable-openssl` to support ssl when compiling swoole. in /data/www/coding.jackxiang.com/curl.php on line 6
[2019-07-22 16:53:17 $4830.0]   WARNING swManager_check_exit_status: worker#0 abnormal exit, status=255, signal=0

curl 127.0.0.1:8000
curl: (52) Empty reply from server

重新编译：
phpize ./configure --with-php-config=/usr/local/php/bin/php-config --enable-coroutine --enable-openssl   make && make install


configure: WARNING: unrecognized options: --enable-coroutine ，最新版本好像把这个给去了。

/usr/local/src/swoole-src-4.4.1/include/swoole.h:591:25: fatal error: openssl/ssl.h: No such file or directory
#include <openssl/ssl.h>

还是不行，参考了一下：
http://www.21yunwei.com/archives/5196

重新phpize再来一次就好了，估计是和phpize生成的configure有关吧。

mv  /usr/local/php/lib/php/extensions/no-debug-non-zts-20170718/swoole.so /usr/local/php/ext/.
mv: overwrite ‘/usr/local/php/ext/./swoole.so’? y
启动服务端：
#php curl.php
strace -ff -o /tmp/s.txt -tt php curl.php

连接测试：
curl 127.0.0.1:8000

得到三个网站的返回。


]]> http://www.jackxiang.com/post/10156/ jack <xdy108@126.com> Tue, 09 Apr 2019 02:21:47 +0000 http://www.jackxiang.com/post/10156/
源起
最近基于swoole的一个mvc开发框架做了一个项目，完成之后对其中一个接口例行做了一次压测，本机上得到qps是3600，由于接口功能比较简单，所以又花了点时间用beego和spring boot实现了相同的功能，也压测了一下，最终对比如下：

swoole:  3600qps
beego:   2200 qps
spring:   600qps

（ps: 无意比较优劣，应该是用beego和spring boot的姿势不对）

swoole的结果符合预期，后来经过一翻折腾(加了一些逻辑，完善了一些底层框架代码)，再一压这个接口，qps下降到了2300

真是一顿操作猛如虎，性能下降35%啊

优化
做为一个有追求的phper，这是不能忍的，必需找到原因并解决之，但光喊口号是不行的，必需有方法，一般我们会通过几种方式分析：
日志法：通过各种日志，查看耗时，找出相应的问题，但这种方法有几个缺点：
粒度太粗，不好控制
侵入性太强，需要人工打点
性能指标不够，只能分析出大致的耗时，但不能分区i/o, cpu时间乖
xdebug：是我认为目前最牛逼的性能分析工具，可以无侵入式的详细的记录完整的调用链，唯一的遗憾是与swoole不兼容
xhprof: facebook出口的一款性能分析工具，简单易用，问题是：后期不维护了，对现在的php版本以及swoole支持度都不好
第三方的apm工具: 不可控，也不如前面2位，对swoole支持也不好
除了打日志，好像在swoole下陷入的僵局了，一翻寻觅，发现了一个网站：https://tideways.com/，维护并持续更新xhprof，使之能支持php7，又一翻折腾，发现也支持在swoole下跑

安装 tideways_xhprof

github: https://github.com/shenzhe/php-xhprof-extension
clone代码到本地
执行：
phpize
./configure
make
make install

标准的安装过程，产生tideways_xhprof.so，加入到php.ini中

判断有没有安装成功：
php -m |grep xhprof
输出
tideways_xhprof, 表示安装成功

使用 tideways_xhprof
也比较简单
在onRequest回调最开始一行输入：
tideways_xhprof_enable(TIDEWAYS_XHPROF_FLAGS_MEMORY
  | TIDEWAYS_XHPROF_FLAGS_CPU);
表示开启分析，

中间执行你的业务逻辑

在最后一行输入
file_put_contents(
    '/tmp/xhprof/' . uniqid() . '.msg-api.xhprof',
    serialize(tideways_xhprof_disable())
);
把分析的结果存入到文件中，以待分析
其中：
'/tmp/xhprof/' . uniqid() . '.msg-api.xhprof'
是最终分析文件的地址，可自行修改

然后执行你的接口，最后会在 /tmp/xhprof 文件夹下看到如下的文件：


这些文件记录的就是这个接口整体的分析数据

找出最新的文件，用vim打开一看：


肉眼肯定是没法看，这就需要借助可视化的工具了：



可视化 tideways_xhprof

由于输出的文件格式和之前的xhprof完全一样，所以我这边直接借助了原本xhprof提供的工具

github：https://github.com/phacility/xhprof



最终上面的分析文件可视化后如下：
https://mmbiz.qpic.cn/mmbiz_png/LHDiahSVnXhs4fa6cxh7fpapG6H17PNhg6IlUhPtFdfd2Owb70WRtt31Ecg4gRTJODxXgt4xjeSRtOqerNcVvoA/640?wx_fmt=png&tp=webp&wxfrom=5&wx_lazy=1&wx_co=1

下一篇，将详细介绍如何安装xhprof可视化工具，以及我们要看什么指标，怎么通过这些指标来指导来做优化，并最终提升的程序的性能



查看原文，可获取我修改版的tideways_xhprof，增加了两个方法，以支持RINIT和RSHUTDOWN中做的一些事情：

tideways_xhprof_swoole_init();

tideways_xhprof_swoole_end();
这样可以更好的支持swoole,  readme里有介绍使用方法

原文：https://mp.weixin.qq.com/s/uekLWuXz5i2OBDsnYhwShw ]]> http://www.jackxiang.com/post/10139/ jack <xdy108@126.com> Sat, 30 Mar 2019 07:30:22 +0000 http://www.jackxiang.com/post/10139/

可以
混合协议通讯

手册：
https://github.com/lizhichao/one-demo/blob/master/README.md#%E5%90%84%E7%A7%8D%E6%B7%B7%E5%90%88%E5%8D%8F%E8%AE%AE%E4%B9%8B%E9%97%B4%E7%9B%B8%E4%BA%92%E9%80%9A%E8%AE%AF%E5%88%97%E5%AD%90

代码：
https://github.com/lizhichao/one-demo/tree/master/App/Test/MixPro


混合协议配置文件：
https://github.com/lizhichao/one-demo/blob/master/App/Config/test_all.php

$this->global_data->bindId($request->fd, $name); #这个bindld是在哪儿？
https://github.com/lizhichao/one-demo/blob/master/App/GlobalData/Data.php ]]> http://www.jackxiang.com/post/10040/ jack <xdy108@126.com> Wed, 09 Jan 2019 08:27:31 +0000 http://www.jackxiang.com/post/10040/ https://jackxiang.com/post/10700/

想打包一个swoole最新版，出现 问题如下：
cc -I. -I/root/rpmbuild/BUILD/swoole-src-4.2.12 -DPHP_ATOM_INC -I/root/rpmbuild/BUILD/swoole-src-4.2.12/include -I/root/rpmbuild/BUILD/swoole-src-4.2.12/main -I/root/rpmbuild/BUILD/swoole-src-4.2.12 -I/usr/local/php/include/php -I/usr/local/php/include/php/main -I/usr/local/php/include/php/TSRM -I/usr/local/php/include/php/Zend -I/usr/local/php/include/php/ext -I/usr/local/php/include/php/ext/date/lib -I/root/rpmbuild/BUILD/swoole-src-4.2.12 -I/root/rpmbuild/BUILD/swoole-src-4.2.12/include -I/root/rpmbuild/BUILD/swoole-src-4.2.12/thirdparty/hiredis -DHAVE_CONFIG_H -Wall -pthread -g -O2 -c /root/rpmbuild/BUILD/swoole-src-4.2.12/src/core/array.c  -fPIC -DPIC -o src/core/.libs/array.o In file included from /root/rpmbuild/BUILD/swoole-src-4.2.12/include/swoole.h:174,                  from /root/rpmbuild/BUILD/swoole-src-4.2.12/src/core/array.c:17: ./swoole_config.h:22:2: error: #error "GCC 4.8 or later required." make: *** [src/core/array.lo] Error 1

解决办法：
安装最新版本的swoole 提示

pecl install swolle
...
GCC 4.8 or later required.
首先想到的时候yum更新gcc

yum install gcc
Package gcc-4.4.7-23.el6.x86_64 already installed and latest version
Nothing to do
已经是最新版本了，怎么办，只有找其它源了

curl -Lks http://www.hop5.in/yum/el6/hop5.repo > /etc/yum.repos.d/hop5.repo
yum install gcc gcc-g++
安装成功

gcc -v
gcc version 4.8.2 20131212 (Red Hat 4.8.2-8) (GCC)


来自：https://my.oschina.net/2688/blog/2933883 ]]> http://www.jackxiang.com/post/9712/ jack <xdy108@126.com> Wed, 11 Apr 2018 06:41:48 +0000 http://www.jackxiang.com/post/9712/ Swoole-2.1.2 进程池模块的使用：http://mp.weixin.qq.com/s?__biz=MzI0MjEwMDMzNQ==&mid=2652517441&idx=1&sn=06909bb58cc4c0f3ade589a005ed6e84&chksm=f2efe541c5986c5741aa240e9a4daaab47c542b325a0042c4fbd5094ded48221035d90003fe1&mpshare=1&scene=1&srcid=04119CY2J0y8Az2isPm9UKyL#rd


redis-cli
127.0.0.1:6379> del list1 list2
(integer) 0
127.0.0.1:6379> rpush list1 a b c
(integer) 3
127.0.0.1:6379> brpop list1 list2 0
1) "list1"
2) "c"



brpop的效果吧，首先模拟一个消息的“生产者”
<?php           $r = new Redis();           $r->connect("127.0.0.1", 6379);              $r->lpush("msg","Hello ciaos");           $r->lpush("msg","Hello penjin");   ?>   然后模拟一个消息的消费者，而redis-server则充当中间的消息队列（我这里当然用的是redis的list类型） [codes=php] <?php           $r = new Redis();           $r->connect("127.0.0.1", 6379);              $res = $r->brpop("msg",0);           var_dump($res);   ?>  
很简单，brpop的意思是在消息队列尾阻塞地取出消息，参数0表示一直阻塞下去直到有消息在msg这个list中，我们可以指定一个数字代表过期时间。首先运行消费者，可以看到程序阻塞了，然后运行“生产者”，则消费者输出了消息如下：
php consumer.php  
array(2) {  
  [0]=>  
  string(3) "msg"  
  [1]=>  
  string(11) "Hello ciaos"  
}  

lpush操作和brpop操作也保证了队列的先进先出，如果用blpop则会看到输出的是"Hello penjin"(第二条消息)。
其中brpop还可以指定监测多个消息队列，直到有任意一个消息队列中有待处理消息时阻塞返回，感觉还是比较简单易用的。redis的list消息队列没有优先级的概念，所有消息都只能先进先出或者后进先出，要实现优先级，可以考虑使用set数据结构。 ]]> http://www.jackxiang.com/post/9381/ jack <xdy108@126.com> Wed, 26 Jul 2017 06:37:58 +0000 http://www.jackxiang.com/post/9381/ 现实分析：
此文里提到的Interix 和前几个月某赞从Swoole2.0仓库默默拉出一个分支，“美其名曰”因Swoole文档太烂边吐槽Swoole，一边火速以公司研发之名“自立门户”之既成事实，Swoole顾问试问那么差的文档某赞不积极贡献是咋学会的呢，作出了自建社区的举动和行动？显然背后有不可名状的目的，首先，某赞没尊重代码作者、辱没开源意识形态、对回馈开源的态度极其简单粗暴乃至蛮横。其次，某赞违背了自由软件开发的工程经济学。借助其公司团队根据自己的产品和服务，从Swoole的仓库打出分支，并尝试发展自己的协作社区，从而使这家公司获得了很多的益处（技术影响力/品牌形象）进而违背Apache2宽松协议。最后，某赞的这种行为和当年的Interrix一样的情形，给予上游开源的Swoole项目，自己搞了一个分支，这就意味着某赞无法获得Swoole主干的新功能和新的Bug修复，自己搞的所谓更高效的时间轮不开放变闭源了。鉴于此，Rango兄弟最近修改Swoole发行协议为PHP协议，与Swoole的上游PHP的协议保持高度一致，其目的就是禁止商业公司fork分支拿Swoole做宣传，保护开源社区不被商业公司利用。Swoole顾问希望某赞不要在开源的“邪路”上越走越远，积极拥抱正回馈和贡献服务之态度修正航道回开源的主航道上来，进一步促进自由软件开发的工程经济学，EOF


]]>