PHP开发：使用PHP抓取百万知乎用户以及知识点札记

在PHP中使用redis示例：

<?php 
    $redis = new Redis(); 
    $redis->connect('127.0.0.1', '6379'); 
    $redis->set('tmp', 'value'); 
    if ($redis->exists('tmp')) 
    { 
        echo $redis->get('tmp') . "n"; 
    } 

 使用PHP的pcntl扩展实现多进程

改用了curl_multi函数实现多线程抓取用户信息之后，程序运行了一个晚上，最终得到的数据有10W。还不能达到自己的理想目标，于是便继续优化，后来发现php里面有一个pcntl扩展可以实现多进程编程。下面是多编程编程的示例：

//PHP多进程demo 
    //fork10个进程 
    for ($i = 0; $i < 10; $i++) { 
        $pid = pcntl_fork(); 
        if ($pid == -1) { 
            echo "Could not fork!n"; 
            exit(1); 
        } 
        if (!$pid) { 
            echo "child process $i runningn"; 
            //子进程执行完毕之后就退出，以免继续fork出新的子进程 
            exit($i); 
        } 
    } 
     
    //等待子进程执行完毕，避免出现僵尸进程 
    while (pcntl_waitpid(0, $status) != -1) { 
        $status = pcntl_wexitstatus($status); 
        echo "Child $status completedn"; 
    } 

 在Linux下查看系统的cpu信息

实现了多进程编程之后，就想着多开几条进程不断地抓取用户的数据，后来开了8调进程跑了一个晚上后发现只能拿到20W的数据，没有多大的提升。于是查阅资料发现，根据系统优化的CPU性能调优，程序的最大进程数不能随便给的，要根据CPU的核数和来给，最大进程数最好是cpu核数的2倍。因此需要查看cpu的信息来看看cpu的核数。在Linux下查看cpu的信息的命令：

cat /proc/cpuinfo

其中，model name表示cpu类型信息，cpu cores表示cpu核数。这里的核数是1，因为是在虚拟机下运行，分配到的cpu核数比较少，因此只能开2条进程。最终的结果是，用了一个周末就抓取了110万的用户数据。

多进程编程中Redis和MySQL连接问题

在多进程条件下，程序运行了一段时间后，发现数据不能插入到数据库，会报mysql too many connections的错误，redis也是如此。

下面这段代码会执行失败：

<?php 
     for ($i = 0; $i < 10; $i++) { 
          $pid = pcntl_fork(); 
          if ($pid == -1) { 
               echo "Could not fork!n"; 
               exit(1); 
          } 
          if (!$pid) { 
               $redis = PRedis::getInstance(); 
               // do something      
               exit; 
          } 
     } 

（编辑：开发网_开封站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!