其他分享
首页 > 其他分享> > hyperf 处理百万数据单元测试案例

hyperf 处理百万数据单元测试案例

作者:互联网

场景:有一批数据没有推到中间件,需要我这里搞一个脚本,大约有600万数据。我开始比较蠢的方法是将文件拆分,然后一条一条读。一条一条请求,速度很慢,如果因为某些因素中断程序,虽然有日志,但是还是要将已经跑过的数据去除,很麻烦
后来领导说放redis,然后用hyperf协程搞。
为啥这样搞,redis保证数据不丢。开协程增加并发
废话不多说,上代码

/**
     * composer test -- --filter=testCmshzSignHandle
     */
    public function testCmshzSignHandle()
    {
   
        try {
   
            $logFiles = '/opt/www/test/Cases/text.txt'

标签:一条,--,redis,testCmshzSignHandle,单元测试,hyperf,test,百万
来源: https://blog.csdn.net/jerryvd/article/details/119412315