系统相关
首页 > 系统相关> > c – 子进程的异步双向IO重定向

c – 子进程的异步双向IO重定向

作者:互联网

我试图找出子进程的异步双向IO重定向的通用方法.基本上,我想生成一个等待输入的交互式子进程,应该回读任何输出.我尝试通过生成一个新的python进程来试验python.subprocess.试图实现的基本简化示例如下

process = subprocess.Popen(['/usr/bin/python'],shell=False,stdin=subprocess.PIPE, stdout=subprocess.PIPE)
while True:
    output = process.stdout.readline()
    print output
    input = sys.stdin.readline()
    process.stdin.write(input)

执行上面的代码片段只是挂起而没有任何输出.我尝试使用/usr/bash和/usr/bin/irb运行,但结果完全相同.我的猜测是,缓冲的IO根本不适合IO重定向.

所以我的问题是,在不刷新缓冲区或退出子进程的情况下读取子进程的输出是否可行?

following post提到了IPC插座,但为此我必须改变儿童过程,这可能是不可行的.有没有其他方法可以实现它?

注意***我的最终目标是创建一个可以与远程Web客户端交互的服务器REPL过程.虽然给出的示例是Python,但我的最终目标是通过通用包装器包装所有可用的REPL.

在答案的一些建议的帮助下,我想出了以下内容

#!/usr/bin/python
import subprocess, os, select
proc = subprocess.Popen(['/usr/bin/python'],shell=False,stdin=subprocess.PIPE, stdout=subprocess.PIPE,stderr=subprocess.PIPE)
for i in xrange(0,5):
    inputready, outputready, exceptready = select.select([proc.stdout, proc.stderr],[proc.stdout, proc.stderr],[proc.stdout, proc.stderr],0)
    if not inputready: print "No Data",
    print inputready, outputready, exceptready
    for s in inputready: print s.fileno(),s.readline()
proc.terminate()
print "After Terminating"
for i in xrange(0,5):
    inputready, outputready, exceptready = select.select([proc.stdout, proc.stderr],[proc.stdout, proc.stderr],[proc.stdout, proc.stderr],0)
    if not inputready: print "No Data",
    print inputready, outputready, exceptready
    for s in inputready: print s.fileno(),s.readline() 

现在,虽然程序没有陷入僵局,但不幸的是没有输出.运行上面的代码我得到了

No Data [] [] []
No Data [] [] []
No Data [] [] []
No Data [] [] []
No Data [] [] []
After Terminating
No Data [] [] []
No Data [] [] []
No Data [] [] []
No Data [] [] []
No Data [] [] []

仅供参考,
像运行python一样

/usr/bin/python 2>&1|tee test.out

似乎工作得很好.

我还想出了一个’C’代码.但结果并没有什么不同.

int kbhit() {
    struct timeval tv;
    fd_set fds;
    tv.tv_sec = tv.tv_usec = 0;
    FD_ZERO(&fds);
    FD_SET(STDIN_FILENO, &fds);
    select(STDIN_FILENO+1, &fds, NULL, NULL, &tv);
    return FD_ISSET(STDIN_FILENO, &fds);
}
void receive(char *str) {
    char ch;
    fprintf(stderr,"IN1\n");
    if(!kbhit()) return;
    fprintf(stderr,"IN2\n");
    fprintf(stderr,"%d\n",kbhit());
    for(;kbhit() && (ch=fgetc(stdin))!=EOF;) {
        fprintf(stderr,"%c,%d",ch,kbhit());
    }
    fprintf(stderr,"Done\n");
}
int main(){
    pid_t pid;
    int rv, pipeP2C[2],pipeC2P[2];  
    pipe(pipeP2C);
    pipe(pipeC2P);
    pid=fork();
    if(pid){
        dup2(pipeP2C[1],1); /* Replace stdout with out side of the pipe */
        close(pipeP2C[0]);  /* Close unused side of pipe (in side) */
        dup2(pipeC2P[0],0); /* Replace stdin with in side of the pipe */
        close(pipeC2P[1]);  /* Close unused side of pipe (out side) */
        setvbuf(stdout,(char*)NULL,_IONBF,0);   /* Set non-buffered output on stdout */
        sleep(2);
        receive("quit()\n");
        wait(&rv);              /* Wait for child process to end */
        fprintf(stderr,"Child exited with a %d value\n",rv);
    }
    else{
        dup2(pipeP2C[0],0); /* Replace stdin with the in side of the pipe */
        close(pipeP2C[1]);  /* Close unused side of pipe (out side) */
        dup2(pipeC2P[1],1); /* Replace stdout with the out side of the pipe */
        close(pipeC2P[0]);  /* Close unused side of pipe (out side) */
        setvbuf(stdout,(char*)NULL,_IONBF,0);   /* Set non-buffered output on stdout */
        close(2), dup2(1,2); /*Redirect stderr to stdout */
        if(execl("/usr/bin/python","/usr/bin/python",NULL) == -1){
            fprintf(stderr,"execl Error!");
            exit(1);
        }
    }
    return 0;
}

解决方法:

在您发布的Python代码中,您没有使用正确的流:

inputready, outputready, exceptready = select.select(
    [proc.stdout, proc.stderr], # read list
    [proc.stdout, proc.stderr], # write list
    [proc.stdout, proc.stderr], # error list.
    0)                          # time out.

我没有尝试修复它,但我打赌阅读和写入同一组流是不正确的.

您的样本中有多个问题.第一个是你作为子进程启动的python可执行文件不产生输出.第二个是存在竞争条件,因为您可以在子进程生成输出之前连续5次调用select(),在这种情况下,您将在读取任何内容之前终止该进程.

我解决了上面提到的三个问题(写清单,启动产生输出和竞争条件的过程).试试这个样本,看看它是否适合你:

#!/usr/bin/python
import subprocess, os, select, time

path = "/usr/bin/python"
proc = subprocess.Popen([path, "foo.py"], shell=False,
                        stdin=subprocess.PIPE,
                        stdout=subprocess.PIPE,
                        stderr=subprocess.PIPE)
for i in xrange(0,5):
    time.sleep(1)
    inputready, outputready, exceptready = select.select(
        [proc.stdout, proc.stderr], [proc.stdin,],
        [proc.stdout, proc.stderr, proc.stdin], 0)
    if not inputready:
        print "No Data",
    print inputready, outputready, exceptready
    for s in inputready:
        print s.fileno(),s.readline()

proc.terminate()
print "After Terminating"

for i in xrange(0,5):
    inputready, outputready, exceptready = select.select(
        [proc.stdout, proc.stderr], [proc.stdin,],
        [proc.stdout, proc.stderr, proc.stdin], 0)
    if not inputready:
        print "No Data",
    print inputready, outputready, exceptready
    for s in inputready:
        print s.fileno(),s.readline()

我使用的foo.py文件包含:

#!/usr/bin/python
print "Hello, world!"

以下版本(主要删除了冗余输出以使结果更易于阅读):

#!/usr/bin/python
import subprocess, os, select, time

path = "/usr/bin/python"
proc = subprocess.Popen([path, "foo.py"], shell=False,
                        stdin=subprocess.PIPE,
                        stdout=subprocess.PIPE,
                        stderr=subprocess.PIPE)
for i in xrange(0,5):
    time.sleep(1)
    inputready, outputready, exceptready = select.select(
        [proc.stdout, proc.stderr], [proc.stdin,],
        [proc.stdout, proc.stderr, proc.stdin], 0)
    for s in inputready:
        line = s.readline()
        if line:
            print s.fileno(), line

proc.terminate()
print "After Terminating"

for i in xrange(0,5):
    time.sleep(1)
    inputready, outputready, exceptready = select.select(
        [proc.stdout, proc.stderr], [proc.stdin,],
        [proc.stdout, proc.stderr, proc.stdin], 0)
    for s in inputready:
        line = s.readline()
        if line:
            print s.fileno(), line

给出以下输出:

5 Hello, world!

After Terminating

请注意,由于某些原因,在select.select()中使用timeout参数并未在我的系统上产生预期的结果,而是使用time.sleep()代替.

Just FYI, running python as

06004

seems to be working just fine.

你不能得到这种效果,因为这个例子仍然给python解释器一个控制tty.没有控制tty,python解释器不会打印Python版本,也不会显示>>>提示.

一个接近的例子如下.您可以将/ dev / null替换为包含要发送到解释器的命令的文件.

/usr/bin/python </dev/null 2>&1|tee test.out

如果您将控制tty(键盘)以外的任何内容重定向到进程的标准输入,则不会从python解释器获得任何输出.这就是您的代码似乎不起作用的原因.

标签:python,c-2,c-3,linux,io-redirection
来源: https://codeday.me/bug/20190704/1377075.html