act-act about projects rss

Java NIO I/O Multiplexing2(solved)

Stack Overflow

前回のnioのsocket readがbusy loopになってしまう問題について、Stack Overflowでも同じような事象が出ていました。

Java Selector returns SelectionKey with OP_READ without data in infinity loop after writing to channel

And, as I said selector returns SelectionKey for reading without any data in SocketChannel and read() returns -1. That is a problem, becasue select() not block and load CPU. This happens only when I write() to channel, before it’s working as needed. ? befire Oct 29 ‘11 at 11:33

また、Nettyの実装に置き換えたところうまくいった、という記述もありました。

I’ve replaced implementation of unblocking sokcets with Netty framework (all works good). But still interested in solution for this problem.

Netty

ということで、githubのNetty(4.0.0.Alpha1-SNAPSHOT)を使って問題が解消されるか確認することにしました。

netty/netty - github

まず、git cloneして全てのモジュールを作成し、ローカルリポジトリにインストールした後、mvn eclipse:eclipseでEclipseに取り込みました。

その後、netty-sampleにあるEchoServerの実装を動かしてみたところ、busy loopは起こりませんでした。確かにNettyの実装を使うことで回避できることが確認できました。

前回の実装でbusy loopの原因を確認するべく、Nettyの実装を少し見てみました。すると、netty-transportのio.netty.channel.socket.nio.NioWorkerのreadメソッドの中に、以下のような記述がありました。

1
2
3
4
5
    if (ret < 0 || failure) {
        k.cancel(); // Some JDK implementations run into an infinite loop without this.

        close(channel, succeededFuture(channel));
        return false;
    }

retはSocketChannel#readの戻り値で読み込んだバイト数です。この値がEOS(-1)の場合はSelectionKey#cancel()を呼び出し、channelをcloseしており、コメントにはinfinite loop対応という文字が。

Canceled SelectionKey on EOS

ということで、早速前回のコードに適用して動かしてみました。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
    package net.wrap_trap.example.nio;

    import java.io.IOException;
    import java.net.InetSocketAddress;
    import java.nio.ByteBuffer;
    import java.nio.channels.SelectionKey;
    import java.nio.channels.Selector;
    import java.nio.channels.ServerSocketChannel;
    import java.nio.channels.SocketChannel;
    import java.util.Iterator;
    import java.util.Set;

    public class EchoServer {

        private ServerSocketChannel serverChannel;
        private Selector selector;

        public EchoServer() throws IOException {
            serverChannel = ServerSocketChannel.open();
            serverChannel.socket().setReuseAddress(true);
            serverChannel.socket().bind(new InetSocketAddress(8000));

            serverChannel.configureBlocking(false);
            selector = Selector.open();
            serverChannel.register(selector, SelectionKey.OP_ACCEPT);
        }

        public void start() throws IOException {
            System.out.println("start");
            try {
                while (selector.select() > 0) {
                    System.out.println("select loop");
                    Set<SelectionKey> keys = selector.selectedKeys();
                    for (Iterator<SelectionKey> it = keys.iterator(); it.hasNext();) {
                        SelectionKey key = it.next();
                        it.remove();

                        if (key.isAcceptable()) {
                            System.out.println("accept");
                            SocketChannel channel = serverChannel.accept();
                            channel.configureBlocking(false);
                            channel.register(key.selector(), SelectionKey.OP_READ);
                        } else {
                            SocketChannel channel = (SocketChannel) key.channel();
                            if (key.isReadable()) {
                                System.out.println("read");
                                ByteBuffer buffer = ByteBuffer.allocate(4096);
                                int len = channel.read(buffer);
                                if (len > 0) {
                                    buffer.flip();
                                    channel.write(buffer);
                                } else if (len == -1) {
                                    key.cancel();
                                    channel.close();
                                }
                            }
                        }
                    }
                }
            } finally {
                for (SelectionKey key : selector.keys()) {
                    try {
                        key.channel().close();
                    } catch (IOException ignore) {
                        ignore.printStackTrace();
                    }
                }
            }
        }

        public static void main(String[] args) throws IOException {
            EchoServer echoServer = new EchoServer();
            echoServer.start();
        }
    }

上記コードを動かしてみたところ、busy loopを回避することができました。また、1本のsocketで複数回やり取りすることもできています。

Conclusion

この結果より、read時にEOSを検知したらSelectionKey#cancel()を呼び出すことで、busy loopを回避できることが分かりました。

まだ気になっている点は、read時にOP_WRITEを指定することなくSocketChannel#write()を呼び出しても問題なくクライアントに応答を返せていることです。一旦nioの本をちゃんと読んでみようかな。

そしてNetty。コードを少し読んでみた限りですが、nioの嵌りどころをうまく回避するような実装が入っており、間違いなくnioを直接扱うよりも楽です。nioで嵌るようなことがあればNettyを使ってみましょう。