envoy 代理 socket.io

O'ConnorBoyd 发布于18天前 阅读107次
0 条评论

envoy 代理 socket.io

最近在做web 长连接消息通道的方案与实现, 目前web 的方案主要有websocket。 后来经过调研发现socket.io 的浏览器兼容性更好。于是
使用socket.io 作用通信连接。本文记录在此过程中遇到的问题。
主要的问题:
envoy 代理socket.io .

1. socket.io

socket.io 集成了websocket 和polling,并可以感知浏览器的是否支持websocket, 建立websocket 连接,如果不支持websocket
就使用ajax polling. 故兼容性比较好, 具体可以google socket.io.

2. 为什么会有envoy 代理socket.io ?

这和我们是实现方案有关, 下面是我们的服务简单的部署拓扑。

clipboard.png

这个方案是基于mesh service 的sidecar 方式部署, 前面有一个front-Envoy 作为一个接入层。
front-evnoy 其实就是在docker里部署一个envoy。

后端的services 是一个服务的集群, 上图有2个socket.io service 组成的连接管理服务。

总体来看,数据经过两次代理,sidecar 内地代理很简单,配置简单,只有配置envoy websocket 和http 就可以。
只有设置route_config 相应virtual_hosts 设置use_websocket 为true 。

另外一个代里是本文记录的重点。
就是front-evnoy 到后端的service 集群。 简单分析可知,socket.io service 其实是一个有状态的服务, 它一个连接管理器。
假设client A 要使用socket.io 建立长连接, front-envoy 要正常工作必须保证, A 的后续的所用的包都发送到后端的同一个service.
这就是envoy 如何代理socket.io 的问题。

3. envoy 的负载均衡

envoy 支持很多很多中负载均衡方式, 但是目前满足我们需求的只有ring hash 这种负载均衡。
可以参考envoy 文档
envoy ring hash
ring hash 可以配置一个http header的字段作用hash key.
经考察,我使用了这个x-forwarded-for字段, x-forwarded-for 这字段一般填的是client 的ip.
部分配置如下:

                "route_config":
        {
                  "virtual_hosts":
                   [
                     {
                         "name" : "backend",
                         "domains" : ["*"],
                         "routes" : [
                             { 
                               "prefix" : "/",
                               "cluster": "websocket_cluster",
                               "use_websocket": true,
                               "hash_policy": {
                                 "header_name": "x-forwarded-for"
                               }
                             }
                         ]
                      } 
                    ]
                 },


 ...

          {
          "name":"websocket_cluster",
          "type":"static",
          "connect_timeout_ms":2500,
          "lb_type":"ring_hash",
          "ring_hash_lb_config": {
            "minimum_ring_size": 1024,
            "use_std_hash": false
          }, 
          "hosts":[{"url":"tcp://10.10.62.120:3000"},{"url":"tcp://10.10.62.121:3000"}]
       }

4. envoy 代理socket.io 出错

测试发现,测试有40% 的连接是失败的。 其中报错:

     \/favicon.ico:1 Failed to load resource: the server responded with a status of 404 (Not Found)
     index.js:83 WebSocket connection to 'ws://10.10.62.122/socket.io/?        
     EIO=3&transport=websocket&sid=xiqvvCber8gofbxrAAAA' failed: Error during WebSocket handshake: Unexpected response         
     code: 400
     r.doOpen @ index.js:83

表面websocket 建立连接失败,服务器返回400。

5. 一个解决办法

其实socket.io 后后台通信,先会建一个http/tcp 发送 poling 请求。
接着,会建立一个新的连接(http/tcp), 通过http upgrade 成一个websocket.
这条新的upgrade 连接,可能会被envoy 代理到另一个service.
还带了sid 字段。 service 就认为这个不完整的请求,返回400.

通过修改socket.io transports 优先级可以解决这种情况。
socket.io transport 顺序是polling, websocket.
修改客户端和服务器都修改成为{transports:['websocket', 'polling']})。

client 修改

//var socket = io();  修改
var socket = io({transports:['websocket', 'polling']});

server 也做对应的修改。

经测试,可以测试通过。
这样envoy 就可以成功代理socket.io 集群了。

后面有时间写一下, socket.io 和 后台建立连接的情况。

查看原文: envoy 代理 socket.io

  • organiccat
  • smallmeercat
  • bluemeercat
  • blackgoose
  • organicpanda
  • whitemeercat
  • lazyostrich
需要 登录 后回复方可回复, 如果你还没有账号你可以 注册 一个帐号。