前言

本书概述

本书名为《Istio & Envoy 内幕》，英文名《Istio & Envoy Insider》。这是一本编写中的书，现在草稿阶段。

本书是什么

本书内容包括：Envoy 源码分析、深入 Envoy 基本原理解构与分析 、 Istio 基本原理分析。但不是一本传统的《深入 xyz 源码》类型的书。甚至可以说，我尽了最大的努力少在书中直接贴源码。看源码是掌握实现细节必须的一步，但在书中浏览源码的体验一般非常糟糕，本书更多使用源码导航图来让读者了解实现的全流程，而非迷失于碎片式的源码片段细节当中而忘记全貌。

本书中，我尝试以设计与实现角度，尽量系统地去思考：

• Envoy 的设计与实现细节

• Istio 为什么是现在的样子

• 那些魔术配置背后的真相： Linux + Envoy

  • 流量是如何用 Linux 的 netfilter 技术，被拦截到 Envoy 的

  • istiod 是如何编程 Envoy 去完成服务网格的流量策略的

• Istio 将来可能是什么样子

书里说的，只是在我研究与使用了 Istio 一段时间后，的思考与记录。我只是排查过一些 Istio/Envoy 相关的功能与性能问题，浏览和 Debug 过一些 Istio/Envoy 的代码。

在研究 Istio 过程中。发现网上是有很多非常有价值的资讯。但是，要么主要是从使用者出发，没说实现机理；要么就是说了机理，也说得很好，但内容缺少系统化和连贯性。

本书不是什么

本书不是一本使用手册。更不是从使用者角度，教如何深入浅出学习 Istio。不会布道 Istio 有如何如何强大之功能，更不会教如何使用 Istio。这方面网上已经有太多非常优秀的书、文章、文档了。

🤷 : Yet, another Istio User Guide?
🙅 : No!

读者对象

本书主要讲 Istio/Envoy 的设计、实现机制。假设读者已经有一定的 Istio 使用经验。并有兴趣进一步研究其实现机理。

书的访问地址

• https://istio-insider.mygraphql.com

• https://istio-insider.readthedocs.io

• https://istio-insider.rtfd.io

本书同步在以下平台发布：

• Istio & Envoy Insider English Edition on Amazon Kindle

• 《Istio & Envoy 内幕》中文版本 @ salttiger.com

在这里感谢 https://salttiger.com/ 站长为本书提供了更多被读者了解的机会。在大平台被垄断的时代，为知识提供了一个平凡人可及的平台更是难得。

关于作者

我叫 Mark Zhu，一个中年且头发少的程序员。我只是个入门级别的 Istio/Envoy contributor，暂时也是只提出过一些 github issue 和 文档方面的 Pull Request 。

为什么水平有限还学人家写书？因为这句话：

你不需要很厲害才能開始，但你需要開始才會很厲害。

Blog: https://blog.mygraphql.com/
为方便读者关注 Blog 与本书的更新，开了个同步的 微信公众号：Mark的滿紙方糖言

微信公众号: Mark的滿紙方糖言

参与编写

如果你也对编写本书有兴趣，欢迎联系我。本书的出发点不是刷简历，也没这个能力。而且，这样的非短平快 且 TL;DR 书籍注定是小众货。

感谢提出 Issue 的同学 🌻

• 使众行者：对阅读体验和排版提出很多非常好的意见。

Dedication 💞

First, to my dear parents, for showing me how to live a happy and productive life. To my dear wife and our amazing kid – thanks for all your love and patience.

Copyleft 声明

无论是文字还是图片，如果转载或修改，请注明原出处。

意见反馈

由于自称是开源交互图书，读者的反馈当然非常重要。如果你发现书中的错误，或者有更好的建议，不妨来这里提 Issue:
labilezhu/istio-insider#issues

English version

There is an English version: https://istio-insider.mygraphql.com/en/latest/

目录

目录

• 阅读互动图书
  • 互动图书
  • 语言风格
  • 画图风格
• Istio 组件架构
  • Istio 整体架构
  • Service Mesh 的一些基础概念
    • 服务调用关系概念
      • Upstream & Downstream
      • Upstream Cluster & Downstream Cluster
      • Inbound & Outbound
  • Istio 端口 与 组件
    • 监听端口
    • iptables
    • 连接
    • 运维杂项
      • 抓包
        • Sidecar 抓包
        • Istio Gateway 抓包
      • 神奇的 127.0.0.6
    • 一点感想
  • Istio 数据面架构
    • netfilter/iptables
• Envoy 内幕
  • 原生的可编程代理 Envoy
    • 一点历史
      • 为什么用 C++ 实现
    • Envoy Proxy L1 架构
  • Istio 下 Envoy 配置举例
    • 实验环境
    • Inbound 数据流 “推断”
      • 用日志检查数据流
    • Outbound 数据流 “推断”
    • 用 bpftrace 检查数据流
  • Envoy 抽象主流程与概念
    • 再说 upstream/upstream
  • 架构
    • 源码设计
      • 设计模式与行话
        • Callback回调设计模式
      • 子系统
    • 事件驱动
      • HTTP 反向代理的总流程
      • Downstream TCP 连接建立
      • 事件处理抽象框架
      • libevent 核心思想
        • libevent 核心思想
      • 扩展阅读
    • 线程模型
      • 线程概述
      • Thread Local
      • Ref
    • Listener
      • Listener 举例
      • Listener 内部组件
        • Listener filters
        • Network Filter Chains
      • Listener 相关的组件和启动顺序
        • 代码级的启动顺序
      • 求证过程
        • Listener 连接建立细节
    • Network Filter
      • Network Filter Chains
      • Network Filter 概述
        • Network Filter 框架设计概念
        • Network Filter 对象关系
        • Network Filter 框架设计细说
      • 扩展阅读
    • http connection manager
      • http filter 抽象对象定义
      • http filter C++类关系
        • HCM upstream/downstream 事件驱动协作下的 HTTP 反向代理流程
    • Router
      • 扩展阅读
    • HTTP/1.1 Stream(草稿)
    • 流控 - Flow Control
      • 一些流控相关的术语
      • TCP 流控实现
      • HTTP2 流控实现
        • HTTP2 流控总体流程
        • HTTP decode/encode filter 流控实现细节
        • HTTP and HTTP/2 codec upstream send buffer
        • HTTP and HTTP/2 network upstream network buffer
      • Ref.
  • Envoy 请求与响应调度
    • 请求与响应调度
      • 相关组件
      • 相关的监控指标
      • Envoy 请求调度流程
    • 请求与响应调度时序线
    • 总结
    • 一些有趣的扩展阅读
  • HTTP 连接生命周期管理
    • Upstream/Downstream 连接解藕
    • 连接超时相关配置参数
      • idle_timeout
      • max_connection_duration
      • max_requests_per_connection
      • drain_timeout - for downstream only
      • delayed_close_timeout - for downstream only
    • Envoy 连接关闭后的竞态条件
      • Envoy 连接关闭后的竞态条件
        • Envoy 与 Downstream/Upstream 连接状态不同步
  • Istio 与 Envoy 指标
    • Istio 与 Envoy 指标概述
    • Envoy 请求与响应时序线上的指标
    • Envoy 指标
      • Envoy 指标概述
        • Tag
        • 指标数据类型
      • 指标释义
        • cluster manager
        • http connection manager(HCM)
        • listeners
        • server
        • watch dog
        • Event loop
      • 配置说明
        • config.bootstrap.v3.Bootstrap
        • config.metrics.v3.StatsConfig
        • config.metrics.v3.StatsMatcher
    • Istio 指标
      • Istio 自己的 Metrics
        • 标准指标说明
        • 使用
        • 工作原理
      • Envoy 内置的 Metrics
        • 定制 Envoy 内置的 Metrics
        • 原理
      • 总结：Istio-Proxy 指标地图
    • Envoy 指标的实现(草稿)
  • Upstream
    • 连接池
      • TCP Proxy 连接池
        • TCP Proxy 连接池概述
        • TCP Proxy 连接池详述
      • HTTP 连接池
    • Circuit Breaking(草稿)
      • 参考
  • Envoy Socket
    • Socket Options
      • 开始测试
      • 寻根
        • TCP half-open
        • keepalive
        • 重传 timeout
        • Zero window timeout
        • 应用 socket 层的 timeout 设置
        • 寻根总结
      • 较真有什么用
      • 空闲连接的 keepalive 检查
        • 作为 upstream(服务端) 时
        • 作为 downstream(客户端) 时
      • TCP_USER_TIMEOUT
    • TCP 底层监控指标
      • 失落的 Envoy sidecar 可视察性初心
        • 更失落的 tcp_stats
      • 简单使用 TCP Stats Transport Socket wrapper
        • Envoy 的配置文件
        • 本地 Linux 与网络环境
        • 启动 Envoy 和简单测试
        • 模拟外网丢包
        • 数据与可视化图表
      • downstream TCP 监控
      • TCP Proxy
      • 我思故我在 - Je pense, donc je suis
• Istio Data Plane
  • 基于 ALPN/TLS 握手的 HTTP 元信息交换
    • 术语
    • outbound istio-proxy 与 inbound istio-proxy 的协作
    • 扩展阅读
• Istio Ambient
  • Istio Ambient 妙用 network namespace 实现跨 pod 集线器
    • kernel 基本原理
      • network namespace 基本原理
      • 用 Unix Domain Sockets 在进程间传递 File Descriptor
    • Istio Ambient 的奇技*巧
    • ztunnel 的封装
    • Istio CNI
    • 结语
    • 参考
• Istio/Envoy 性能
  • 我的一些文章
  • 影响性能的因素 - 设计容量
  • Benchmark
  • Analyzing Istio Performance
• Disruptions - 异常处理
  • worker node disruptions
• Observability - 可观察性
  • Ref
• Troubleshooting - 问题排查
  • Decrypt and Dump TLS Traffic - 解密与监听 TLS 流量
    • TLS key log feature
      • Envoy Key Log 配置
        • extensions.transport_sockets.tls.v3.TlsKeyLog
    • Decryption Tools
    • Key Log Format
    • Ref
  • TCP Proxy half-closed connection leak for 1 hour in some scenarios
    • Base knowledge
      • Conntrack base knowledge
      • TCP
      • Conntrack table
    • Environment
      • Testing POD
      • TCP service pod
      • enable conntrack’s invalid packet log on Testing POD
      • skills
        • nsenter network namespace
    • socket leak & occupy on FIN_WAIT2
      • 1. TCPProxy: connections ESTABLISHED
      • 2. TCPProxy: upstream service active close connection
      • 3. after 60s, conntrack table CLOSE_WAIT entry timeout
      • 4. app close connection - FIN not reach peer
  • App outbound connecting timed out because App selected a ephemeral port which collisions with the existing socket on 15001(outbound) listener
    • Base knowledge
      • TCP
        • TCP Challenge ACK
      • Conntrack table
    • Environment
      • Testing POD
      • TCP service pod
      • enable conntrack’s invalid packet log on Testing POD
    • New connection timeout
      • App build connection on the same ephemeral port
        • Case 1: connect timed out by collision ephemeral port
        • Case 2: connect by collision ephemeral port but seq-no happens to be in the TCP window of the old connection
    • Skills
  • 因配置 Envoy 保留 HTTP/1 header 大小写，在混合 HTTP1 和 HTTP2 的 Istio 网格上意外禁用了 HTTP/2
    • 动机
    • 症状
    • 术语
    • 背景知识
    • 调查
      • outbound istio-proxy 的 debug log
      • Evnoy Listener
      • Envoy upstream cluster 的 meta-data
    • 问题根源
    • 结语
• Istio 开发
  • Istio Control Plane Development
    • Debug Istiod
    • Istio 开发入门参考列表
      • 代码说明
      • 设计文档
      • 开发环境
      • Istio 项目健康监控
      • 论坛
      • 参与开发 Istio
        • 工作组
  • Istio Data Plane Development
    • 调试 Istio 网格中运行的 Envoy sidecar C++ 代码
      • 介绍
      • 我的动机
      • 环境架构
      • 环境说明
      • 环境搭建步骤
        • 1. 构建带 debug 信息的 istio-proxy
        • 2. 安装测试目标 pod
        • 3. attach debuger 到 istio-proxy
        • 4. 开始调试
      • FAQ
        • containerd allow pull image from plain http docker image registry
        • 动态 path
        • 为何用 lldb 而不是 gdb
      • 更 Cloud Native 的远程调试的方法
    • 调试与观察 istio-proxy Envoy sidecar 的启动过程
      • debug 初始化之难
      • Envoy 的启动 attach 方法
        • 手工 inject 的 istio-proxy container
        • 常用断点
      • 附录 - 写给自己的一些备忘
        • Istio auto inject 的 sidecar container (我没有使用这种方法)
        • 流量 debug
        • lldb 常用命令单

附录

附录

• 实验环境总述
  • 基础环境安装
    • 默认 namespace
    • 安装 istio
  • 安装工具服务
    • netshoot
    • httpbin
  • 配置 Shell 环境
    • istio gateway & node port
  • 实验环境列表
    • 简单分层实验环境
      • 安装过程
        • fortio