Cilium 跨節點 Pod to Pod 封包傳輸路徑解析

kind create cluster --config - <<EOF
kind: Cluster
apiVersion: kind.x-k8s.io/v1alpha4
nodes:
- role: control-plane
- role: control-plane
networking:
  disableDefaultCNI: true
  kubeProxyMode: none
EOF

# 移除 control-plane 的 taint，讓 Pod 可以被調度上去
kubectl taint nodes kind-control-plane node-role.kubernetes.io/control-plane:NoSchedule-
kubectl taint nodes kind-control-plane2 node-role.kubernetes.io/control-plane:NoSchedule-

# 讓 Cilium 完全取代 kube-proxy
kubeProxyReplacement: true
# 使用原生路由模式，不進行封裝
routingMode: native
autoDirectNodeRoutes: true
# 指定 Pod 的 CIDR
ipv4NativeRoutingCIDR: "10.0.0.0/16"

# 其他相關設定
k8sServiceHost: kind-control-plane
k8sServicePort: 6443
bpf:
  masquerade: true
debug:
  enabled: true
  verbose: "datapath"

helm install cilium cilium/cilium --version 1.17.3 -f cilium.yaml -n kube-system

# 在 Pod 1 內執行 ip addr
6: eth0@if7: <...>
    inet 10.0.1.1/32 scope global eth0

# 在 Pod 1 內執行 ip route
default via 10.0.1.254 dev eth0
10.0.1.254 dev eth0 scope link

cat /proc/sys/net/ipv4/conf/*/proxy_arp
# 輸出全為 0

// bpf/bpf_lxc.c

__section_entry
int cil_from_container(struct __ctx_buff *ctx)
{
    __u16 proto;
    // ...
    switch (proto) {
    // ...
#if defined(ENABLE_ARP_RESPONDER)
    case bpf_htons(ETH_P_ARP):
        // 遇到 ARP 封包，跳轉到 ARP 處理程式
        ret = tail_call_internal(ctx, CILIUM_CALL_ARP, &ext_err);
        break;
#endif
    // ...
    }
}

__section_tail(CILIUM_MAP_CALLS, CILIUM_CALL_ARP)
int tail_handle_arp(struct __ctx_buff *ctx)
{
	union macaddr mac = THIS_INTERFACE_MAC;
    // ...
    // 直接用 veth 介面自己的 MAC address 回應 ARP request
    return arp_respond(ctx, &mac, tip, &smac, sip, 0);
}

// bpf/bpf_lxc.c

static __always_inline int handle_ipv4_from_lxc(struct __ctx_buff *ctx, ...)
{
    // ... (Network Policy, Conntrack 處理)
#if defined(TUNNEL_MODE)
...
#end
    // 因為我們是 native routing 模式，會進入這個 block
    if (is_defined(ENABLE_HOST_ROUTING)) {
        int oif = 0;

        // 核心步驟：在 eBPF 中查詢核心路由表
        ret = fib_redirect_v4(ctx, ETH_HLEN, ip4, false, false, ext_err, &oif);
        
        // ...
        return ret;
    }
    // ...
}

// bpf/lib/fib.h

static __always_inline int
fib_redirect_v4(struct __ctx_buff *ctx, ...)
{
    // ...
    // 呼叫 bpf_fib_lookup helper function
    fib_result = fib_lookup_v4(ctx, &fib_params, ip4->saddr, ip4->daddr, 0);
    // ...
    // 根據查詢結果，直接重導向封包
    return fib_do_redirect(ctx, ...);
}

// bpf/bpf_host.c

__section_entry
int cil_from_netdev(struct __ctx_buff *ctx)
{
    // ...
    // 經過一系列 tail_call 處理 conntrack
    // 最終會呼叫到 handle_ipv4_cont
    // ...
}

// bpf/bpf_host.c

static __always_inline int
handle_ipv4_cont(struct __ctx_buff *ctx, ...)
{
    // ...
    // 查詢目的 IP 是否為本機的 endpoint
    ep = lookup_ip4_endpoint(ip4);
    if (ep) {
        // 是本機 Pod，進行本地交付
        return ipv4_local_delivery(ctx, ...);
    }
    // ...
}

// bpf/lib/l3.h

static __always_inline int
ipv4_local_delivery(struct __ctx_buff *ctx, ...)
{
    // ...
    // 跳轉到目標 Pod 對應的 eBPF 程式來執行 Ingress Policy
    ret = tail_call_policy(ctx, ep->lxc_id);
    // ...
}

// bpf/bpf_lxc.c

/*
 * 處理進入 endpoint 的封包的 policy 決策...
 * 這個程式會被 bpf_host, bpf_overlay, 或 bpf_lxc 中的
 * ipv{4,6}_local_delivery 透過 tail call 呼叫。
 */
__section_entry
int cil_lxc_policy(struct __ctx_buff *ctx)
{
    // ...
    switch (proto) {
#ifdef ENABLE_IPV4
    case bpf_htons(ETH_P_IP):
        // 進行 conntrack 查詢後，再 tail call 到 tail_ipv4_policy
        ret = invoke_tailcall_if(...,
                     CILIUM_CALL_IPV4_CT_INGRESS_POLICY_ONLY,
                     tail_ipv4_ct_ingress_policy_only, &ext_err);
        break;
#endif
    // ...
    }
}

// bpf/bpf_lxc.c

__declare_tail(CILIUM_CALL_IPV4_TO_LXC_POLICY_ONLY)
static __always_inline
int tail_ipv4_policy(struct __ctx_buff *ctx)
{
    // ...
    // 呼叫 ipv4_policy 執行 Ingress 策略檢查
    ret = ipv4_policy(ctx, ip4, src_label, &tuple, &ext_err,
                      &proxy_port, from_tunnel);
    switch (ret) {
    // ...
    case CTX_ACT_OK: // 策略允許通過
        if (do_redirect)
            // 呼叫 redirect_ep 進行最終的封包重導向
            ret = redirect_ep(ctx, THIS_INTERFACE_IFINDEX, from_host,
                              from_tunnel);
        break;
    // ...
    }
    // ...
}

// bpf/lib/lxc.h

static __always_inline int redirect_ep(struct __ctx_buff *ctx, ...)
{
	...
    // 使用 bpf_redirect_peer 進行跨 namespace 的高效重導向
    return ctx_redirect_peer(ctx, ifindex, 0);
}