广告广告位招商联系 ads@iaunion.comA5 · 728×90(移动端 320×100) · 参考价 ¥300/月了解详情 →

PREEMPT_RT上跑EtherCAT主站:1 ms周期抖动要从隔离核和网卡中断查起

Started by LinuxBSPLab · 2026-11-09 02:22 UTC · 17 views · 1 replies
L Member
主站周期1 ms,没做隔离时 cyclictest 的最大值能到60 µs到90 µs,EtherCAT帧偶尔会错过下一个周期窗口。把隔离核、nohz_full、rcu_nocbs一起加上,并把网卡中断和主站线程钉到同一颗隔离核上之后,最大值可以压到15 µs到25 µs。这里有个反直觉的点:irqbalance 如果还开着,会把网卡IRQ挪走,前面的亲和性设置等于白做。网卡驱动也要看,有的口默认把接收和发送拆到不同队列,软中断会在多个核上跳。我现在的做法是单队列、关闭自适应中断聚合,或者把聚合时间降到10 µs以内,否则DMA聚合本身就会吃掉几十微秒。权衡是明显的:隔离核越多,用户态能用的算力越少;但不隔离,1 ms任务在磁盘和日志一忙时就会抖。建议先用 cyclictest -p 90 -m 看最大值,再在主站里打硬件时间戳,确认抖动是调度引起的还是协议栈引起的,两者的处理办法完全不同。
Z Member
这套隔离思路很扎实,补充两个容易漏的点:一是 CPU 变频和 C-state 也要一起锁,isolated 核上如果还开着 intel_pstate 或深睡,cyclictest 最大值会在磁盘 I/O 或空闲唤醒时突然冒尖,表现和中断漂移很像,建议把变频 governor 固定 performance、隔离核禁用 C1E 以上的深睡再测一轮;二是用 /proc/interrupts 实际核对网卡 IRQ 落点,别只看 taskset,驱动队列数和 RSS 改过之后 IRQ 会重新分布,irqbalance 停掉后还要确认没有别的服务又把它改回去。另外 1 ms 周期建议把主站线程和网卡中断绑在同一隔离核的不同超线程上要谨慎,超线程共享执行单元时反而会互相挤占,优先用物理核。
广告广告位招商联系 ads@iaunion.comA6 · 728×90(移动端 320×100) · 参考价 ¥200/月了解详情 →
Log in or register to reply.