Çalışma zamanı / rehber
perf ve bpftrace ile yavaş, takılan ve hata veren programları inceleme
İşlemci kullanan, bekleyen, takılan ya da gerileyen programlar için belirtiden yola çıkın.
Bu sayfada
- 0. Bir şube seçmeden önce
- 1. Program CPU üzerinde yoğun ve yavaş
- 2. Program yavaş ama CPU çoğunlukla boşta
- Hangi sistem aramaları zaman alır?
- 2b. Bekleme sistemi çağrısını yorumla
- 2c. Iş parçacığı başına CPU dışı zaman
- 3. Program sıkışmış
- 4. Program başarısız olur veya sessizce geri döner
- 5. Bir değişiklikten sonra yavaşladı
- 6. Bellek büyümesi ve sayfa hataları
- 7. Ne bulduğunu yaz
- Kaynaklar
Bu semptom odaklı bir oyun kitabıdır. Her bölüm, "CPU 100'de" veya "işlem hiçbir şey yapmaz" gibi gözlemleyebileceğiniz bir şeyden başlar ve semptomu kanıta dönüştüren komutları listeler. sıfır'den performans analizi ve sıfır'den gelen sözdizimi] kelime dağarcığını yeniden kullanır.
Bu sayfa boyunca PID süreç kimliğidir ve ./prog soruşturma altında olan programdır. Çalışan bir işleme bağlanan veya çekirdeğin izini süren komutlar çoğu sistemde köke ihtiyaç duyar.
0. Bir şube seçmeden önce#
Bu çeklere bir dakikanızı ayırın. Aşağıdaki bölümün hangi bölüme uygulanacağını söylerler.
ps -o pid,tid,stat,pcpu,wchan:32,comm -L -p PID # threads, state, CPU %, kernel wait function
grep -E 'State|Threads|voluntary' /proc/PID/status
sudo perf stat -p PID -- sleep 5 # five seconds of counters- ** Devlet**
Rkoşmak veya çalıştırılabilir,Suyumak (bir olayı beklemek),Dkesintisiz uyku (genellikle çekirdek içindeki I/O),Tdurdu,Zçıktı ancak henüz biçilmedi. wchan, çekirdek bunu açığa çıkardığında bir uyku ipliğinin beklediği çekirdek fonksiyonunu belirtir.futex_wait_queue(kilit veya durum değişkeni),do_select/do_epoll_wait(I / O hazırlığını bekliyor) veyahrtimer_nanosleep(uyku) gibi değerler, bekleme türüne işaret eder. İsimler çekirdek sürümleri arasında değişir.- perf stat
CPUs utilizedyakın veya 1 üzerinde işlem meşgul anlamına gelir; 0 yakın bekleme anlamına gelir.
| Belirti | İlgili bölüm |
|---|---|
| yüksek CPU, yavaş | Bölüm 1 |
| düşük CPU, yavaş | Bölüm 2 |
| Hiçbir ilerleme yok | Bölüm 3 |
| yanlış davranış, sessiz başarısızlıklar, tekrarlar | Bölüm 4 |
| Önceki sürümden daha yavaş | Bölüm 5 |
| bellek büyür, birçok sayfa hatası | Bölüm 6 |
1. Program CPU üzerinde yoğun ve yavaş#
Soru şu: hangi kod CPU'yu kullanıyor. Örnekle.
sudo perf top -p PID # live view, press q to quit
sudo perf record -F 99 -g -p PID -- sleep 10 # 10 s of stack samples
sudo perf report --stdio --no-children | head -n 60--no-children, ** self** zamana göre sıralanır: kendi talimatlarını uygulayan işlevler. Sonra, tüm alt ağacı pahalı olan arayanı bulmak için --children'ye geçin. Bir alev grafiği, her iki görünümü de aynı anda gösterir; CPU profilleme laboratuvarı adım adım inşa eder.
Bir işlev baskın olduğunda, talimatlarına bakın:
sudo perf annotate --stdio -s function_name | head -n 60assembly okumaya hazırlık rehberi ile sıcak komutları okuyun. Karşılaştırmaların sıcak bir döngüsü genellikle bir algoritma sorunu (bir döngüde doğrusal bir arama) anlamına gelir. Bir bellek yükünden sonra sıcak bir komut önbellek ıskalaması anlamına gelebilir; Sayaçlarla onaylayın:
sudo perf stat -e cycles,instructions,cache-references,cache-misses,branch-misses -p PID -- sleep 5Döngü başına komutlar (IPC, insn per cycle olarak basıldı) 1'nin çok altında modern bir CPU üzerinde CPU'nun genellikle bellek beklemesini önerir. Sayaç adları ve kullanılabilirlik CPU'ya ve sanallaştırmaya bağlıdır; <not supported>, sıfır değil, kullanılamaz anlamına gelir.
bpftrace de örnek alabilir, bu da örnekleri kendiniz yazdığınız bir filtre ile birleştirmek istediğinizde kullanışlıdır:
sudo bpftrace -e 'profile:hz:99 /pid == PID/ { @[ustack] = count(); } interval:s:10 { exit(); }'Saklamak için kanıt: rapor, tam komut, örnek sayısı ve yığınların tamamlanıp tamamlanmadığı.
2. Program yavaş ama CPU çoğunlukla boşta#
Bir CPU profili bekleme süresi açıklayamaz. Thread'lerin beklediği şeyi bulmanız gerekir.
Hangi sistem aramaları zaman alır?#
Sistem çağrılarını ve isim başına süreyi sayın. Bu tek satırlık, her sistem çağrısının çocuk işlemi için ne kadar sürdüğünü kaydeder:
sudo bpftrace -c './prog' -e '
tracepoint:raw_syscalls:sys_enter /pid == cpid/ { @start[tid] = nsecs; @id[tid] = args.id; }
tracepoint:raw_syscalls:sys_exit /pid == cpid && @start[tid]/ {
@total_us[@id[tid]] = sum((nsecs - @start[tid]) / 1000);
delete(@start[tid]); delete(@id[tid]);
}
END { clear(@start); clear(@id); }'raw_syscalls bir sistem çağrısı bildirir * numara *, bir isim değil. ausyscall --dump (sesli paket) veya çekirdek'in syscall tablosu ile isimlere harita numaraları. İsimleri doğrudan yazdıran daha basit ama daha ağır bir alternatif perf'in syscall özetidir:
sudo perf trace -s ./progperf trace -s baskılar, iş parçacığı başına, her sistem çağrısının sayısı, toplam, ortalama ve maksimum süresi. Az ama uzun olan aramaları arayın (futex, poll, epoll_wait, clock_nanosleep, read bir boru veya sokette, fsync).
2b. Bekleme sistemi çağrısını yorumla#
| Uzun syscall | Genellikle anlamı | Sonraki adım |
|---|---|---|
futex |
bir muteks, durum değişkeni veya iş parçacığı birleştirmesini beklemek | Kilit tutucuyu bulun: tanıtım lab |
clock_nanosleep, nanosleep |
kasıtlı uyku, geri çekilme, anket döngüsü | ustack ile arayanı bul |
poll, epoll_wait, select |
ağ veya boru verilerini beklemek | akranı kontrol edin; istek sona erdiğinde |
read, write, fsync bir dosya üzerinde |
disk I/O | biolatency tarzı blok izleme, cihaz kullanımı |
connect, recvfrom |
ağ gecikmesi veya yavaş bir sunucu | Her iki uçta da ölçü |
futex durumu çok iş parçacıklı programlarda en yaygın olanıdır ve görülmesi en zor olanıdır. Kilit bekleyen bir iş parçacığı CPU'dan uzaktır * çünkü başka bir iş parçacığı kilidi tutar *; bekleme ipliğinin yığını hangi kilidin olduğunu söyler ve tutucu yığını neden uzun süre tutulduğunu söyler.
2c. Iş parçacığı başına CPU dışı zaman#
Zamanlayıcı izleme noktası sched:sched_switch, bir iş parçacığı ne zaman bir CPU'dan ayrılsa veya alsa ateşler. Ayrılma ve geri dönme arasındaki süreyi kaydetmek, iş parçacığı başına CPU dışı zaman verir:
sudo bpftrace -c './prog' -e '
tracepoint:sched:sched_switch /pid == cpid/ { @off[tid] = nsecs; }
tracepoint:sched:sched_switch /@off[args.next_pid]/ {
@offcpu_ms[args.next_pid] = sum((nsecs - @off[args.next_pid]) / 1000000);
delete(@off[args.next_pid]);
}
END { clear(@off); }'İlk blok, ayrılan iş parçacığı bağlamında çalışır, bu nedenle pid ve tid onu tanımlar. İkincisi, ismine rağmen CPU'yu alan görevin thread kimliği olan next_pid'yi kullanır. CPU dışı zaman, uyumayı ve programlanmayı beklemeyi içerir; scheduler zaman çizelgesi laboratuvarı ikisini ayırır.
3. Program sıkışmış#
Hiçbir şey ilerlemediğinde, herhangi bir şeyi değiştirmeden önce her iş parçacığının snapshot'unu alın.
cat /proc/PID/task/*/stat | awk '{print $1, $3}' # TID and state of each thread
sudo cat /proc/PID/task/*/stack # kernel stacks (root, if the kernel exposes them)
sudo gdb -p PID -batch -ex 'thread apply all bt' # user stacks of all threadsGDB, takılıyken işlemi durdurur ve ayrıldığında devam etmesini sağlar. Özellikle hata ayıklama bilgileriyle kullanıcı kodu için en bilgilendirici anlık görüntüdür. Her biri bir kilit bekleyen iki iş parçacığı, diğer tutma kilit açmadır; arka izleri her iki kilit aramasını da gösterir. D durumunda uzun süre tek bir iş parçacığı, çekirdeği veya cihazı işaret eder; çekirdek yığını kanıttır.
Bir hata ayıklayıcının takılmasına izin verilmezse, uyku ipliklerinin örnek yığınları CPU'dan çıktıklarında bpftrace ile:
sudo bpftrace -e 'tracepoint:sched:sched_switch /pid == PID/ { @[kstack, ustack, comm] = count(); } interval:s:5 { exit(); }'Gerçekten sıkışmış bir program pencere sırasında hiç değişmeyebilir; daha sonra GDB anlık görüntüsü veya /proc/PID/task/*/stack daha iyi bir araçtır. Asılı yerine bir çökme için, çekirdek dökümleri kullanın.
4. Program başarısız olur veya sessizce geri döner#
Birçok "yavaş" program başarısız oluyor ve yeniden deniyor. Sistem arama hataları, program bunları gizlediğinde bile çekirdekten görülebilir.
# Every failing system call of the child, by syscall number and error number
sudo bpftrace -c './prog' -e 'tracepoint:raw_syscalls:sys_exit /pid == cpid && args.ret < 0/ { @fail[args.id, -args.ret] = count(); }'
# Which file paths fail to open, and why
sudo bpftrace -c './prog' -e '
tracepoint:syscalls:sys_enter_openat /pid == cpid/ { @path[tid] = str(args.filename); }
tracepoint:syscalls:sys_exit_openat /pid == cpid/ {
if (args.ret < 0) { printf("open %s failed: errno %d\n", @path[tid], -args.ret); }
delete(@path[tid]);
}
END { clear(@path); }'Bazı arızalar normaldir: İsteğe bağlı yapılandırma dosyaları için ENOENT, engellenmeyen I/O için EAGAIN. Önemli olan, bir döngüde tekrarlayan bir arızadır veya semptomdan hemen önce gerçekleşen bir hatadır. strace -f -e trace=%file ./prog, her çağrı için süreci durdurma pahasına, çözülmüş argümanlarla aynı bilgileri gösterir ve iyi bir çapraz kontroldür.
5. Bir değişiklikten sonra yavaşladı#
Benzeri ile karşılaştırın: aynı giriş, makine ve bayraklar inşa edin.
perf stat -r 5 ./prog-old > /dev/null 2> old.txt
perf stat -r 5 ./prog-new > /dev/null 2> new.txt
perf record -g -o old.data ./prog-old
perf record -g -o new.data ./prog-new
perf diff old.data new.data | head -n 40-r 5 ortalama ve varyasyonu bildirir; eğer versiyonlar arasındaki fark varyasyondan daha küçükse, henüz bir bulgu yoktur. perf diff örneklerin payı değişen işlevleri listeler. *% percentages * karşılaştırır: bir işlev, başka bir şey daha hızlı olduğu için paylaşımda büyüyebilir. İkili dosya farkları ve sürüm karşılaştırması Değişimin kaynağı bilinmediği zaman.
6. Bellek büyümesi ve sayfa hataları#
perf stat -e page-faults,minor-faults,major-faults ./prog
sudo perf record -e page-faults -g ./prog # where faults happen
sudo bpftrace -c './prog' -e 'uprobe:/lib/x86_64-linux-gnu/libc.so.6:malloc /pid == cpid/ { @bytes[ustack(6)] = sum(arg0); }'Kütüphane yolu dağıtımlar arasında farklılık gösterir; ldd ./prog ile bulun. malloc'yi araştırmak, tahsis ağırlıklı programlarda pahalıdır, bu yüzden önce kısa bir çalışma deneyin. İstenen boyutları, bellek isteyen yığın şovları tarafından summing, kim onu serbest bırakmayı unutur; sızıntılar için malloc ile free çifti veya Valgrind veya AdresSaniizer gibi özel bir araç kullanın.
7. Ne bulduğunu yaz#
Kısa bir kayıt, bulguyu gözden geçirilebilir ve tekrarlanabilir hale getirir:
Symptom: report takes 3.0 s for 200 jobs (baseline 0.1 s)
Environment: kernel 6.8, x86-64, gcc 13 -O2 -g -fno-omit-frame-pointer, bpftrace 0.21
Observation 1: elapsed 3.0 s, user+sys 0.15 s → mostly off-CPU
Observation 2: main thread: 2.8 s in futex; flusher thread holds table_lock ~30 ms per flush
Hypothesis: main waits for table_lock while flusher sleeps inside the critical section
Prediction: moving the sleep outside the lock removes most futex time
Result: fixed build 0.1 s; futex time near zero
Limits: one machine, 5 runs; probe overhead not separately measuredBu örnek, her satırı yeniden üretebileceğiniz CPU dışı tanı lab ile eşleşir. izleme yorumlama kılavuzu, "Sınırlar" çizgisinin neden önemli olduğunu açıklar.