[решено] system interrupts грузит процессор

[eldaeron]

Доброго дня всем!
Не кидайте сразу гнилыми помидорами, я видел подобную тему на форуме, однако она была в части клиентских машин, и методы выявления причин описанные там не подошли.
В общем, имеется виртуальная машина на ESXi, роль прокси сервер. используем Traffic Inspector.
Процессор машины почти постоянно загружен на 100%, поковырялись и вышли на процесс interrupts.
Грешим на дополнительный драйвер сетевой карты от TI, так как если в свойствах всех сетевых снять галку traffic inspector filter (NDIS 6.3 rev228), нагрузка процесса падает и не превышает 10%, ставим обратно и все, 20-60% только на interrupts уходит.
но, как вы понимаете таких доводов техподдержке обычно недостаточно.
в подобной теме на XP машинках выявляли проблемный драйвер средствами утилиты от Microsoft — «Kernrate View». однако аналогичной утилиты на новые системы я не нашел:(
Чем можно выявить подлеца мешающего работать?

[Petya V4sechkin]

eldaeron, сделайте лог Kernrate (http://forum.oszone.net/showpost.php?p=1714473) во время тормоза (при высокой загрузке Interrupts).

[eldaeron]

Спасибо за утилитку! сделаю лог как только нагрузка снова возрастет.(на данный момент сервер перезагружен и обычно день - два работает нормально)

[eldaeron]

eldaeron, сделайте лог Kernrate во время тормоза (при высокой загрузке Interrupts). »

Извиняюсь за задержку. вот полный лог


C:\KernRate_win7\x64>KernRate.exe
/==============================\
< KERNRATE LOG >
\==============================/
Date: 2016/08/29 Time: 16:56:09
Machine Name: SURG-PROXY
Number of Processors: 4
PROCESSOR_ARCHITECTURE: AMD64
PROCESSOR_LEVEL: 6
PROCESSOR_REVISION: 2d07
Physical Memory: 12288 MB
Pagefile Total: 14143 MB
Virtual Total: 134217727 MB
PageFile1: \??\C:\pagefile.sys, 1856MB
OS Version: 6.2 Build 9200 Service-Pack: 0.0
WinDir: C:\Windows

Kernrate Executable Location: C:\KERNRATE_WIN7\X64

Kernrate User-Specified Command Line:
KernRate.exe


Kernel Profile (PID = 0): Source= ProfileTime,
Using Kernrate Default Rate of 10007 events/hit
Starting to collect profile data

***> Press ctrl-c to finish collecting profile data
===> Finished Collecting Data, Starting to Process Results

------------Overall Summary:--------------

P0 K 0:28:37.093 (85.8%) U 0:03:00.671 ( 9.0%) I 0:01:43.359 ( 5.2%) DPC
0:17:35.000 (52.7%) Interrupt 0:00:13.500 ( 0.7%)
Interrupts= 2049305, Interrupt Rate= 1024/sec.

P1 K 0:30:17.312 (90.8%) U 0:01:29.859 ( 4.5%) I 0:01:33.953 ( 4.7%) DPC
0:24:23.390 (73.1%) Interrupt 0:00:25.515 ( 1.3%)
Interrupts= 1687931, Interrupt Rate= 843/sec.

P2 K 0:25:02.453 (75.1%) U 0:06:32.296 (19.6%) I 0:01:46.390 ( 5.3%) DPC
0:10:43.703 (32.2%) Interrupt 0:00:45.921 ( 2.3%)
Interrupts= 2009839, Interrupt Rate= 1004/sec.

P3 K 0:25:35.718 (76.7%) U 0:05:38.843 (16.9%) I 0:02:06.578 ( 6.3%) DPC
0:08:30.546 (25.5%) Interrupt 0:00:41.546 ( 2.1%)
Interrupts= 1742134, Interrupt Rate= 871/sec.

TOTAL K 1:49:32.578 (82.1%) U 0:16:41.671 (12.5%) I 0:07:10.281 ( 5.4%) DPC
1:01:12.640 (45.9%) Interrupt 0:02:06.484 ( 1.6%)
Total Interrupts= 7489209, Total Interrupt Rate= 3742/sec.


Total Profile Time = 283153 msec

BytesStart BytesStop Byt
esDiff.
Available Physical Memory , 6427447296, 6452719616, 25272
320
Available Pagefile(s) , 8036343808, 8072536064, 36192
256
Available Virtual , 140737446875136, 140737445826560, -1048
576
Available Extended Virtual , 0, 0,
0
Committed Memory Bytes , 2500829184, 2463084544, -37744
640
Non Paged Pool Usage Bytes , 14147584, 15679488, 1531
904
Paged Pool Usage Bytes , 169394176, 169836544, 442
368
Paged Pool Available Bytes , 1793667072, 1831411712, 37744
640
Free System PTEs , 16623776, 16624031,
255

Total Avg. Rate
Context Switches , 3371840, 1685/sec.
System Calls , 54850910, 27410/sec.
Page Faults , 14920284, 7456/sec.
I/O Read Operations , 17348481, 8669/sec.
I/O Write Operations , 181011, 90/sec.
I/O Other Operations , 4223192, 2110/sec.
I/O Read Bytes , 17887715386, 1031/ I/O
I/O Write Bytes , 210583427, 1163/ I/O
I/O Other Bytes , 2918017615, 691/ I/O

-----------------------------

Results for Kernel Mode:
-----------------------------

OutputResults: KernelModuleCount = 145
Percentage in the following table is based on the Total Hits for the Kernel

ProfileTime 3664301 hits, 10007 events per hit --------
Module Hits msec %Total Events/Sec
NTOSKRNL 1795277 2001117 48 % 8977654
KLWFP 897414 2001117 24 % 4487704
TICAP 379889 2001117 10 % 1899713
HAL 250739 2001117 6 % 1253872
E1I63X64 140244 2001117 3 % 701319
TCPIP 48597 2001117 1 % 243019
NETIO 38803 2001117 1 % 194042
IPNAT 30825 2001086 0 % 154149
NDIS 25032 2001117 0 % 125177
FLTMGR 13619 2001117 0 % 68104
AFD 10442 2001117 0 % 52217
NTFS 7384 2001117 0 % 36925
FWPKCLNT 3621 2001117 0 % 18107
KLIM6 3014 2001117 0 % 15072
WIN32K 2856 2001117 0 % 14282
KLIF 2540 2001117 0 % 12701
TDX 2388 2001117 0 % 11941
KLFLT 2350 2001117 0 % 11751
IPFLTDRV 2313 2001070 0 % 11566
VNETFLT 1303 2001117 0 % 6515
LSI_SAS 965 2001117 0 % 4825
LUAFV 790 2001117 0 % 3950
PACER 755 2001117 0 % 3775
VSEPFLT 717 2001117 0 % 3585
ATAPORT 516 2001117 0 % 2580
FDC 414 2001117 0 % 2070
NSIPROXY 344 2001117 0 % 1720
NPFS 136 2001117 0 % 680
STORPORT 123 2001117 0 % 615
VMCI 113 2001117 0 % 565
KL1 84 2001117 0 % 420
DXGKRNL 77 2001117 0 % 385
CLASSPNP 74 2001117 0 % 370
TDI 55 2001117 0 % 275
CDD 51 2001117 0 % 255
TM 45 2001117 0 % 225
WDF01000 43 2001117 0 % 215
PARTMGR 38 2001117 0 % 190
DWVKBD64 33 2001117 0 % 165
DXGMMS1 29 2001117 0 % 145
CDROM 20 2001070 0 % 100
RASSSTP 17 2001117 0 % 85
CI 17 2001117 0 % 85
VOLMGR 16 2001117 0 % 80
CONDRV 15 2001101 0 % 75
CNG 15 2001117 0 % 75
VOLSNAP 15 2001117 0 % 75
PCW 12 2001117 0 % 60
NETBT 11 2001117 0 % 55
ATAPI 9 2001117 0 % 45
SRVNET 7 2001101 0 % 35
WFPLWFS 7 2001117 0 % 35
MRXSMB 7 2001117 0 % 35
VMMEMCTL 7 2001101 0 % 35
RASPPTP 6 2001117 0 % 30
AHCACHE 6 2001117 0 % 30
WANARP 5 2001117 0 % 25
WATCHDOG 5 2001117 0 % 25
RDBSS 5 2001117 0 % 25
RDPUDD 4 2001070 0 % 20
WPPRECORDER 4 2001117 0 % 20
VM3DMP 4 2001117 0 % 20
FLPYDISK 4 2001070 0 % 20
TUNNEL 3 2001086 0 % 15
CLFS 3 2001117 0 % 15
MSRPC 3 2001117 0 % 15
VSOCK 3 2001117 0 % 15
BASICRENDER 3 2001117 0 % 15
NDISWAN 2 2001117 0 % 10
ACPI 2 2001117 0 % 10
MOUNTMGR 2 2001117 0 % 10
DISK 2 2001117 0 % 10
SRV 1 2001086 0 % 5
WMILIB 1 2001117 0 % 5
INTELIDE 1 2001117 0 % 5
KSECDD 1 2001117 0 % 5
KSECPKG 1 2001117 0 % 5
VMHGFS 1 2001117 0 % 5
MOUCLASS 1 2001117 0 % 5
RASPPPOE 1 2001117 0 % 5

================================= END OF RUN ==================================
============================== NORMAL END OF RUN ==============================

[Petya V4sechkin]

eldaeron, как видите, после ядра системы под подозрением:
klwfp.sys - относится к Касперскому;
ticap.sys - относится к Traffic Inspector.

[eldaeron]

Да, я заметил... а ядро 48% это нормально?

[Petya V4sechkin]

а ядро 48% это нормально?
Нет.
Но сначала нужно исключить программные причины. Если дело не в них, загрузка ядра означает аппаратные проблемы.

[eldaeron]

Снесли касперского, теперь смотрим.
трафика снести не можем, это прямое назначение сервера...

[eldaeron]

стало работать легче, но все равно периодически под 80%
8ми часовой лог.


/==============================\
< KERNRATE LOG >
\==============================/
Date: 2016/09/06 Time: 17:48:54
Machine Name: SURG-PROXY
Number of Processors: 4
PROCESSOR_ARCHITECTURE: AMD64
PROCESSOR_LEVEL: 6
PROCESSOR_REVISION: 2d07
Physical Memory: 12288 MB
Pagefile Total: 14143 MB
Virtual Total: 134217727 MB
PageFile1: \??\C:\pagefile.sys, 1856MB
OS Version: 6.2 Build 9200 Service-Pack: 0.0
WinDir: C:\Windows

Kernrate Executable Location: C:\KERNRATE_WIN7\X64

Kernrate User-Specified Command Line:
KernRate.exe


Kernel Profile (PID = 0): Source= ProfileTime,
Using Kernrate Default Rate of 10007 events/hit

------------Overall Summary:--------------

P0 K 2:38:21.593 (18.0%) U 2:25:07.296 (16.5%) I 9:34:58.875 (65.5%) DPC 1:55:28.203 (13.1%) Interrupt 0:07:00.578 ( 0.8%)
Interrupts= 89036111, Interrupt Rate= 1689/sec.

P1 K 2:50:46.296 (19.4%) U 1:52:11.156 (12.8%) I 9:55:30.312 (67.8%) DPC 1:50:12.171 (12.5%) Interrupt 0:15:57.312 ( 1.8%)
Interrupts= 77662691, Interrupt Rate= 1473/sec.

P2 K 2:10:22.671 (14.8%) U 2:43:08.828 (18.6%) I 9:44:56.265 (66.6%) DPC 1:07:02.671 ( 7.6%) Interrupt 0:07:26.796 ( 0.8%)
Interrupts= 69838645, Interrupt Rate= 1325/sec.

P3 K 2:10:19.984 (14.8%) U 1:40:59.875 (11.5%) I 10:47:07.906 (73.7%) DPC 1:09:56.000 ( 8.0%) Interrupt 0:08:02.703 ( 0.9%)
Interrupts= 66595941, Interrupt Rate= 1263/sec.

TOTAL K 9:49:50.546 (16.8%) U 8:41:27.156 (14.8%) I 16:02:33.359 (68.4%) DPC 6:02:39.046 (10.3%) Interrupt 0:38:27.390 ( 1.1%)
Total Interrupts= 303133388, Total Interrupt Rate= 5751/sec.


Total Profile Time = 309164 msec

BytesStart BytesStop BytesDiff.
Available Physical Memory , 11074080768, 11093798912, 19718144
Available Pagefile(s) , 13014110208, 13032280064, 18169856
Available Virtual , 140737446875136, 140737445826560, -1048576
Available Extended Virtual , 0, 0, 0
Committed Memory Bytes , 1817546752, 1798307840, -19238912
Non Paged Pool Usage Bytes , 107397120, 109555712, 2158592
Paged Pool Usage Bytes , 131719168, 127913984, -3805184
Paged Pool Available Bytes , 2476949504, 2496188416, 19238912
Free System PTEs , 16624630, 16625136, 506

Total Avg. Rate
Context Switches , 82566226, 1566/sec.
System Calls , -2084240813, -39543/sec.
Page Faults , 172248937, 3268/sec.
I/O Read Operations , 380912568, 7227/sec.
I/O Write Operations , 7070297, 134/sec.
I/O Other Operations , 143005376, 2713/sec.
I/O Read Bytes , 386039669954, 1013/ I/O
I/O Write Bytes , 5345827739, 756/ I/O
I/O Other Bytes , 93208271792, 652/ I/O

-----------------------------

Results for Kernel Mode:
-----------------------------

OutputResults: KernelModuleCount = 139
Percentage in the following table is based on the Total Hits for the Kernel

ProfileTime 147016494 hits, 10007 events per hit --------
Module Hits msec %Total Events/Sec
HAL 122932178 52707361 83 % 23339857
NTOSKRNL 11838207 52707361 8 % 2247597
TICAP 5004948 52707361 3 % 950237
E1I63X64 3279922 52707361 2 % 622724
TCPIP 1091181 52707361 0 % 207171
NETIO 704207 52707361 0 % 133700
NDIS 587483 52707361 0 % 111539
IPNAT 512354 52707521 0 % 97275
AFD 301764 52707361 0 % 57292
FLTMGR 269270 52707361 0 % 51123
NTFS 134681 52707361 0 % 25570
FWPKCLNT 60829 52707361 0 % 11548
TDX 59822 52707361 0 % 11357
IPFLTDRV 56635 52707565 0 % 10752
WIN32K 42748 52707361 0 % 8116
VNETFLT 23708 52707361 0 % 4501
VMMEMCTL 17114 52707361 0 % 3249
PACER 16545 52707361 0 % 3141
ATAPORT 15714 52707361 0 % 2983
NSIPROXY 11419 52707361 0 % 2168
LSI_SAS 10931 52707361 0 % 2075
VSEPFLT 9564 52707361 0 % 1815
LUAFV 4958 52707361 0 % 941
NPFS 4738 52707361 0 % 899
FDC 3822 52707361 0 % 725
DWVKBD64 2509 52707361 0 % 476
STORPORT 2348 52707361 0 % 445
RSPNDR 2254 52707361 0 % 427
VMCI 1632 52707361 0 % 309
WDF01000 1291 52707361 0 % 245
CLASSPNP 1183 52707361 0 % 224
TDI 1018 52707361 0 % 193
CONDRV 996 52707361 0 % 189
PARTMGR 863 52707361 0 % 163
CNG 724 52707361 0 % 137
TM 600 52707361 0 % 113
NETBT 597 52707361 0 % 113
PCW 541 52707361 0 % 102
ATAPI 512 52707361 0 % 97
CDROM 503 52707361 0 % 95
VOLMGR 398 52707361 0 % 75
VOLSNAP 359 52707361 0 % 68
RASSSTP 353 52707361 0 % 67
SRVNET 287 52707361 0 % 54
WANARP 287 52707361 0 % 54
WFPLWFS 243 52707361 0 % 46
MRXSMB 242 52707361 0 % 45
TUNNEL 240 52707457 0 % 45
VSOCK 168 52707361 0 % 31
AHCACHE 140 52707361 0 % 26
NDISWAN 128 52707361 0 % 24
WMILIB 123 52707361 0 % 23
RASL2TP 104 52707361 0 % 19
RASPPTP 92 52707361 0 % 17
VM3DMP 82 52707361 0 % 15
DISK 74 52707361 0 % 14
AGILEVPN 73 52707361 0 % 13
RASPPPOE 72 52707361 0 % 13
RDBSS 67 52707361 0 % 12
DXGKRNL 65 52707361 0 % 12
CI 65 52707361 0 % 12
MSRPC 64 52707361 0 % 12
FLPYDISK 60 52707361 0 % 11
I8042PRT 48 52707361 0 % 9
VMMOUSE 43 52707361 0 % 8
KSECDD 40 52707361 0 % 7
INTELIDE 33 52707361 0 % 6
HTTP 32 52707361 0 % 6
MOUNTMGR 32 52707361 0 % 6
SRV 29 52707440 0 % 5
DXGMMS1 22 52707361 0 % 4
KSECPKG 18 52707361 0 % 3
FS_REC 16 52707361 0 % 3
NPSVCTRIG 15 52707361 0 % 2
MRXSMB20 12 52707361 0 % 2
CLFS 10 52707361 0 % 1
WPPRECORDER 9 52707361 0 % 1
VMHGFS 7 52707361 0 % 1
ACPI 7 52707361 0 % 1
CDD 5 52707661 0 % 0
DFSC 5 52707361 0 % 0
BASICRENDER 3 52707361 0 % 0
PEAUTH 2 52707361 0 % 0
WATCHDOG 2 52707361 0 % 0
BOWSER 2 52707361 0 % 0
LLTDIO 1 52707361 0 % 0
MUP 1 52707361 0 % 0
MOUCLASS 1 52707361 0 % 0

================================= END OF RUN ==================================