WinDbg: поиск исключений, которые привели к сбою службы .net
Возникли проблемы с периодическим сбоем службы x64 dotnet на сервере приложений. Служба может работать без проблем часами, днями или неделями, но затем отключается, не имея большого количества информации.
Служба запускается в кластере (по 3 службы на каждом сервере) на двух серверах, и на обоих серверах наблюдались сбои в работе любой службы. Реплицированная среда показывает такое же поведение, поэтому я «исчерпал» идею проблемы конфигурации.
Первоначально из журнала событий сервера приложений была извлечена следующая ошибка:
Error message from event log on server XXXX
Application: MySvc.exe
Framework Version: v4.0.30319
Description: The process was terminated due to an internal error in the .NET Runtime
at IP 000007FEEFD8CD4C (000007FEEFC70000) with exit code 80131506
Здесь не показано много деталей, и лучшие указатели, которые я нашел в Интернете, - это «скрестить пальцы» ...
Приложение вылетает с " Внутренняя ошибка в среде выполнения .NET »
http://www.jamesewelch.com/2010/09/30/troubleshooting-internal-error-in-the-net-runtime/
Наконец, через месяц работы с подключенным отладчиком AdPlus у нас есть череда сбоев и несколько аварийных дампов. Теперь, когда у меня есть свалки, мне трудно получить от них что-нибудь полезное.
Я ранее с большим успехом исследовал несколько «зависших» дампов и прочитал много блогов Тесс Феррандез среди других, но «аварийные» дампы, которые у меня есть, оказались мертвыми. Большинство объектов, исключений и т. Д. Помечены для сборки мусора, и остался только основной поток - вероятно, мне что-то не хватает.
Я добавлю подробности из! Analysis -v, а также журналы дампа, которые показывают исключения.
Итак - настоящий вопрос по этому поводу: может ли кто-нибудь дать мне несколько указателей, куда двигаться дальше. Исключения в журнале дампа не соответствуют тому, что я вижу в фактическом дампе.
Журнал DUMP 1 здесь: http://pastebin.com/Eg5YCqww
DUMP 1 Analyze: (У меня проблема с символами, которую я не могу решить ..)
0:000> !analyze -v
***
FAULTING_IP:
+112c9440
00000000`00000000 ?? ???
EXCEPTION_RECORD: ffffffffffffffff -- (.exr 0xffffffffffffffff)
ExceptionAddress: 0000000000000000
ExceptionCode: 80000003 (Break instruction exception)
ExceptionFlags: 00000000
NumberParameters: 0
FAULTING_THREAD: 00000000000011f8
PROCESS_NAME: MySvc.exe
ERROR_CODE: (NTSTATUS) 0x80000003 - {EXCEPTION} Breakpoint A breakpoint has been reached.
EXCEPTION_CODE: (HRESULT) 0x80000003 (2147483651) - One or more arguments are invalid
MOD_LIST: ОБНОВЛЕНИЕ 1 (29 декабря):
Реконструировано одно из Исключения CLR из журнала дампа, стек вызовов следует. Похоже, что исключение возникает при вызове db (через ODAC)
clr!RaiseTheExceptionInternalOnly+0x363
clr!IL_Throw+0x146
gm.a(System.String, System.String, Int32, System.String, XXBase, Int32, XXDataParameter[])
gm.b(XXBase, XXBase, Boolean, Boolean, Boolean, Int32)
gm.b(XXBase, XXBase)
od.a(XXGridQueue, TaskStatus, ProcessResult, Int32, Int32, Int32)
od.b(XXGridQueue)
he.b(XXBaseCollection)
he.a(Boolean ByRef)
XX.MySvc.tmr_Elapsed(System.Object)
System.Threading.ExecutionContext.Run(System.Threading.ExecutionContext, System.Threading.ContextCallback, System.Object, Boolean)
Реконструирован стек вызовов исключений нарушения прав доступа. Ошибка возникает при вызове сборщика мусора после вызова библиотеки ODAC.
(1330.1074): Access violation - code c0000005 (first chance)
FirstChance_av_AccessViolation
clr!WKS::gc_heap::plan_phase+0x5ac
clr!WKS::gc_heap::gc1+0xbb
clr!WKS::gc_heap::garbage_collect+0x276
clr!WKS::GCHeap::GarbageCollectGeneration+0x14e
clr!WKS::gc_heap::try_allocate_more_space+0x25f
clr!WKS::GCHeap::Alloc+0x7e
clr!FastAllocatePrimitiveArray+0xc5
clr!JIT_NewArr1+0x389
System.Decimal.GetBits(System.Decimal)
Oracle.DataAccess.Types.DecimalConv.GetDecimal(IntPtr)
Oracle.DataAccess.Client.OracleDataReader.GetDecimal(Int32)
Oracle.DataAccess.Client.OracleDataReader.GetValue(Int32)
Oracle.DataAccess.Client.OracleDataReader.GetValues(System.Object[])
jr.a(System.Data.IDataReader, Boolean, ku, Boolean, DbTypeEnum, System.Type[])
ls.a(System.Data.IDataReader, Boolean, ku, Boolean, DbTypeEnum, System.Type[])
ba.a(System.String, System.Data.IDataReader, Boolean, ku, Boolean, System.Type[])
...
XX.MySvc.tmr_Elapsed(System.Object)
Возможные аналогичные проблемы (из новой информации): http://markmail.org/message/yy3mvbngula4i3mu#query:+page:1+mid:l546gn5sfxtxxm5i+state:results http: // social. msdn.microsoft.com/Forums/en/clr/thread/33920b39-690c-42c8-b04a-0f1f7176835a
ОБНОВЛЕНИЕ 2 (23 февраля):
Компоненты ODAC были обновлены до правильной версии для Dotnet 4.0 (или который указан как совместимый на веб-сайте Oracle), и проблема все еще возникает повторно. Это все еще повторяется очень периодически, каждые одну-две недели. Выполняемая услуга циклически повторяется каждый день.
Есть еще несколько дампов последних сбоев, и они все еще указывают на повреждение кучи, хотя и не являются полными дампами (нарушение прав доступа). На самом деле кажется, что создать полный дамп не удалось.
Creating d:\dumps\2xx_Crash_Mode\FULLDUMP_FirstChance_epr_Process_Shut_Down_MySvc.exe__0344.dmp - mini user dump
WriteFullMemory.Memory.Read(0x262c000, 0x1000) failed 0x8007012b, ABORT.
Dump creation failed, Win32 error 0n299
"Only part of a ReadProcessMemory or WriteProcessMemory request was completed."
Кроме того, в приложение загружается настраиваемая управляемая (dotnet) библиотека, и это тоже, похоже, вызывает исключение, хотя это только «первый шанс» и, похоже, не вызывает сбоя процесса (я предполагая, что это может быть фактором). На самом деле это тоже наша библиотека, поэтому я могу убедиться, что она не вызывает управляемый код. Ошибка:
EXCEPTION_RECORD: ffffffffffffffff -- (.exr 0xffffffffffffffff)
ExceptionAddress: 000007fefcffaa7d (KERNELBASE!RaiseException+0x0000000000000039)
ExceptionCode: c0000006 (In-page I/O error)
ExceptionFlags: 00000000
NumberParameters: 3
Parameter[0]: 0000000000000000
Parameter[1]: 000000006d34aca0
Parameter[2]: 00000000c00000c4
Inpage operation failed at 000000006d34aca0, due to I/O error 00000000c00000c4
PROCESS_NAME: MySvc.exe
ERROR_CODE: (NTSTATUS) 0xc0000006 - The instruction at 0x%p referenced memory at 0x%p. The required data was not placed into memory because of an I/O error status of 0x%x.
EXCEPTION_OBJECT: !pe 1a8106a8
Exception object: 000000001a8106a8
Exception type: System.Runtime.InteropServices.SEHException
Message: External component has thrown an exception.
InnerException:
StackTrace (generated):
SP IP Function
000000002C77B980 0000000000000000 ...
000000002C77BA50 000007FF01DCBA51 ...
StackTraceString:
HResult: 80004005
MANAGED_OBJECT: !dumpobj 148306f8
Name: System.String
MethodTable: 000007feed9a6870
EEClass: 000007feed52ed58
Size: 112(0x70) bytes
File: C:\Windows\Microsoft.Net\assembly\GAC_64\mscorlib\v4.0_4.0.0.0__b77a5c561934e089\mscorlib.dll
String: External component has thrown an exception.
Fields:
MT Field Offset Type VT Attr Value Name
0000000000000000 4000103 8 System.Int32 1 instance 43 m_stringLength
0000000000000000 4000104 c System.Char 1 instance 45 m_firstChar
000007feed9a6870 4000105 10 System.String 0 shared static Empty
>> Domain:Value 00000000002a69f0:NotInit 000000000dd738d0:NotInit <<
EXCEPTION_MESSAGE: External component has thrown an exception.
MANAGED_OBJECT_NAME: System.Runtime.InteropServices.SEHException
MANAGED_STACK_COMMAND: !pe 1a8106a8
LAST_CONTROL_TRANSFER: from 000007fef47e8fc1 to 000007fefcffaa7d
ADDITIONAL_DEBUG_TEXT: Followup set based on attribute [Is_ChosenCrashFollowupThread] from Frame:[0] on thread:[PSEUDO_THREAD] ; Followup set based on attribute [ip_is_call_value_Arch_si] from Frame:[23] on thread:[162c]
FAULTING_THREAD: ffffffffffffffff
BUGCHECK_STR: APPLICATION_FAULT__SYSTEM.RUNTIME.INTEROPSERVICES.SEHEXCEPTION_APPLICATION_FAULT_CALL
PRIMARY_PROBLEM_CLASS: _SYSTEM.RUNTIME.INTEROPSERVICES.SEHEXCEPTION_CALL
DEFAULT_BUCKET_ID: _SYSTEM.RUNTIME.INTEROPSERVICES.SEHEXCEPTION_CALL
STACK_TEXT:
00000000`2c77b980 00000000`00000000 ...
00000000`2c77ba50 00000000`ffffffff ...
Любой, у кого есть идеи, как продолжить это целесообразным способом. Я очень хочу получить еще несколько полных дампов - но, конечно, нужно найти ответы раньше, чем следующая ошибка !!