Предотвращение исключения OutOfMemoryException при больших, быстрых и частых выделениях памяти в C#
Наше приложение постоянно выделяет массивы для больших объемов данных (, скажем, от десятков до сотен мегабайт ), которые живут в течение короткого промежутка времени, прежде чем будут отброшены.
Наивно это может привести к фрагментации кучи больших объектов, что в конечном итоге приведет к сбою приложения с OutOfMemoryException, несмотря на то, что размер текущих активных объектов не является чрезмерным.
Один из способов, которым мы успешно справлялись с этим в прошлом, — разбивать массивы на части, чтобы гарантировать, что они не окажутся в LOH, идея состоит в том, чтобы избежать фрагментации, позволив памяти быть сжатой сборщиком мусора.
Наше последнее приложение обрабатывает больше данных, чем раньше, и очень часто передает эти сериализованные данные между надстройками -, размещенными либо в отдельных доменах приложений, либо в отдельных процессах. Мы использовали тот же подход, что и раньше, гарантируя, что наша память всегда разбита на фрагменты, и были очень осторожны, чтобы избежать выделения кучи больших объектов.
Однако у нас есть одно дополнение -, которое должно быть размещено во внешнем 32-битном процессе (, поскольку наше основное приложение является 64-битным, а дополнение -должно использовать 32-битную библиотеку ). При особенно высокой нагрузке, когда большое количество фрагментов памяти SOH быстро выделяется и вскоре после этого отбрасывается, даже нашего подхода к фрагментированию недостаточно для сохранения нашего 32-битного добавления -, и он вылетает с OutOfMemoryException.
Использование WinDbg в момент возникновения OutOfMemoryException !heapstat -inclUnrootedпоказывает это:
Heap Gen0 Gen1 Gen2 LOH
Heap0 24612 4166452 228499692 9757136
Free space: Percentage
Heap0 12 12 4636044 12848SOH: 1% LOH: 0%
Unrooted objects: Percentage
Heap0 72 0 5488 0SOH: 0% LOH: 0%
!dumpheap -statпоказать это:
-- SNIP --
79b56c28 3085 435356 System.Object[]
79b8ebd4 1 1048592 System.UInt16[]
79b9f9ac 26880 1301812 System.String
002f7a60 34 4648916 Free
79ba4944 6128 87366192 System.Byte[]
79b8ef28 17195 145981324 System.Double[]
Total 97166 objects
Fragmented blocks larger than 0.5 MB:
Addr Size Followed by
18c91000 3.7MB 19042c7c System.Threading.OverlappedData
Это говорит мне, что наше использование памяти не является чрезмерным,и наша куча больших объектов очень мала, как и ожидалось (, поэтому мы определенно не имеем здесь дело с фрагментацией кучи больших объектов ).
Однако !eeheap -gcпоказывает это:
Number of GC Heaps: 1
generation 0 starts at 0x7452b504
generation 1 starts at 0x741321d0
generation 2 starts at 0x01f91000
ephemeral segment allocation context: none
segment begin allocated size
01f90000 01f91000 02c578d0 0xcc68d0(13396176)
3cb10000 3cb11000 3d5228b0 0xa118b0(10557616)
3ece0000 3ece1000 3fc2ef48 0xf4df48(16047944)
3db10000 3db11000 3e8fc8f8 0xdeb8f8(14596344)
42e20000 42e21000 4393e1f8 0xb1d1f8(11653624)
18c90000 18c91000 19c53210 0xfc2210(16523792)
14c90000 14c91000 15c85c78 0xff4c78(16731256)
15c90000 15c91000 168b2870 0xc21870(12720240)
16c90000 16c91000 17690744 0x9ff744(10483524)
5c0c0000 5c0c1000 5d05381c 0xf9281c(16328732)
69c80000 69c81000 6a88bc88 0xc0ac88(12627080)
6b2d0000 6b2d1000 6b83e8a0 0x56d8a0(5691552)
6c2d0000 6c2d1000 6d0f2608 0xe21608(14816776)
6d2d0000 6d2d1000 6defc67c 0xc2b67c(12760700)
6e2d0000 6e2d1000 6ee7f304 0xbae304(12247812)
70000000 70001000 70bfb41c 0xbfa41c(12559388)
71ca0000 71ca1000 72893440 0xbf2440(12526656)
73b40000 73b41000 74531528 0x9f0528(10421544)
Large object heap starts at 0x02f91000
segment begin allocated size
02f90000 02f91000 038df1d0 0x94e1d0(9757136)
Total Size: Size: 0xe737614 (242447892) bytes.
------------------------------
GC Heap Size: Size: 0xe737614 (242447892) bytes.
Что меня здесь поражает, так это то, что наш последний сегмент кучи SOH начинается с адреса 0x73b41000, что соответствует пределу нашей доступной памяти в нашем 32-битном дополнении -in.
Итак, если я правильно понимаю, наша проблема заключается в том, что наша виртуальная память стала фрагментирована управляемыми сегментами кучи.
Я предполагаю, что мои вопросы здесь будут:
- Верен ли мой анализ?
- Разумен ли наш подход к предотвращению фрагментации LOH с помощью фрагментации?
- Есть ли хорошая стратегия, чтобы избежать фрагментации памяти, которую мы сейчас наблюдаем?
Самый очевидный ответ, который я могу придумать, — объединить и повторно -использовать куски памяти. Потенциально это -возможно, но этого я бы предпочел избегать, поскольку это требует от нас эффективного управления этой частью нашей памяти.