linux new / delete,malloc / free大内存块
作者：互联网
我们有一个运行许多CORBA Server进程的linux系统(kubuntu 7.10).
服务器软件使用glibc库进行内存分配.
linux PC具有4G物理内存.由于速度原因,交换被禁用.
收到处理数据的请求后,其中一个服务器进程将分配一个大数据缓冲区(使用标准C运算符“ new”).缓冲区大小取决于许多参数,但通常约为1.2G字节.最多可以达到1.9G字节.请求完成后,使用“删除”释放缓冲区.
这对于分配了相同大小的缓冲区的多个连续请求,或者该请求分配的大小小于前一个请求的连续请求,效果很好.
内存似乎没问题-否则,仅在几个请求之后,缓冲区分配尝试最终将失败.
无论如何,我们可以看到使用KSysGuard等工具为每个请求分配和释放了缓冲存储器.
当请求所需的缓冲区大于前一个缓冲区时,就会出现问题.
在这种情况下,运算符“ new”会引发异常.
好像已经从第一次分配中释放出来的内存似乎无法重新分配,即使有足够的可用物理内存.
如果我在第一次操作后终止并重新启动服务器进程,那么第二次请求更大缓冲区的请求成功.即终止进程似乎将释放的内存完全释放回系统.
任何人都可以对这里发生的事情提供解释吗？
可能是某种碎片或映射表大小的问题吗？
我正在考虑用malloc / free替换new / delete,并使用mallopt来调整将内存释放到系统的方式.
顺便说一句-我不确定这是否与我们的问题有关,但是服务器使用在每个处理请求中创建和销毁的Pthread.
解决方法:
如果这是一台32位计算机,则将拥有3Gb的地址空间供您使用-1Gb是为内核保留的,其中相当一部分地址空间将被共享库,exe文件,数据段等占用您应该查看/ proc / pid / maps以了解地址空间的布局.
很难知道有多少物理地址空间可用,您的所有系统进程,内核和其他进程都会吃掉它.假设这些总和不超过1Gb,您仍然可以使用3Gb.
可能正在发生碎片：
0Gb 3Gb ---------------------~------------------------------------ |Stuff | Heap,1.2Gb allocated stuff | free heap | Stack| ---------------------~------------------------------------
然后,您释放了大对象,但是在其他一些内存之间
分配,剩下的就是这个：
0Gb 3Gb ---------------------~------------------------------------------ |Stuff | Heap,1.2Gb free |small object(s) | free heap | Stack| ---------------------~------------------------------------------
如果您现在尝试分配更大的对象,则它将无法容纳在可用的1.2Gb空间中
而且也可能不适合自由堆空间,因为那可能没有足够的空间.
如果您大量使用堆栈,则可能是堆栈不断增长并占用了空间
否则可以用于堆空间-尽管默认情况下,大多数发行版将堆栈限制为8-10Mb.
使用malloc / realloc将无济于事.但是,如果您知道所需的最大对象的大小,则可以在启动时保留这么多的对象.该片永远都不应被释放/删除,而应该重新使用.但是,这是否会使您在其他地方陷入其他麻烦却很难确定-其他对象的可用空间会变小.
标签：malloc,memory,free,new-operator,linux 来源： https://codeday.me/bug/20191106/2000618.html