初探C++内存池项目 —(二)内存池的实现及原理详解

释放双眼,带上耳机,听听看~!

一.内存池介绍

为了丰富内容,我在把内存池介绍一遍~

内存池是池化技术中的一种形式。通常我们在编写程序的时候回使用 new delete 这些关键字来向操作系统申请内存,而这样造成的后果就是每次申请内存和释放内存的时候,都需要和操作系统的系统调用打交道,从堆中分配所需的内存。如果这样的操作太过频繁,就会找成大量的内存碎片进而降低内存的分配性能,甚至出现内存分配失败的情况。
而内存池就是为了解决这个问题而产生的一种技术。从内存分配的概念上看,内存申请无非就是向内存分配方索要一个指针,当向操作系统申请内存时,操作系统需要进行复杂的内存管理调度之后,才能正确的分配出一个相应的指针。而这个分配的过程中,我们还面临着分配失败的风险。
所以,每一次进行内存分配,就会消耗一次分配内存的时间,设这个时间为 T,那么进行 n 次分配总共消耗的时间就是 nT;如果我们一开始就确定好我们可能需要多少内存,那么在最初的时候就分配好这样的一块内存区域,当我们需要内存的时候,直接从这块已经分配好的内存中使用即可,那么总共需要的分配时间仅仅只有 T。当 n 越大时,节约的时间就越多。

二.项目源码及分析

源码地址:
https://github.com/82457097/Linux/tree/master/MemoryPool

1.MemoryPool


1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
1#ifndef MEMORY_POOL_H
2#define MEMORY_POOL_H
3
4#include<limits>
5#include<cstddef>
6
7template<typename T,size_t BlockSize = 4096>
8class MemoryPool {
9public:
10  typedef T* pointer;
11
12  //定义rebind<U>::other 的接口
13  //other的作用就是把模板的类型从T转成U
14  //你可以这样使用 MemoryPoll<T>::rebind<U>::other
15  //给其取别名的时候需要注意,详细可以看上一篇文章中的说明,格式如下
16  //typedef typename MemoryPool<T>::template rebind<U>::other XXXX
17  template<typename U>
18  struct rebind {
19      typedef MemoryPool<U> other;
20  }; 
21 
22  //构造函数
23  MemoryPool() {
24      m_currentBlock = nullptr;
25      m_currentSlot = nullptr;
26      m_lastSlot = nullptr;
27      m_freeSlots = nullptr;
28  }
29 
30  //析构函数
31  ~MemoryPool() {
32      //创建一个指针 指向当前已分配出去的内存区块链
33      m_slotPointer curr = m_currentBlock;
34      //循环删除 reinterpret_cast 为强制类型转换符
35      while(curr != nullptr) {
36          m_slotPointer temp = curr->next;
37          operator delete(reinterpret_cast<void>(curr));
38          curr = temp;
39      }
40  }
41 
42  //给新建对象分配内存节点,这一块代码比较多,但是逻辑不难,也是内存池比较重要的业务
43  pointer allocate(size_t n = 1, const pointer hint = 0) {
44      //如果有空闲节点,那么直接分配出去
45      if(m_freeSlots != nullptr) {
46          pointer ret = reinterpret_cast<pointer>(m_freeSlots);
47          m_freeSlots = m_freeSlot->next;
48          return ret;
49      }
50      else {
51          //如果节点使用完了,则分配一个新的内存区块
52          if(m_currentSlot >= m_lastSlot) {
53              //分配一个新的内存块,并指向前一个内存区块,逻辑就是头插法给链表增加一个节点
54              m_dataPointer newBlock = reinterpret_cast<m_dataPointer>(operator new(BlockSize));
55              reinterpret_cast<m_slotPointer>(newBlock)->next = m_currentBlock;
56              m_currentBlock = reinterpret_cast<m_slotPointer>(newBlock);
57              //填补整个区块来满足元素内存区域的对齐要求;
58              m_dataPointer body = newBlock + sizeof(m_slotPointer);
59              //在64位的机器上,uintptr_t 是unsigned long int的别名;
60              //在32位的机器上,uintptr_t 是unsigned int的别名。
61              //为什么用这个,是为了指针转换的安全性考虑,提高程序的可移植性
62              uintptr_t result = reinterpret_cast<uintptr_t>(body);
63              //alignof 的作用是获取指定对象的字节对齐方式
64              //这一部分是给各个节点功能指针确定位置,计算内存地址的偏移量
65              size_t bodyPadding = (alignof(m_slotType) - result) % alignof(m_slotType);
66              m_currentSlot = reinterpret_cast<m_slotPointer>(body + bodyPadding);
67              m_lastSlot = reinterpret_cast<m_slotPointer>(newBlock + BlockSize - sizeof(m_slotType));
68          }
69          return reinterpret_cast<Pointer>(m_currentSlot++);
70      }
71  }
72  //销毁指针p所指的节点
73  void deallocate(pointer p, size_t n = 1) {
74      if(p != nullptr) {
75          //reinterpret_cast是强制类型转换符
76          //要访问next必须强制将p转成m_slotPointer
77          //实际上就是将需要销毁的内存节点用头插法插入m_freeSlots空闲空间链
78          reinterpret_cast<m_slotPointer>(p)->next = m_freeSlots;
79          m_freeSlots = reinterpret_cast<m_slotPointer>(p);
80      }
81  }
82 
83  //调用构造函数,使用std::forward 转化变参模板
84  //详细说明见下文连接
85  template<typename U, typename... Args>
86  void construct(U* p, Args&&... args) {
87      new (p) U (std::forward<Args>(args)...);
88  }
89
90  //销毁内存池中的对象,即调用对象的析构函数
91  template<typename U>
92  void destroy(U* p) {
93      p->~U();
94  }
95
96private:
97  //用于初始化内存中的节点
98  union Slot {
99      T data;
100     Slot* next;
101 };
102
103 //数据节点指针
104 typedef char* m_dataPointer;
105 //对象
106 typedef Slot m_slotType;
107 //对象指针
108 typedef Slot* m_slotPointer;
109
110 //指向已分配的内存区块
111 m_slotPointer m_currentBlock;
112 //指向当前已分配内存区块的一个对象节点
113 m_slotPointer m_currentSlot;
114 //指向最后一个对象节点
115 m_slotPointer m_lastSlot;
116 //指向空闲节点
117 m_slotPointer m_freeSlots;
118 //断言内存池是否太小
119 static_assert(BlockSize >= 2 * sizeof(m_slotType), "BlockSize too small.");
120};
121
122#endif
123
124

2.一些说明

这些都是项目的一些扩展点,不做详细解释,给大家提供我自己参考的文章链接~

  • 2.1 size_t的用法

size_t的用法及作用可以参考这篇文章

  • 2.2 可变参数模板的介绍

关于可变参数模板可以参考这篇文章

  • 2.3 关于uintptr_t可以参考一下这篇文章

关于uintptr_t的作用,可以参考这篇文章

三.项目总结

其实经过研究就会发现,内存其实就是通过链表将内存空间串起来,当然根据不同的需要会同时存在很多个不同功能的链表,比如我们实现的内存池,就有存放已分配对象的链表,串联大内存块的链表,存放空闲(或者已释放)内存链表;然后通过一些操作,实现内存的分配管理。
这个内存池分配机制其实和STL中的vector类似,不过vector容器好像申请内存块的大小是翻倍增加的,会导致一定的空间浪费,但是这样会节省时间,程序设计总是这样,空间换时间,时间换空间,根据自己的需要来就好了。
系统的内存分配我只了解一点,估计也是大同小异。系统的分配机制更为复杂一些,当你申请一块内存的时候,他会根据你申请的大小去空闲内存区块链表上去寻找大于你申请量的节点,然后将节点一分为二,把你需要的大小给你,剩下的再插入空闲链表。这样的话,频繁的分配会造成很多内存碎片,浪费时间,而且当你申请的内存量大于所有剩下的空闲节点时,他还会把内存碎片整合,再分配给你,是一个很复杂的过程,对时间的开销比较大。
所以通过对比不难发现,自己实现的内存池相对于系统来分配,其优势还是很大的,虽然最后都是向系统去申请内存,但是有内存池作为一个缓冲,会减少很多分配次数,节省系统去为你找寻合适空闲块的时间。
以上只是我这一段时间学习内存的一些拙见,不确保理解的很正确,也希望大家能给出指正或者宝贵意见!

给TA打赏
共{{data.count}}人
人已打赏
安全技术

c++ list, vector, map, set 区别与用法比较

2022-1-11 12:36:11

安全经验

Dubbo与Zookeeper、SpringMVC整合和使用(负载均衡、容错)

2021-11-28 16:36:11

个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索