原文:http://foofish.net/blog/89/python_int_implement
整数对象在Python内部用PyIntObject
结构体表示:
typedef struct {
PyObject_HEAD
long ob_ival;
} PyIntObject;
PyObject_HEAD宏中定义的两个属性分别是:
int ob_refcnt;
struct _typeobject *ob_type;
这两个属性是所有Python对象固有的:
- ob_refcnt:对象的引用计数,与Python的内存管理机制有关,它实现了基于引用计数的垃圾收集机制
- ob_type:用于描述Python对象的类型信息。
由此看来PyIntObject就是一个对C语言中long类型的数值的扩展,出于性能考虑,对于小整数,Python使用小整数对象池small_ints
缓存了[-5,257)之间的整数,该范围内的整数在Python系统中是共享的。
#define NSMALLPOSINTS 257
#define NSMALLNEGINTS 5
static PyIntObject *small_ints[NSMALLNEGINTS + NSMALLPOSINTS];
而超过该范围的整数即使值相同,但对象不一定是同一个,如下所示:当a与b的值都是10000,但并不是同一个对象,而值为1的时候,a和b属于同一个对象。
>>> a = 10000
>>> b = 10000
>>> print a is b
False
>>> a = 1
>>> b = 1
>>> print a is b
True
对于超出了[-5, 257)之间的其他整数,Python同样提供了专门的缓冲池,供这些所谓的大整数使用,避免每次使用的时候都要不断的malloc分配内存带来的效率损耗。这块内存空间就是PyIntBlock
。
struct _intblock {
struct _intblock *next;
PyIntObject objects[N_INTOBJECTS];
};
typedef struct _intblock PyIntBlock;
static PyIntBlock *block_list = NULL;
static PyIntObject *free_list = NULL;
这些内存块(blocks)由一个单向链表表示,表头是block_list
,block_list
始终指向最新创建的PyIntBlock对象。next指针指向下一个PyIntBlock对象,objects是一个PyIntObject数组(最终会转变成单向链表),它是真正用于存储被缓存的PyIntObjet对象的内存空间。 free_list
单向链表是所有block的objects中空闲的内存。所有空闲内存通过一个链表组织起来的好处就是在Python需要新的内存来存储新的PyIntObject对象时,能够通过free_list
快速获得所需的内存。
创建一个整数对象时,如果它在小整数范围内,就直接从小整数缓冲池中直接返回,如果不在该范围内,就开辟一个大整数缓冲池内存空间:
[intobject.c]
PyObject* PyInt_FromLong(long ival)
{
register PyIntObject *v;
#if NSMALLNEGINTS + NSMALLPOSINTS > 0
//[1] :尝试使用小整数对象池
if (-NSMALLNEGINTS <= ival && ival < NSMALLPOSINTS) {
v = small_ints[ival + NSMALLNEGINTS];
Py_INCREF(v);
return (PyObject *) v;
}
#endif
//[2] :为通用整数对象池申请新的内存空间
if (free_list == NULL) {
if ((free_list = fill_free_list()) == NULL)
return NULL;
}
//[3] : (inline)内联PyObject_New的行为
v = free_list;
free_list = (PyIntObject *)v->ob_type;
PyObject_INIT(v, &PyInt_Type);
v->ob_ival = ival;
return (PyObject *) v;
}
fill_free_list
就是创建大整数缓冲池内存空间的逻辑,该函数返回一个free_list
链表,当整数对象ival创建成功后,free_list
表头就指向了v->ob_type
,ob_type
不是所有Python对象中表示类型信息的字段吗?怎么在这里作为一个连接指针呢?这是Python在性能与代码优雅之间取中庸之道,对名称的滥用,放弃了对类型安全的坚持。把它理解成指向下一个PyIntObject的指针即可。
[intobject.c]
static PyIntObject* fill_free_list(void)
{
PyIntObject *p, *q;
// 申请大小为sizeof(PyIntBlock)的内存空间
// block list始终指向最新创建的PyIntBlock
p = (PyIntObject *) PyMem_MALLOC(sizeof(PyIntBlock));
((PyIntBlock *)p)->next = block_list;
block_list = (PyIntBlock *)p;
//:将PyIntBlock中的PyIntObject数组(objects)转变成单向链表
p = &((PyIntBlock *)p)->objects[0];
q = p + N_INTOBJECTS;
while (--q > p)
// ob_type指向下一个未被使用的PyIntObject。
q->ob_type = (struct _typeobject *)(q-1);
q->ob_type = NULL;
return p + N_INTOBJECTS - 1;
}
不同的PyIntBlock里面的空闲的内存是怎样连接起来构成free_list
的呢?这个秘密放在了整数对象垃圾回收的时候,在PyIntObject对象的tp_dealloc操作中可以看到:
[intobject.c]
static void int_dealloc(PyIntObject *v)
{
if (PyInt_CheckExact(v)) {
v->ob_type = (struct _typeobject *)free_list;
free_list = v;
}
else
v->ob_type->tp_free((PyObject *)v);
}
原来PyIntObject对象销毁时,它所占用的内存并不会释放,而是继续被Python使用,进而将free_list
表头指向了这个要被销毁的对象上。
总结
- Python中的int对象就是c语言中long类型数值的扩展
- 小整数对象[-5, 257]在python中是共享的
- 整数对象都是从缓冲池中获取的。
- 整数对象回收时,内存并不会归还给系统,而是将其对象的ob_type指向free_list,供新创建的整数对象使用
参考:intobject.cy
相关推荐
主要介绍了Python整数对象实现原理详解,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
主要介绍了Python字符串对象实现原理详解,在Python世界中将对象分为两种:一种是定长对象,比如整数,整数对象定义的时候就能确定它所占用的内存空间大小,另一种是变长对象,在对象定义时并不知道是多少,需要的...
‘==’ 比较的是两个对象的值 ‘is’ 比较的是两个对象的内存地址(id) 下面我们着重理解 ‘is’。对于这个,我们需要知道:...大整数对象池:Python 提供了一个可扩展的内存空间,也叫通用整数对象池,谁需要用就给谁用
为了解决这些问题,我们开发了Migen FHDL库,它用组合和同步语句的概念取代了事件驱动范式,具有使整数始终表现得像数学整数的算术规则,最重要的是允许构建设计的逻辑通过 Python 程序。最后一点使硬件设计人员能够...
Python是一种多范式编程语言,既适合面向对象编程,也适合函数式编程和过程式编程。它语法简洁明了,易于上手,因此成为许多人入门编程的首选语言。以下是对Python入门的一些补充说明: 1. Python基础知识 - 变量、数据...
2.3.2 整数数组作为下标.....................49 2.3.3 一个复杂的例子.........................51 2.3.4 布尔数组作为下标.....................53 2.4 庞大的函数库 ............................... 54 2.4.1 ...
Python提供了生成和返回整数序列的内置函数range及xrange,虽然这两个函数在功能上是差不多的,但其实现原理还是有差别的。range(n, m)返回的是一个从n到(m-1)的连续的整数列表,而xrange(n, m)返回的却是一个特殊的...
米根(密尔吉斯主义发电机)用于构建复杂的数字硬件的Python工具箱尽管比原理图输入要快,但是由于多种原因,使用Verilog和VHDL进行硬件设计仍然很繁琐且效率低下。 事件驱动模型引入了同步电路不需要的问题和手动...
函数编译可设置使用底层整数代替python内建对象作为数字使用。有些代码的运行效率可以媲美c的效率,并且可以被python直接调用,适合做时间紧迫性,运算复杂度高的应用。 通过内联汇编功能,应用可以完全接入底层运行...
穆罕默达利(阿里)阿萨迪 计算机科学博士学位。 在加拿大( 教授的指导下,我的研究重点是高性能科学计算。 ...以前,我在RR的指导下,以SageMath(Python)中的实验原型为研究对象,研究了整数上
它假定示例可以被表示为向量,并可以通过整数识别。除此之外,这些向量可以与 L2 位距或点积进行比较。与一个查询向量(query vector)相似的向量是具有最低 L2 位距或最高点积的查询向量。Faiss 还支持余弦相似性...
traindata.csv是AI的训练对象。 其中的数字是随机生成的,但经过微调,因此大多数不是整数(整数是整数。例如9、481593或6。)实际上,我不知道其中是否有任何整数。 可能没有。 testdata.csv文件是对其进行测试的...
通过一个精练的教程理解正则表达式的基本原理和技巧; 在不同的编程语言和脚本语言中有效使用正则表达式; 学习如何对输入进行合法性检查和格式化; 处理单词、文本行、特殊字符和数值; 学习如何在URL、...
通过一个精练的教程理解正则表达式的基本原理和技巧; 在不同的编程语言和脚本语言中有效使用正则表达式; 学习如何对输入进行合法性检查和格式化; 处理单词、文本行、特殊字符和数值; 学习如何在...
传统上网页的交互作用是通过CGI来实现的。CGI程序的伸缩性不很理想,因为它为每一个正在运行的CGI程序开一个独立进程。解决方法就是将经常用来编写CGI程序的语言的解释器编译进你的web服务器(比如mod_perl,JSP)。PHP...