首页 编程教程正文

Python中的Descriptor描述符学习教程

piaodoo 编程教程 2020-02-02 12:38:42 1034 0 python教程

简单来说,数据描述符是指实现了__get__、__set__、__del__方法的类属性,等效于定义了三个方法的接口,下面就来详细看一下Python中的Descriptor修饰符学习教程

Descriptor是什么?简而言之,Descriptor是用来定制访问类或实例的成员的一种协议。额。。好吧,一句话是说不清楚的。下面先介绍一下Python中成员变量的定义和使用。
我们知道,在Python中定义类成员和C/C++相比得到的结果具有很大的差别。如下面的定义:

 class Cclass
 {
   int I;
   void func();
 };
 
 Cclass c;

在上面的定义中,C++定义了一个类型,所有该类型的对象都包含有一个成员整数i和函数func;而Python则创建了一个名为Pclass、类型(__class__)为type(详情请参见MetaClass,Python中一切皆为对象,类型也不例外)的对象,然后再创建一个名为p、类型为Pclass的对象。如下所示:

 In [71]: type(pclass)
 Out[71]: <type 'type'>
 In [72]: p = pclass()
 In [73]: type(p)
 Out[73]: <class '__main__.pclass'>

p和Pclass各自包含了一些成员,如下所示:
1 p.__class__ p.__init__ p.__sizeof__
2 p.__delattr__ p.__module__ p.__str__
3 p.__dict__ p.__new__ p.__subclasshook__
4 p.__doc__ p.__reduce__ p.__weakref__
5 p.__format__ p.__reduce_ex__ p.f
6 p.__getattribute__ p.__repr__ p.i
7 p.__hash__ p.__setattr__

其中,带有双下划线的成员为特殊成员,或者可以称之为固定成员(和__slots__定义的成员类似),这些成员变量的值可以被改变,但不能被删除(del)。其中,__class__变量为对象所属的类型,__doc__为对象的文档字符串。有一个特殊成员值得注意:__dict__,该字典中保存了对象的自定义变量。相信大家在初学Python对于其中对象可以任意增加删除成员变量的能力感到惊讶,其实这个功能的玄机就在于__dict__成员中(注意type的__dict__为dictproxy类型):

 In [10]: p.x = 2
 In [11]: p.__dict__
 Out[11]: {'x': 2}

通过上面的演示可以很清楚地看出:Python将对象的自定义成员以键值对的形式保存到__dict__字典中,而前面提到的类型定义只是这种情况的语法糖而已,即上面的类型定义等价于以下形式的定义:

 Class Pclass(object): pass
 Pclass.i = 1
 Pclass.f = lambda x: x

访问成员变量时,Python也是从__dict__字典中取出变量名对应的值,如下形式的两种访问形式是等价的——在Descriptor被引入之前:

 p.i
 p.__dict__['i']

Descriptor的引入即将改变上面的规则,且看下文分解。
定义:Descriptor Protocol
    Descriptor如何改变对象成员的访问规则呢?根据计算机理论中“绝大多数软件问题都可以用增加一个中间层的方式解决”这一名言,我们需要为对象访问提供一个中间层,而非直接访问所需的对象。实现这一中间层的方式是定义Descriptor协议。Descriptor的定义很简单,如果一个类包含以下三个方法(之一),则可以称之为一个Descriptor:

1.object.__get__(self, instance, owner)

成员被访问时调用,instance为成员所属的对象、owner为instance所属的类型

2.object.__set__(self, instance, value)

成员被赋值时调用

3.0object.__delete__(self, instance)

成员被删除时调用

如果我们需要改变一个对象在其它对象中的访问规则,需要将其定义成Descriptor,之后在对该成员进行访问时将调用该Descriptor的相应函数。下面是一个使用Descriptor改变访问规则的例子:

 class MyDescriptor(object):
   def __init__(self, x):
     self.x = x
   def __get__(self, instance, owner):
     print 'get from descriptor'
     return self.x
   def __set__(self, instance, value):
     print 'set from descriptor'
     self.x = value
   def __delete__(self, instance)
     print 'del from descriptor, the val is', self.x
 
 class C(object):
   d = MyDescriptor('hello')
 
 >> C.d
 get from descriptor
 
 >> c = C()
 >> c.d
 get from descriptor
 
 >> c.d = 1
 set from descriptor
 
 >> del c.d
 del from descriptor, the val is 1

从例子中可以看出:当我们对对象成员进行引用(Reference)、赋值(Assign)和删除(Dereference)操作时,如果对象成员为一个Descriptor,则这些操作将执行该Descriptor对象的相应成员函数。以上约定即为Descriptor协议。

obj.name背后的魔法
引入了Descriptor之后,Python对于对象成员访问的规则是怎样的呢?在回答这一问题之前,需要对Descriptor进行简单的划分:

Overriding或Data:对象同时提供了__get__和__set__方法

Nonoverriding或Non-Data:对象仅提供了__get__方法

(__del__方法表示自己被忽略了,很伤心~)

下面是从一个类对象中访问其成员(如C.name)的规则:

如果“name”在C.__dict__能找到,C.name将访问C.__dict__['name'],假设为v。如果v是一个Descriptor,则返回type(v).__get__(v, None, C),否则直接返回v;

如果“name”不在C.__dict__中,则向上查找C的父类,根据MRO(Method Resolution Order)对C的父类重复第一步;

还是没有找到“name”,抛出AttributeError异常。

从一个类实例对象中访问其成员(如x.name,type(x)为C)要稍微复杂一些:

如果“name”能在C(或C的父类)中找到,且其值v为一个Overriding Descriptor,则返回type(v).__get__(v, x, C)的值;

否则,如果“name”能在x.__dict__中找到,则返回x.__dict__['name']的值;

如果“name”仍未找到,则执行类对象成员的查找规则;

如果C定义了__getattr__函数,则调用该函数;否则抛出AttributeError异常。

成员赋值的查找规则与访问规则类似,但还是有一点区别:对类成员执行赋值操作时将直接设置C.__dict__中的值,而不会调用Descriptor的__set__函数。

以上面的代码为例,当访问C.d时,Python将在C.__dict__中找到d,并且发现d是一个Descriptor,因此将调用d.__get__(None, C);当访问c.d时,Python首先查找C,并且在其中发现d的定义,且d为一个Overriding Descriptor,因此执行d.__get__(c, C)。

前面介绍了Descriptor的一些细节,那么Descriptor的作用是什么呢?在Python中,Descriptor主要用来实现一些Python本身的功能,如类方法调用、staticmethod和Property等。下面将对这些使用Descriptor进行类方法调用的实现进行介绍。

Bound & Unbound Method
在python中,函数是第一级的对象,即其本质与其它对象相同,差别在于函数对象是callable对象,即对于函数对象f,可以用语法f()来调用函数。上面提到的对象成员访问规则,对于函数来说是完全一样的。Python在实现成员函数调用时obj.f()时,会执行一下两个步骤:

根据对象成员访问规则获取函数对象;

用函数对象执行函数调用;

为了验证上述过程,我们可以执行以下代码:
 

Class C(object):
   def f(self):
     pass
 >> fun = C.f
 Unbound Method
 >> fun()
 >> c = C()
 >> fun = c.f
 Bound Method
 >> fun()

我们可以看到C.f和c.f返回了instancemethod类型的对象,这两个对象也是可调用的,但是却不是我们本以为的func对象。那么instancemethod对象和func对象之间具有什么关联呢?

func类型:func类型为Python中原始的函数对象类型,即def f(): pass将定义一个func类型的对象f;

instancemethod:func的一个wrapper,如果类方法没有绑定到对象,则该instancemethod为一个Unbound Method,对Unbound Method的调用将导致TypeError错误;如果类方法绑定到了对象,则该instancemethod为一个Bound Method,对Bound Method的调用不许要指定self参数的值。

如果查看Unbound Method对象和Bound Method对象的成员,我们可以发现它们都包含了一下三个成员:im_func、im_self和im_class。其中im_func为所封装的func对象,im_self则为所绑定对象的值,而im_class则为定义该函数的类对象。由此我们可以知道,Python会根据不同的情况返回函数的不同wrapper,当通过类对象访问函数时,返回的是名为Unbound Method对象的Wrapper,而通过类实例访问函数是,返回的则是绑定了该实例的名为Bound Method对象的Wrapper。

现在是Descriptor大显身手的时候了。

Python中将func定义为一个Overriding Descriptor,在其__get__方法中构造一个instancemethod对象,并根据被访问函数被访问的情况设置im_func、im_self和im_class成员。在instancemethod实例被调用时,则根据im_func和im_self来完成真正的函数调用。演示这一过程的代码如下:

 Class instancemethod(object):
   def __call__(self, *args):
     if self.im_self == None:
     raise 'unbound error'
     return self.im_func(self.im_self, *args)
   def __init__(self, im_self, im_func, im_class):
     self.im_self = im_self
     self.im_func = im_func
     self.im_class = im_class
 
 class func(object):
   ...
   def __get__(self, instance, owner):
     return instancemethod(instance, self, owner)
   def __set__(self, instance, value):
     pass
   ...

一个小问题的解决
分享一下刚遇到的一个小问题,我有一段类似于这样的python代码:

# coding: utf-8

class A(object):

  @property
  def _value(self):
#    raise AttributeError("test")
    return {"v": "This is a test."}

  def __getattr__(self, key):
    print "__getattr__:", key
    return self._value[key]

if __name__ == '__main__':
  a = A()
  print a.v

运行后可以得到正确的结果

__getattr__: v
This is a test.

但是注意,如果把

#    raise AttributeError("test")

这行的注释去掉的话,即在_value方法里面抛出AttributeError异常,事情就会变得有些奇怪。程序运行的时候并不会抛出异常,而是会进入一个无限递归:

File "attr_test.py", line 12, in __getattr__
  return self._value[key]
 File "attr_test.py", line 12, in __getattr__
  return self._value[key]
RuntimeError: maximum recursion depth exceeded while calling a Python object

通过多方查找后发现是property装饰器的问题,property实际上是一个descriptor。在python doc中可以发现这样的文字:

object.__get__(self, instance, owner)

Called to get the attribute of the owner class (class attribute access) or of an instance of that class (instance attribute access). owner is always the owner class, while instance is the instance that the attribute was accessed through, or None when the attribute is accessed through the owner. This method should return the (computed) attribute value or raise an AttributeError exception.

这样当用户访问._value时,抛出了AttributeError从而调用了__getattr__方法去尝试获取。这样程序就变成了无限递归。

这个问题看上去不复杂,但是当你的_value方法是比较隐晦的抛出AttributeError的话,调试起来就会比较困难了。


小结
Descriptor是访问对象成员时的一个中间层,为我们提供了自定义对象成员访问的方式。通过对Descriptor的探索,对原来的一些看似神秘的概念顿时有种豁然开朗的感觉:

类方法调用:编译器并没有为其提供专门的语法规则,而是使用Descriptor返回instancemethod来封装func,从而实现类似obj.func()的调用方式;

staticmethod:decorator将创建一个StaticMethod并在其中保存func对象,StaticMethod是一个Descriptor,其__get__函数中返回前面所保存的func对象;

Property:创建一个Property对象,在其__get__、__set__和__delete__方法中分别执行构造对象是传入的fget、fset、和fdel函数。现在知道为什么Property只提供这三个函数作为参数么。。

最后一个问题是,Python引入Descriptor之后的性能会不会有影响?性能影响是必须的:每次访问成员时的查找规则,之后再调用Descriptor的__get__函数,如果是方法调用的话之后才是执行真正的函数调用。每次访问对象成员时都要经历以上过程,对Python的性能应该会有较大的影响。但是,在Python的世界,貌似Pythonic才是被关注的重点,性能神马的就别提了。。

版权声明:

本站所有资源均为站长或网友整理自互联网或站长购买自互联网,站长无法分辨资源版权出自何处,所以不承担任何版权以及其他问题带来的法律责任,如有侵权或者其他问题请联系站长删除!站长QQ754403226 谢谢。

有关影视版权:本站只供百度云网盘资源,版权均属于影片公司所有,请在下载后24小时删除,切勿用于商业用途。本站所有资源信息均从互联网搜索而来,本站不对显示的内容承担责任,如您认为本站页面信息侵犯了您的权益,请附上版权证明邮件告知【754403226@qq.com】,在收到邮件后72小时内删除。本文链接:https://www.piaodoo.com/2798.html

评论

搜索

游戏网站源码,织梦网站源码,wordpress,wordpress主题,wordpress下载,wordpress插件,wordpress.com,wordpress模板,wordpress教程,wordpress 主题,wordpress安装,wordpress 模板,wordpress 插件,wordpress主题下载,wordpress企业主题,wordpress seo,wordpress主题开发,wordpress theme,wordpress论坛,wordpress 企业主题,wordpress主机,wordpress中文主题,wordpress cms主题,wordpress plugin,wordpress 主题下载,wordpress 主机,wordpress空间,wordpress mu,wordpress 模版,wordpress汉化主题,wordpress淘宝客主题,wordpress 空间,wordpress代码,WORDPRESS HOSTING,wordpress优点,wordpress安卓客户端,wordpress技巧,wordpress换空间,wordpress themes,网站模板,ppt模板网站,模板网站,企业网站模板,网站设计模板,免费网站模板,个人网站模板,ppt模板下载网站,网站模板下载,公司网站模板,门户网站模板,学校网站模板,网站首页模板,网站模板免费下载,旅游网站模板,网站后台模板,免费网站模板下载,传奇网站模板,网站建设模板,外贸网站模板,网站 模板,个人主页网站模板,个人网站模板下载,政府网站模板,音乐网站模板,导航网站模板,免费企业网站模板,企业网站模板下载,手表网站模板,韩国网站模板,汽车网站模板,教育网站模板,网站后台管理模板,班级网站模板,新闻网站模板,房产中介网站模板,旅游网站模板下载,工艺品网站模板,电子商务网站模板,旅游网站设计模板,团购网站模板,flash网站模板,个人网站设计模板,婚庆网站模板,广告公司网站模板,商业网站模板,手机网站模板,免费模板网站推荐,ppt免费模板网站推荐,织梦网站模板,html网站模板建站,网站html模板,免费个人网站模板,公司网站源码,sns源码,彩票网站源码,周易网站源码,源码基地,交友源码,学校网站源码,asp.net 源码,源码天下,jsp网站源码,论坛源码下载,广告联盟源码,建站源码,delphi源码,源码爱好者,酷源码,net源码,源码超市,医疗网站源码,flash源码,搜源码,源码程序,dede源码,新闻网站源码,易语言源码大全,旅游网站源码下载,flash 源码,免费源码论坛,android游戏源码,电脑维修网站源码,30源码网,股票软件源码,卖源码,源码教程,安居客 源码,vip源码,家教源码,.net源码下载,Web源码,网络公司源码,佛教网站源码,android源码学习,房产源码,钓鱼网站源码,775源码屋,web游戏源码,成品网站 源码78w78不用下载,h5游戏网站源码,asp网站源码下载,webgame源码,电子商务网站源码,vb.net源码,乐嘿源码,8a商业源码论坛,fbreader源码,在线客服系统 源码,google源码,.net网站源码,快递查询源码,源码搜藏网,dede整站源码,周易 源码,52源码论坛,财经网站源码,织梦下载站源码,qq钓鱼网站源码,flash游戏源码,房产网源码,源码搜搜,电子商务源码,团购网站源码,团购网源码,jsp源码下载,jsp源码,h站源码,8a源码,婚纱摄影网站源码,易语言盗号源码,x站源码,qq空间psd源码,免费商业源码,笑话网站源码,源码集合,源码家园,啊哦源码,星期六源码,源码熊,阿奇源码,百分百源码网,一手日源码资源,旅行网站源码,b站工程源码泄露,新站长源码,8a商业源码,asp论坛源码,flash源码下载,404源码社区,创业网站源码,php网页源码,易支付源码,成品网站w灬源码,免费CMS成品网站源码,成品网站W灬源码1688仙踪林,成品APP短视频源码下载网站,成品网站源码1688可靠吗,免费B2B网站源码,成品APP直播源码下载,国外儿童网站源码在线,成品网站W灬源码1688,源码,成品网站w灬 源码1688,免费源码网站都有哪些,成品网站源码78W78隐藏通道1,网站源码,源码网,源码网站,源码时代,源码之家,源码下载,php源码,易语言源码,源码论坛,源码是什么,商城源码,论坛源码,源码交易,源码站,源码库,免费源码,免费网站ja**源码大全,ja**源码,成品网站w灬源码1377,a5源码,站长源码,成品网站源码78W78隐藏通道1APP,源码分享,网站源码下载,源码中国,asp源码,源码社区,企业网站源码,php源码下载,成品app直播源码搭建,在线观看视频网站源码2021,旅游网站源码,安卓源码,通达信选股公式源码,神马影院php源码,c#源码,成品网站w灬源码1688网页,php 源码,网页游戏源码,android源码下载,源码吧,视频源码大全,成品短视频APP源码搭建,asp源码下载,私服源码,电脑维修源码,个人主页源码,源码出售,php网站源码,刀客源码,网址导航源码,导航网站源码,源码天空,asp 源码,软件源码,精品源码,成品网站源码1688自动跳转,个人网站源码,源码哥,在线考试系统源码,cms源码,c# 源码,商业源码,vb源码,门户网站源码,音乐网站源码,中国源码,安卓源码下载,asp网站源码,在线客服源码,电影网站源码,免费源码下载,整站源码,源码交易网,易语言源码网,.net源码,在线客服系统源码,淘客源码,卡盟源码,网站源码出售,vb源码下载,莎莎源码,熊猫烧香源码,asp.net源码,商业源码网,外贸网站源码,61源码网,zblog模板,zblog企业模板,帝国cms模板,帝国cms插件,discuz模板