type()
動態語言和靜態語言最大的不同,就是函數和類的定義,不是編譯時定義的,而是運行時動態創建的。
比方說我們要定義一個Hello的class,就寫一個hello.py模塊:
1
2
3
|
class Hello( object ): def hello( self , name = 'world' ): print ( 'Hello, %s.' % name) |
當Python解釋器載入hello模塊時,就會依次執行該模塊的所有語句,執行結果就是動態創建出一個Hello的class對象,測試如下:
1
2
3
4
5
6
7
8
|
>>> from hello import Hello >>> h = Hello() >>> h.hello() Hello, world. >>> print ( type (Hello)) < type 'type' > >>> print ( type (h)) < class 'hello.Hello' > |
type()函數可以查看一個類型或變量的類型,Hello是一個class,它的類型就是type,而h是一個實例,它的類型就是class Hello。
我們說class的定義是運行時動態創建的,而創建class的方法就是使用type()函數。
type()函數既可以返回一個對象的類型,又可以創建出新的類型,比如,我們可以通過type()函數創建出Hello類,而無需通過class Hello(object)...的定義:
1
2
3
4
5
6
7
8
9
10
11
|
>>> def fn( self , name = 'world' ): # 先定義函數 ... print ( 'Hello, %s.' % name) ... >>> Hello = type ( 'Hello' , ( object ,), dict (hello = fn)) # 創建Hello class >>> h = Hello() >>> h.hello() Hello, world. >>> print ( type (Hello)) < type 'type' > >>> print ( type (h)) < class '__main__.Hello' > |
要創建一個class對象,type()函數依次傳入3個參數:
- class的名稱;
- 繼承的父類集合,注意Python支持多重繼承,如果只有一個父類,別忘了tuple的單元素寫法;
- class的方法名稱與函數綁定,這里我們把函數fn綁定到方法名hello上。
通過type()函數創建的類和直接寫class是完全一樣的,因為Python解釋器遇到class定義時,僅僅是掃描一下class定義的語法,然后調用type()函數創建出class。
正常情況下,我們都用class Xxx...來定義類,但是,type()函數也允許我們動態創建出類來,也就是說,動態語言本身支持運行期動態創建類,這和靜態語言有非常大的不同,要在靜態語言運行期創建類,必須構造源代碼字符串再調用編譯器,或者借助一些工具生成字節碼實現,本質上都是動態編譯,會非常復雜。
metaclass
除了使用type()動態創建類以外,要控制類的創建行為,還可以使用metaclass。
metaclass,直譯為元類,簡單的解釋就是:
當我們定義了類以后,就可以根據這個類創建出實例,所以:先定義類,然后創建實例。
但是如果我們想創建出類呢?那就必須根據metaclass創建出類,所以:先定義metaclass,然后創建類。
連接起來就是:先定義metaclass,就可以創建類,最后創建實例。
所以,metaclass允許你創建類或者修改類。換句話說,你可以把類看成是metaclass創建出來的“實例”。
metaclass是Python面向對象里最難理解,也是最難使用的魔術代碼。正常情況下,你不會碰到需要使用metaclass的情況,所以,以下內容看不懂也沒關系,因為基本上你不會用到。
我們先看一個簡單的例子,這個metaclass可以給我們自定義的MyList增加一個add方法:
定義ListMetaclass,按照默認習慣,metaclass的類名總是以Metaclass結尾,以便清楚地表示這是一個metaclass:
1
2
3
4
5
6
7
8
9
|
# metaclass是創建類,所以必須從`type`類型派生: class ListMetaclass( type ): def __new__( cls , name, bases, attrs): attrs[ 'add' ] = lambda self , value: self .append(value) return type .__new__( cls , name, bases, attrs) class MyList( list ): __metaclass__ = ListMetaclass # 指示使用ListMetaclass來定制類 |
當我們寫下__metaclass__ = ListMetaclass語句時,魔術就生效了,它指示Python解釋器在創建MyList時,要通過ListMetaclass.__new__()來創建,在此,我們可以修改類的定義,比如,加上新的方法,然后,返回修改后的定義。
__new__()方法接收到的參數依次是:
- 當前準備創建的類的對象;
- 類的名字;
- 類繼承的父類集合;
- 類的方法集合。
測試一下MyList是否可以調用add()方法:
1
2
3
4
|
>>> L = MyList() >>> L.add( 1 ) >>> L [ 1 ] |
而普通的list沒有add()方法:
1
2
3
4
5
|
>>> l = list () >>> l.add( 1 ) Traceback (most recent call last): File "<stdin>" , line 1 , in <module> AttributeError: 'list' object has no attribute 'add' |
動態修改有什么意義?直接在MyList定義中寫上add()方法不是更簡單嗎?正常情況下,確實應該直接寫,通過metaclass修改純屬變態。
但是,總會遇到需要通過metaclass修改類定義的。ORM就是一個典型的例子。
ORM全稱“Object Relational Mapping”,即對象-關系映射,就是把關系數據庫的一行映射為一個對象,也就是一個類對應一個表,這樣,寫代碼更簡單,不用直接操作SQL語句。
要編寫一個ORM框架,所有的類都只能動態定義,因為只有使用者才能根據表的結構定義出對應的類來。
讓我們來嘗試編寫一個ORM框架。
編寫底層模塊的第一步,就是先把調用接口寫出來。比如,使用者如果使用這個ORM框架,想定義一個User類來操作對應的數據庫表User,我們期待他寫出這樣的代碼:
1
2
3
4
5
6
7
8
9
10
11
12
|
class User(Model): # 定義類的屬性到列的映射: id = IntegerField( 'id' ) name = StringField( 'username' ) email = StringField( 'email' ) password = StringField( 'password' ) # 創建一個實例: # 保存到數據庫: u.save() |
其中,父類Model和屬性類型StringField、IntegerField是由ORM框架提供的,剩下的魔術方法比如save()全部由metaclass自動完成。雖然metaclass的編寫會比較復雜,但ORM的使用者用起來卻異常簡單。
現在,我們就按上面的接口來實現該ORM。
首先來定義Field類,它負責保存數據庫表的字段名和字段類型:
1
2
3
4
5
6
|
class Field( object ): def __init__( self , name, column_type): self .name = name self .column_type = column_type def __str__( self ): return '<%s:%s>' % ( self .__class__.__name__, self .name) |
在Field的基礎上,進一步定義各種類型的Field,比如StringField,IntegerField等等:
1
2
3
4
5
6
7
|
class StringField(Field): def __init__( self , name): super (StringField, self ).__init__(name, 'varchar(100)' ) class IntegerField(Field): def __init__( self , name): super (IntegerField, self ).__init__(name, 'bigint' ) |
下一步,就是編寫最復雜的ModelMetaclass了:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
|
class ModelMetaclass( type ): def __new__( cls , name, bases, attrs): if name = = 'Model' : return type .__new__( cls , name, bases, attrs) mappings = dict () for k, v in attrs.iteritems(): if isinstance (v, Field): print ( 'Found mapping: %s==>%s' % (k, v)) mappings[k] = v for k in mappings.iterkeys(): attrs.pop(k) attrs[ '__table__' ] = name # 假設表名和類名一致 attrs[ '__mappings__' ] = mappings # 保存屬性和列的映射關系 return type .__new__( cls , name, bases, attrs) |
以及基類Model:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
|
class Model( dict ): __metaclass__ = ModelMetaclass def __init__( self , * * kw): super (Model, self ).__init__( * * kw) def __getattr__( self , key): try : return self [key] except KeyError: raise AttributeError(r "'Model' object has no attribute '%s'" % key) def __setattr__( self , key, value): self [key] = value def save( self ): fields = [] params = [] args = [] for k, v in self .__mappings__.iteritems(): fields.append(v.name) params.append( '?' ) args.append( getattr ( self , k, None )) sql = 'insert into %s (%s) values (%s)' % ( self .__table__, ',' .join(fields), ',' .join(params)) print ( 'SQL: %s' % sql) print ( 'ARGS: %s' % str (args)) |
當用戶定義一個class User(Model)時,Python解釋器首先在當前類User的定義中查找__metaclass__,如果沒有找到,就繼續在父類Model中查找__metaclass__,找到了,就使用Model中定義的__metaclass__的ModelMetaclass來創建User類,也就是說,metaclass可以隱式地繼承到子類,但子類自己卻感覺不到。
在ModelMetaclass中,一共做了幾件事情:
- 排除掉對Model類的修改;
- 在當前類(比如User)中查找定義的類的所有屬性,如果找到一個Field屬性,就把它保存到一個__mappings__的dict中,同時從類屬性中刪除該Field屬性,否則,容易造成運行時錯誤;
- 把表名保存到__table__中,這里簡化為表名默認為類名。
在Model類中,就可以定義各種操作數據庫的方法,比如save(),delete(),find(),update等等。
我們實現了save()方法,把一個實例保存到數據庫中。因為有表名,屬性到字段的映射和屬性值的集合,就可以構造出INSERT語句。
編寫代碼試試:
1
2
|
u.save() |
輸出如下:
1
2
3
4
5
6
7
|
Found model: User Found mapping: email = = > <StringField:email> Found mapping: password = = > <StringField:password> Found mapping: id = = > <IntegerField:uid> Found mapping: name = = > <StringField:username> SQL: insert into User (password,email,username,uid) values (?,?,?,?) |
可以看到,save()方法已經打印出了可執行的SQL語句,以及參數列表,只需要真正連接到數據庫,執行該SQL語句,就可以完成真正的功能。
不到100行代碼,我們就通過metaclass實現了一個精簡的ORM框架,完整的代碼從這里下載:
https://github.com/michaelliao/learn-python/blob/master/metaclass/simple_orm.py
最后解釋一下類屬性和實例屬性。直接在class中定義的是類屬性:
1
2
|
class Student( object ): name = 'Student' |
實例屬性必須通過實例來綁定,比如self.name = 'xxx'。來測試一下:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
|
>>> # 創建實例s: >>> s = Student() >>> # 打印name屬性,因為實例并沒有name屬性,所以會繼續查找class的name屬性: >>> print (s.name) Student >>> # 這和調用Student.name是一樣的: >>> print (Student.name) Student >>> # 給實例綁定name屬性: >>> s.name = 'Michael' >>> # 由于實例屬性優先級比類屬性高,因此,它會屏蔽掉類的name屬性: >>> print (s.name) Michael >>> # 但是類屬性并未消失,用Student.name仍然可以訪問: >>> print (Student.name) Student >>> # 如果刪除實例的name屬性: >>> del s.name >>> # 再次調用s.name,由于實例的name屬性沒有找到,類的name屬性就顯示出來了: >>> print (s.name) Student |
因此,在編寫程序的時候,千萬不要把實例屬性和類屬性使用相同的名字。
在我們編寫的ORM中,ModelMetaclass會刪除掉User類的所有類屬性,目的就是避免造成混淆。