-
Notifications
You must be signed in to change notification settings - Fork 0
/
pythonyi-bu-bian-cheng-xiang-jie.html
292 lines (246 loc) · 18.8 KB
/
pythonyi-bu-bian-cheng-xiang-jie.html
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
213
214
215
216
217
218
219
220
221
222
223
224
225
226
227
228
229
230
231
232
233
234
235
236
237
238
239
240
241
242
243
244
245
246
247
248
249
250
251
252
253
254
255
256
257
258
259
260
261
262
263
264
265
266
267
268
269
270
271
272
273
274
275
276
277
278
279
280
281
282
283
284
285
286
287
288
289
290
291
292
<!DOCTYPE html>
<html lang="en">
<head>
<meta charset="utf-8">
<meta http-equiv="X-UA-Compatible" content="IE=edge">
<meta name="viewport" content="width=device-width, initial-scale=1.0">
<meta name="author" content="CatsAction" />
<meta property="og:type" content="article" />
<meta name="twitter:card" content="summary">
<meta name="keywords" content="异步编程, 协程, Epoll, asyncio, Python, " />
<meta property="og:title" content="Python异步编程详解"/>
<meta property="og:url" content="./pythonyi-bu-bian-cheng-xiang-jie.html" />
<meta property="og:description" content="前述 本篇会先讲解异步编程的实现方式，然后讲解操作系统的多路复用机制。最好讲讲Python对异步编程的支持和最新的Python协程方案。 本篇假设你已经理解下面的概念： 阻塞、非阻塞 同步、异步的概念。 并行和并发 进程和线程 异步编程 要实现异步编程，除了多进程和多线程，我们还可以基于操作系统的多路复用机制。 异步编程最大的困难：异步任务何时执行完毕？接下来要对异步调用的返回结果做什么操作？ 上面的问题可以通过事件循环 + 回调方式解决。 回调会有一个回调地狱的问题。 除了回调地狱的问题，回调最大的问题是栈撕裂和状态管理困难。 那为了解决回调的问题，协程就产生了。协程底层其实还是事件和回调，只不过做了一定的封装，让用户可以用写同步代码的方式写异步代码。 协程 回调有状态管理的问题，那如果程序（例程）知道自己干了什么，正在干什么，将来干什么呢？换言之，程序得知道当前所处的状态，而且要将这个状态在不同的回调之间延续下去。 上面的问题，就引出协程实现核心思想，它得自己维护自己状态，而且可以通知其他协程。 协程，即协作式的例程。 它是非抢占式的多任务子例程的概括，可以允许有多个入口点在例程中确定的位置来控制程序的暂停与恢复执行。 例程是什么？编程语言定义的可被调用的代码段 …" />
<meta property="og:site_name" content="CatsAction's blog" />
<meta property="og:article:author" content="CatsAction" />
<meta property="og:article:published_time" content="2017-08-04T00:00:00+08:00" />
<meta name="twitter:title" content="Python异步编程详解">
<meta name="twitter:description" content="前述 本篇会先讲解异步编程的实现方式，然后讲解操作系统的多路复用机制。最好讲讲Python对异步编程的支持和最新的Python协程方案。 本篇假设你已经理解下面的概念： 阻塞、非阻塞 同步、异步的概念。 并行和并发 进程和线程 异步编程 要实现异步编程，除了多进程和多线程，我们还可以基于操作系统的多路复用机制。 异步编程最大的困难：异步任务何时执行完毕？接下来要对异步调用的返回结果做什么操作？ 上面的问题可以通过事件循环 + 回调方式解决。 回调会有一个回调地狱的问题。 除了回调地狱的问题，回调最大的问题是栈撕裂和状态管理困难。 那为了解决回调的问题，协程就产生了。协程底层其实还是事件和回调，只不过做了一定的封装，让用户可以用写同步代码的方式写异步代码。 协程 回调有状态管理的问题，那如果程序（例程）知道自己干了什么，正在干什么，将来干什么呢？换言之，程序得知道当前所处的状态，而且要将这个状态在不同的回调之间延续下去。 上面的问题，就引出协程实现核心思想，它得自己维护自己状态，而且可以通知其他协程。 协程，即协作式的例程。 它是非抢占式的多任务子例程的概括，可以允许有多个入口点在例程中确定的位置来控制程序的暂停与恢复执行。 例程是什么？编程语言定义的可被调用的代码段 …">
<title>Python异步编程详解 ·
CatsAction's blog
</title>
<link href="//netdna.bootstrapcdn.com/twitter-bootstrap/2.3.2/css/bootstrap-combined.min.css" rel="stylesheet">
<link rel="icon" type="image/x-icon" href="./theme/image/logo.ico" />
<link rel="stylesheet" type="text/css" href="./theme/css/elegant.prod.css" media="screen">
<link rel="stylesheet" type="text/css" href="./theme/css/custom.css" media="screen">
</head>
<body>
<div id="content">
<div class="navbar navbar-static-top">
<div class="navbar-inner">
<div class="container-fluid">
<a class="btn btn-navbar" data-toggle="collapse" data-target=".nav-collapse">
<span class="icon-bar"></span>
<span class="icon-bar"></span>
<span class="icon-bar"></span>
</a>
<a class="brand" href="./"><span class=site-name>CatsAction's blog</span></a>
<div class="nav-collapse collapse">
<ul class="nav pull-right top-menu">
<li >
<a href=
.
>Home</a>
</li>
<li ><a href="./categories.html">Categories</a></li>
<li ><a href="./tags.html">Tags</a></li>
<li ><a href="./archives.html">Archives</a></li>
<li><form class="navbar-search" action="./search.html" onsubmit="return validateForm(this.elements['q'].value);"> <input type="text" class="search-query" placeholder="Search" name="q" id="tipue_search_input"></form></li>
</ul>
</div>
</div>
</div>
</div>
<div class="container-fluid">
<div class="row-fluid">
<div class="span1"></div>
<div class="span10">
<article itemscope>
<div class="row-fluid">
<header class="page-header span10 offset2">
<h1>
<a href="./pythonyi-bu-bian-cheng-xiang-jie.html">
Python异步编程详解
</a>
</h1>
</header>
</div>
<div class="row-fluid">
<div class="span8 offset2 article-content">
<h2>前述</h2>
<p>本篇会先讲解异步编程的实现方式，然后讲解操作系统的多路复用机制。最好讲讲Python对异步编程的支持和最新的Python协程方案。</p>
<p>本篇假设你已经理解下面的概念：</p>
<ul>
<li>
<p>阻塞、非阻塞</p>
</li>
<li>
<p>同步、异步的概念。</p>
</li>
<li>
<p>并行和并发</p>
</li>
<li>
<p>进程和线程</p>
</li>
</ul>
<h2>异步编程</h2>
<p>要实现异步编程，除了多进程和多线程，我们还可以基于操作系统的多路复用机制。</p>
<p>异步编程最大的困难：异步任务何时执行完毕？接下来要对异步调用的返回结果做什么操作？</p>
<p>上面的问题可以通过<strong>事件循环 + 回调</strong>方式解决。</p>
<p>回调会有一个回调地狱的问题。</p>
<p>除了回调地狱的问题，回调最大的问题是栈撕裂和状态管理困难。</p>
<p>那为了解决回调的问题，协程就产生了。协程底层其实还是事件和回调，只不过做了一定的封装，让用户可以用写同步代码的方式写异步代码。</p>
<h2>协程</h2>
<p>回调有状态管理的问题，那如果程序（例程）知道自己干了什么，正在干什么，将来干什么呢？换言之，程序得知道当前所处的状态，而且要将这个状态在不同的回调之间延续下去。</p>
<p>上面的问题，就引出协程实现核心思想，它得自己维护自己状态，而且可以通知其他协程。</p>
<p><strong>协程，即协作式的例程。</strong></p>
<p>它是非抢占式的多任务子例程的概括，可以允许有多个入口点在例程中确定的位置来控制程序的暂停与恢复执行。</p>
<p>例程是什么？编程语言定义的可被调用的代码段，为了完成某个特定功能而封装在一起的一系列指令。一般编程语言都用函数或方法来体现。</p>
<h2>EPoll</h2>
<p>操作系统支持多路复用。所谓多路复用，就是同时监听很多文件描述符，只要其中某个文件描述符状态改变就给予通知。多路复用的好处就是一次等待多个时间就绪，合理利用CPU性能。</p>
<p>常用的多路复用机制有<code>Select</code>、<code>Poll</code>、<code>EPoll</code>。</p>
<h5>Select</h5>
<div class="highlight"><pre><span></span><span class="kt">int</span> <span class="nf">select</span> <span class="p">(</span><span class="kt">int</span> <span class="n">n</span><span class="p">,</span> <span class="n">fd_set</span> <span class="o">*</span><span class="n">readfds</span><span class="p">,</span> <span class="n">fd_set</span> <span class="o">*</span><span class="n">writefds</span><span class="p">,</span> <span class="n">fd_set</span> <span class="o">*</span><span class="n">exceptfds</span><span class="p">,</span> <span class="k">struct</span> <span class="n">timeval</span> <span class="o">*</span><span class="n">timeout</span><span class="p">);</span>
</pre></div>
<p>select调用会阻塞，某个文件描述符就绪或者超时才返回。select由于每次都需要将文件描述符拷贝到内核空间遍历一遍，所以性能不高。而且支持的文件描述符数量有限制（通常是1024）。</p>
<h5>Poll</h5>
<div class="highlight"><pre><span></span><span class="kt">int</span> <span class="nf">poll</span> <span class="p">(</span><span class="k">struct</span> <span class="n">pollfd</span> <span class="o">*</span><span class="n">fds</span><span class="p">,</span> <span class="kt">unsigned</span> <span class="kt">int</span> <span class="n">nfds</span><span class="p">,</span> <span class="kt">int</span> <span class="n">timeout</span><span class="p">);</span>
</pre></div>
<p>poll和select差不多，只是文件描述符实现不同。虽然poll没有文件描述符数量的限制，但是数量太多仍然有select一样的性能问题。</p>
<h5>EPoll</h5>
<div class="highlight"><pre><span></span><span class="kt">int</span> <span class="nf">epoll_create</span><span class="p">(</span><span class="kt">int</span> <span class="n">size</span><span class="p">)</span><span class="err">；</span><span class="c1">//创建一个epoll的句柄，size用来告诉内核这个监听的数目一共有多大</span>
<span class="kt">int</span> <span class="n">epoll_ctl</span><span class="p">(</span><span class="kt">int</span> <span class="n">epfd</span><span class="p">,</span> <span class="kt">int</span> <span class="n">op</span><span class="p">,</span> <span class="kt">int</span> <span class="n">fd</span><span class="p">,</span> <span class="k">struct</span> <span class="n">epoll_event</span> <span class="o">*</span><span class="n">event</span><span class="p">)</span><span class="err">；</span>
<span class="kt">int</span> <span class="n">epoll_wait</span><span class="p">(</span><span class="kt">int</span> <span class="n">epfd</span><span class="p">,</span> <span class="k">struct</span> <span class="n">epoll_event</span> <span class="o">*</span> <span class="n">events</span><span class="p">,</span> <span class="kt">int</span> <span class="n">maxevents</span><span class="p">,</span> <span class="kt">int</span> <span class="n">timeout</span><span class="p">);</span>
</pre></div>
<p>epoll有三个函数，它等待的函数是<code>epoll_wait</code>，而注册监听描述符的是<code>epoll_ctl</code>，因此避免了重复将文件描述符拷贝到内核空间。epoll也没有文件限制。</p>
<p>epoll优点：</p>
<p>1）避免了每次等待调用都将文件描述符拷贝到内核空间，只需要拷贝一次。</p>
<p>2）当文件描述符就绪时，会被加入相应的事件等待队列，wait函数只需扫描对应事件的文件描述符，避免了像select一样每次都扫描所有的文件描述符。</p>
<p>3）没有文件描述符数量限制。</p>
<p>参考资料：</p>
<p><a href="https://www.cnblogs.com/anker/p/3265058.html">Linux多了复用区别</a></p>
<p><a href="https://segmentfault.com/a/1190000003063859">Linux多路复用</a></p>
<h2>后述</h2>
<p><em>参考<a href="https://mp.weixin.qq.com/s/GgamzHPyZuSg45LoJKsofA?">深入理解Python异步编程（上）</a></em></p>
<hr />
<aside>
<nav>
<ul class="articles-timeline">
<li class="previous-article">« <a href="./hou-duan-fu-wu-xing-neng-diao-you.html"
title="Previous: 后端服务性能调优 - 因素，测试及思路">后端服务性能调优 <small class="subtitle">因素，测试及思路</small></a></li>
<li class="next-article"><a href="./dockerchang-jian-wen-ti-hui-zong.html"
title="Next: Docker常见问题汇总">Docker常见问题汇总</a> »</li>
</ul>
</nav>
</aside>
</div>
<section id="article-sidebar" class="span2">
<h4>Published</h4>
<time itemprop="dateCreated" datetime="2017-08-04T00:00:00+08:00"> 8
4, 2017</time>
<!---->
<h4>Category</h4>
<a class="category-link"
href="./categories.html#python-ref">Python</a>
<h4>Tags</h4>
<ul class="list-of-tags tags-in-article">
<li><a href="./tags.html#asyncio-ref">asyncio
<span>1</span>
</a></li>
<li><a href="./tags.html#epoll-ref">Epoll
<span>1</span>
</a></li>
<li><a href="./tags.html#xie-cheng-ref">协程
<span>1</span>
</a></li>
<li><a href="./tags.html#yi-bu-bian-cheng-ref">异步编程
<span>1</span>
</a></li>
</ul>
<h4>Stay in Touch</h4>
<div id="sidebar-social-link">
<a href="mailto:[email protected]" title="My Email Address" target="_blank" rel="nofollow noopener noreferrer">
<svg xmlns="http://www.w3.org/2000/svg" aria-label="Mail" role="img" viewBox="0 0 512 512"><rect width="512" height="512" rx="15%" fill="#328cff"/><path d="m250 186c-46 0-69 35-69 74 0 44 29 72 68 72 43 0 73-32 73-75 0-44-34-71-72-71zm-1-37c30 0 57 13 77 33 0-22 35-22 35 1v150c-1 10 10 16 16 9 25-25 54-128-14-187-64-56-149-47-195-15-48 33-79 107-49 175 33 76 126 99 182 76 28-12 41 26 12 39-45 19-168 17-225-82-38-68-36-185 67-248 78-46 182-33 244 32 66 69 62 197-2 246-28 23-71 1-71-32v-11c-20 20-47 32-77 32-57 0-108-51-108-108 0-58 51-110 108-110" fill="#fff"/></svg>
</a>
<a href="https://github.com/boyaziqi" title="catsaction Github Repository" target="_blank" rel="nofollow noopener noreferrer">
<svg xmlns="http://www.w3.org/2000/svg" aria-label="GitHub" role="img" viewBox="0 0 512 512"><rect width="512" height="512" rx="15%" fill="#1B1817"/><path fill="#fff" d="M335 499c14 0 12 17 12 17H165s-2-17 12-17c13 0 16-6 16-12l-1-50c-71 16-86-28-86-28-12-30-28-37-28-37-24-16 1-16 1-16 26 2 40 26 40 26 22 39 59 28 74 22 2-17 9-28 16-35-57-6-116-28-116-126 0-28 10-51 26-69-3-6-11-32 3-67 0 0 21-7 70 26 42-12 86-12 128 0 49-33 70-26 70-26 14 35 6 61 3 67 16 18 26 41 26 69 0 98-60 120-117 126 10 8 18 24 18 48l-1 70c0 6 3 12 16 12z"/></svg>
</a>
<a href="https://www.linkedin.com/feed/" title="My LinkedIn" target="_blank" rel="nofollow noopener noreferrer">
<svg xmlns="http://www.w3.org/2000/svg" aria-label="LinkedIn" role="img" viewBox="0 0 512 512" fill="#fff"><rect width="512" height="512" rx="15%" fill="#0077b5"/><circle cx="142" cy="138" r="37"/><path stroke="#fff" stroke-width="66" d="M244 194v198M142 194v198"/><path d="M276 282c0-20 13-40 36-40 24 0 33 18 33 45v105h66V279c0-61-32-89-76-89-34 0-51 19-59 32"/></svg>
</a>
</div>
<h4>Friendship Links</h4>
<ul class="list-of-tags tags-in-article">
<li>
<a href="https://leetcode-cn.com/" title="力扣中国站点" target="_blank" rel="nofollow noopener noreferrer">
LeetCode
</a>
</li>
<li>
<a href="https://coolshell.cn/about" title="陈皓酷壳" target="_blank" rel="nofollow noopener noreferrer">
CoolShell
</a>
</li>
<li>
<a href="https://yikun.github.io/" title="姜毅坤博客" target="_blank" rel="nofollow noopener noreferrer">
Yikun
</a>
</li>
<li>
<a href="https://www.nowcoder.com/" title="牛客网" target="_blank" rel="nofollow noopener noreferrer">
牛客网
</a>
</li>
</ul>
</section>
</div>
</article>
</div>
<div class="span1"></div>
</div>
</div>
</div>
<footer>
<div>
<span class="site-name">CatsAction's blog</span> - It's a wonderful world
</div>
<div id="fpowered">
Powered by: <a href="http://getpelican.com/" title="Pelican Home Page" target="_blank" rel="nofollow noopener noreferrer">Pelican</a>
Theme: <a href="https://elegant.oncrashreboot.com/" title="Theme Elegant Home Page" target="_blank" rel="nofollow noopener noreferrer">Elegant</a>
</div>
</footer> <script src="//code.jquery.com/jquery.min.js"></script>
<script src="//netdna.bootstrapcdn.com/twitter-bootstrap/2.3.2/js/bootstrap.min.js"></script>
<script>
function validateForm(query)
{
return (query.length > 0);
}
</script>
<script>
(function () {
if (window.location.hash.match(/^#comment-\d+$/)) {
$('#comment_thread').collapse('show');
}
})();
window.onhashchange=function(){
if (window.location.hash.match(/^#comment-\d+$/))
window.location.reload(true);
}
$('#comment_thread').on('shown', function () {
var link = document.getElementById('comment-accordion-toggle');
var old_innerHTML = link.innerHTML;
$(link).fadeOut(200, function() {
$(this).text('Click here to hide comments').fadeIn(200);
});
$('#comment_thread').on('hidden', function () {
$(link).fadeOut(200, function() {
$(this).text(old_innerHTML).fadeIn(200);
});
})
})
</script>
</body>
<!-- Theme: Elegant built for Pelican
License : MIT -->
</html>