-
Notifications
You must be signed in to change notification settings - Fork 1
/
Copy pathwhy-javascript-is-better-than-bash.htm
374 lines (341 loc) · 19.8 KB
/
why-javascript-is-better-than-bash.htm
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
213
214
215
216
217
218
219
220
221
222
223
224
225
226
227
228
229
230
231
232
233
234
235
236
237
238
239
240
241
242
243
244
245
246
247
248
249
250
251
252
253
254
255
256
257
258
259
260
261
262
263
264
265
266
267
268
269
270
271
272
273
274
275
276
277
278
279
280
281
282
283
284
285
286
287
288
289
290
291
292
293
294
295
296
297
298
299
300
301
302
303
304
305
306
307
308
309
310
311
312
313
314
315
316
317
318
319
320
321
322
323
324
325
326
327
328
329
330
331
332
333
334
335
336
337
338
339
340
341
342
343
344
345
346
347
348
349
350
351
352
353
354
355
356
357
358
359
360
361
362
363
364
365
366
367
368
369
370
371
372
373
374
<!DOCTYPE html>
<html>
<head>
<meta charset="utf8" />
<title>Почему bash - фиговый скриптовый язык</title>
</head>
<body>
<table><tr><td style="vertical-align:top;">
<h1>Почему bash - фиговый скриптовый язык</h1>
</td><td style="vertical-align:top;">
<a href="index.htm">Блог Всячепуза</a>
<br />
</td></tr></table>
Плохо, что bash-овый скрипт не может использовать API движка, который этот скрипт гоняет. Вот JavaScript в этом плане гораздо лучше.
Например, как вызвать python-овые функции portage из eclass-а?
<h2>Как я разбирался с CONFIG_PROTECT</h2>
мне не ясно, как работает CONFIG_PROTECT, читал вот это - <a href="https://devmanual.gentoo.org/general-concepts/config-protect/index.html">https://devmanual.gentoo.org/general-concepts/config-protect/index.html</a>
<br />
там написано, что не надо самостоятельно зверски патчить что попало. Но мне очень хочется
<br />
<br />
Задача: по репозиторию
<br />
<a href="https://github.com/gentoo/portage/">https://github.com/gentoo/portage/</a>
<br />
разобраться как реализован механизм CONFIG_PROTECT в исходных кодах менеджера portage
<br />
<br />
Rather than installing protected files directly, Portage will install them as <strong>._cfg0000_filename</strong>.
<br />
это написано здесь - <a href="https://devmanual.gentoo.org/general-concepts/config-protect/index.html">https://devmanual.gentoo.org/general-concepts/config-protect/index.html</a>
<br />
<br />
я хочу сделать копию конфига так же, как это делает portage
<br />
то есть в pkg_postinst делать копию, в которой что-то добавлено
<br />
а в pkg_prerm делать копию, в которой оно удалено
<br />
если я правильно поименую эти копии конфигов, то наверное пользователь сможет их обновить так же, как он это делает со всеми остальными конфигами
<br />
проблема в том, что нигде не описано, как модифицировать конфиги программно, а не патчами. Например как узнать, какое имя получится у новой копии конфига?
<h2>Как проверить</h2>
Функции с параметрами и значениями в portage есть
<br />
Например на странице
<br />
<a href="https://devmanual.gentoo.org/ebuild-writing/eapi/">https://devmanual.gentoo.org/ebuild-writing/eapi/</a>
<br />
написано
<br />
The <a href="https://github.com/gentoo/portage/blob/abf71501a7d81f95770322497995c205eff1999c/bin/phase-helpers.sh#L1117-L1131">in_iuse</a> function returns true if the given parameter is available in the ebuilds USE.
<h2>CONFIG_PROTECT</h2>
Any directory which is listed in CONFIG_PROTECT (and any subdirectories thereof),
except for any which are listed in CONFIG_PROTECT_MASK (and subdirectories)
are automatically 'protected' by Portage when copying an image from DESTDIR to ROOT.
<br />
<br />
Надо посмотреть, найти фрагмент, где происходит это копирование из DESTDIR в ROOT. Учитывается ли там CONFIG_PROTECT_MASK ?
<h2>CONFIG_PROTECT_MASK</h2>
То есть если я хочу некий файл обновить автоматически, я при установке одного конкретного пакета могу добавить путь до файла конфигурации в CONFIG_PROTECT_MASK перед emerge
<br />
<br />
<a href="https://github.com/gentoo/portage/blob/a810a92d615c904db59326188e1437fdab74e705/cnf/make.globals#L106">cnf/make.globals#L106</a>
<br />
CONFIG_PROTECT_MASK="/etc/env.d"
<br />
<br />
Вопрос - вызывается ли что-то подобное etc-update и dispatch-conf автоматически для файлов упомянутых в CONFIG_PROTECT_MASK ? Сомневаюсь...
<br />
Выводится уведомление, что надо обновить файлы (без учета CONFIG_PROTECT_MASK), а при обновлении файлы из CONFIG_PROTECT_MASK обновляются автоматически.
<h2>etc-update</h2>
<a href="https://github.com/gentoo/portage/blob/4ec443f2ac57040304107720f24cad6b4651c7a4/bin/etc-update#L147-L155">bin/etc-update#L147-L155</a>
<pre>
local mpath
for mpath in ${CONFIG_PROTECT_MASK}; do
mpath="${EROOT%/}${mpath}"
if [[ "${rpath}" == "${mpath}"* ]] ; then
${QUIET} || echo "Updating masked file: ${live_file}"
mv "${cfg_file}" "${live_file}"
continue 2
fi
done
</pre>
<h2>dispatch-conf</h2>
<a href="https://github.com/gentoo/portage/blob/899fe21d9829275816455206a9fb48c496755b96/bin/dispatch-conf#L169-L177">bin/dispatch-conf#L169-L177</a>
<pre>
#
# Remove new configs identical to current
# and
# Auto-replace configs a) whose differences are simply CVS interpolations,
# or b) whose differences are simply ws or comments,
# or c) in paths now unprotected by CONFIG_PROTECT_MASK,
#
def f (conf):
</pre>
<h3>Что ищется в исходниках</h3>
<a href="https://github.com/gentoo/portage/blob/4ec443f2ac57040304107720f24cad6b4651c7a4/pym/_emerge/post_emerge.py#L18">pym/_emerge/post_emerge.py#L18</a>
<pre>
from .chk_updated_cfg_files import chk_updated_cfg_files
</pre>
<a href="https://github.com/gentoo/portage/blob/4ec443f2ac57040304107720f24cad6b4651c7a4/pym/_emerge/post_emerge.py#L95-L96">pym/_emerge/post_emerge.py#L95-L96</a>
<pre>
config_protect = portage.util.shlex_split(
settings.get("CONFIG_PROTECT", ""))
</pre>
<a href="https://github.com/gentoo/portage/blob/4ec443f2ac57040304107720f24cad6b4651c7a4/pym/_emerge/post_emerge.py#L149">pym/_emerge/post_emerge.py#L149</a>
<pre>
chk_updated_cfg_files(settings['EROOT'], config_protect)
</pre>
<a href="https://github.com/gentoo/portage/blob/4ec443f2ac57040304107720f24cad6b4651c7a4/pym/_emerge/chk_updated_cfg_files.py">pym/_emerge/chk_updated_cfg_files.py</a>
<br />
эта функция вызывает portage.util.find_updated_config_files(target_root, config_protect)
<br />
смотрит, какие из них попадают в список CONFIG_PROTECT
<br />
и выводит список файлов, которые были изменены, а потом выводит инструкции для пользователя (читать man как обновлять файлы)
<br />
<a href="https://github.com/gentoo/portage/blob/b5365341dad167e314023df95d2c5e0f955962f0/pym/portage/util/__init__.py#L1750-L1758">pym/portage/util/__init__.py#L1750-L1758</a>
<pre>
def find_updated_config_files(target_root, config_protect):
"""
Return a tuple of configuration files that needs to be updated.
The tuple contains lists organized like this:
[protected_dir, file_list]
If the protected config isn't a protected_dir but a procted_file, list is:
[protected_file, None]
If no configuration files needs to be updated, None is returned
"""
</pre>
<a href="https://github.com/gentoo/portage/blob/b5365341dad167e314023df95d2c5e0f955962f0/pym/portage/util/__init__.py#L1789">pym/portage/util/__init__.py#L1789</a>
<pre>
"find '%s' -maxdepth 1 -name '._cfg????_%s'"
</pre>
<h2>Как нужно назвать файл-копию</h2>
Это знает portage. Может он сам и должен такую копию создавать, а мне нужно только скопировать в нужную директорию?
<br />
Копирование какой-то конкретной версии конфигурационного файла не будет работать в случае установки бинарного пакета.
<br />
<br />
Я предалгаю создавать
<br />
специальным образом поименованную копию так же, как это делает portage из шагов после инсталляции и
<br />
другую копию со стёртыми строками перед удалением пакета
<br />
<br />
для этого надо разобраться, какой код в portage такие копии создаёт,
<br />
это позволит понять, можно ли этим кодом воспользоваться из eclass
<br />
<br />
В генте ведь какая логика? Сначала надо всё прочитать и только потом задавать вопрос, потому что мерзкие твари считают себя самыми умными.
<br />
<a href="https://wiki.gentoo.org/wiki/CONFIG_PROTECT">https://wiki.gentoo.org/wiki/CONFIG_PROTECT</a>
<br />
<a href="https://wiki.gentoo.org/wiki/Handbook:AMD64/Working/EnvVar">https://wiki.gentoo.org/wiki/Handbook:AMD64/Working/EnvVar</a>
<br />
<a href="https://devmanual.gentoo.org/general-concepts/config-protect/index.html">https://devmanual.gentoo.org/general-concepts/config-protect/index.html</a>
<h3>emerge --config</h3>
<dl>
<dt>--config</dt>
<dd>Run package specific actions needed to be executed after the emerge process has completed. This usually entails configuration file setup or other similar setups that the user may wish to run.</dd>
</dL>
<a href="https://dev.gentoo.org/~zmedico/portage/doc/man/emerge.1.html">https://dev.gentoo.org/~zmedico/portage/doc/man/emerge.1.html</a>
<br />
запускает pkg_config
<h2>Сухой остаток</h2>
Нужно внимательно изучить весь питоновый код, работающий с CONFIG_PROTECT и переписать его логику на bash, после чего поместить в eclass
<br />
изучать внимательно не обязательно, можно сделать <s>тяп-ляп</s> <strong>с приемлемым качеством</strong>, потом пипл поплюётся и допилит как надо.
<hr />
<h2>Второй раунд разборок</h2>
<h3>portageq</h3>
Это такая вспомогательная утилита, которой я ни разу не пользовался за много лет:
<br />
<a href="https://wiki.gentoo.org/wiki/Portageq">https://wiki.gentoo.org/wiki/Portageq</a>
<br />
<a href="https://github.com/gentoo/portage/blob/9590cb4bf4140e3fc5610b1ea0e290b2df93c24a/bin/portageq#L346-L386">https://github.com/gentoo/portage/blob/9590cb4bf4140e3fc5610b1ea0e290b2df93c24a/bin/portageq#L346-L386</a>
<br />
def is_protected(argv):
<br />
expected 2 parameters: root, filename
<br />
Возвращает 0 или 1, использует функции portage.util.shlex_split, ConfigProtect и .isprotected(f)
<br />
в документации так про неё и написано:
<pre>
docstrings['is_protected'] = """<eroot> <filename>
Given a single filename, return code 0 if it's protected, 1 otherwise.
The filename must begin with <eroot>.
"""
is_protected.__doc__ = docstrings['is_protected']
</pre>
<br />
можно из командной строки вызвать, передать параметр $EROOT и имя одного файла и команда вернёт - защищённый этот файл или нет
<br />
можно из командной строки вызвать, передать параметр $EROOT и она отфильтрует из всех файлов те файлы, которые CONFIG_PROTECTED
<pre>
filter_protected <eroot>
Read filenames from stdin and write them to stdout if they are protected.
All filenames are delimited by \n and must begin with <eroot>.
</pre>
<br />
Вопрос - используется ли portageq в каком-либо из билдов?
<br />
there is an utility "portageq" which have 2 options - to check one file (is_protected), and to check list of files (filter_protected), since this is command line tool, it can be called from bash script.
<br />
This allows to call code of portage for determine protected files from ebuild or eclass
<br />
<br />
<a href="https://github.com/gentoo/portage/blob/b5365341dad167e314023df95d2c5e0f955962f0/pym/portage/util/__init__.py#L1590">https://github.com/gentoo/portage/blob/b5365341dad167e314023df95d2c5e0f955962f0/pym/portage/util/__init__.py#L1590</a>
<br />
class ConfigProtect(object)
<br />
<a href="https://github.com/gentoo/portage/blob/b5365341dad167e314023df95d2c5e0f955962f0/pym/portage/util/__init__.py#L1639">https://github.com/gentoo/portage/blob/b5365341dad167e314023df95d2c5e0f955962f0/pym/portage/util/__init__.py#L1639</a>
<br />
def isprotected(self, obj):
<br />
<a href="https://github.com/gentoo/portage/blob/b5365341dad167e314023df95d2c5e0f955962f0/pym/portage/util/__init__.py#L1675">https://github.com/gentoo/portage/blob/b5365341dad167e314023df95d2c5e0f955962f0/pym/portage/util/__init__.py#L1675</a>
<pre>
def new_protect_filename(mydest, newmd5=None, force=False):
"""Resolves a config-protect filename for merging, optionally
using the last filename if the md5 matches. If force is True,
then a new filename will be generated even if mydest does not
exist yet.
(dest,md5) ==> 'string' --- path_to_target_filename
(dest) ==> ('next', 'highest') --- next_target and most-recent_target
"""
</pre>
<h2>Как бы вызвать питоновую функцию из bash?</h2>
<a href="http://stackoverflow.com/questions/8567526/calling-a-python-function-from-a-shell-script">http://stackoverflow.com/questions/8567526/calling-a-python-function-from-a-shell-script</a>
<br />
python -c 'import test; print test.get_foo()'
<br />
The <strong>-c</strong> option simply asks Python to execute some Python commands.
<p>In order to store the result in a variable, you can therefore do:</p>
<pre style="" class="default prettyprint prettyprinted"><code><span class="pln">RESULT_FOO</span><span class="pun">=</span><span class="str">`python -c 'import test; print test.get_foo()'`</span></code></pre>
<p>or, equivalently</p>
<pre style="" class="default prettyprint prettyprinted"><code><span class="pln">RESULT</span><span class="pun">=</span><span class="pln">$</span><span class="pun">(</span><span class="pln">python </span><span class="pun">-</span><span class="pln">c </span><span class="str">'import test; print test.get_foo()'</span><span class="pun">)</span></code></pre>
<p>since backticks and <code>$(…)</code> evaluate a command and replace it by its output.</p>
<br />
<br />
stackoverflow says it should be something like
<br />
RES=$(python -c 'from ??? import ???; new_protect_filename( (???))' )
<br />
<br />
Пути поиска модулей указаны в переменной sys.path.
<br />
В него включены текущая директория (то есть модуль можно оставить в папке с основной программой), а также директории, в которых установлен python.
<br />
<br />
при импортировании модуля его код выполняется полностью,
то есть, если программа что-то печатает, то при её импортировании это будет напечатано.
Этого можно избежать, если проверять, запущен ли скрипт как программа, или импортирован.
Это можно сделать с помощью переменной __name__, которая определена в любой программе, и
равна "__main__", если скрипт запущен в качестве главной программы, и
имя, если он импортирован.
<br />
python searches packages/modules to import in sys.path which is populated from different sources
including a current directory, PYTHONPATH env variable and few other sources
<h2>Как передать параметр</h2>
<a href="http://stackoverflow.com/questions/6719549/passing-bash-variables-to-python-script">http://stackoverflow.com/questions/6719549/passing-bash-variables-to-python-script</a>
<br />
you can just pass parameters directly on the command line. Any options passed to Python after the -c command get loaded into the sys.argv array
<br />
I think you can just import portage as a package because it lives in your system's site-packages
<br />
<br />
You can use os.getenv to access environment variables from Python
<br />
test.printfoo(os.getenv('foo'))
<br />
<h2>Как положить вывод команды в переменную</h2>
<a href="https://devmanual.gentoo.org/ebuild-writing/error-handling/index.html#die-and-subshells">https://devmanual.gentoo.org/ebuild-writing/error-handling/index.html#die-and-subshells</a>
<br />
<a href="https://www.gnu.org/software/bash/manual/bash.html#Command-Substitution">https://www.gnu.org/software/bash/manual/bash.html#Command-Substitution</a>
<br />
command > tempfile || die; read myvar<tempfile
<br />
В баше даже есть команда для получения имени временного файла. А у портажа есть ${T}
<br />
<a href="https://www.gnu.org/software/bash/manual/bash.html#Compound-Commands">https://www.gnu.org/software/bash/manual/bash.html#Compound-Commands</a>
<br />
почему я думаю, что () и $() не то же самое. Потому что кроме () бывает {}, а с ${} уже не получится вызвать внешнюю команду. То есть {} и ${} не то же самое. Тогда нет повода думать так и про () и $()
<br />
<br />
<a href="http://tldp.org/LDP/abs/html/commandsub.html">http://tldp.org/LDP/abs/html/commandsub.html</a>
<br />
"Command substitution invokes a subshell."
<br />
<br />
$ x=$(f(){ echo a;return 0; };f; ) || echo fail
<br />
$ x=$(f(){ echo a;return 1; };f; ) || echo fail
<br />
fail
<br />
<a href="http://linux.die.net/man/1/bash">man bash</a> / \(list\)
<br />
The return status is the exit status of list.
<br />
May I use MYVAR=$(command) || die "command failed" or this should be done in some other way?
<br />
<br />
Теперь надо собраться с мыслями и написать if then else,
в котором проверить является ли файл /etc/shells защищаемым.
<br />
if portageq is_protected "${EROOT}" "/etc/shells"; then
<br />
else
<br />
fi
<br />
<br />
if portageq is_protected / "/etc/shells"; then echo "protected"; else echo "unprotected"; fi
<br />
Combine an <strong><a href="http://www.gnu.org/software/bash/manual/bash.html#ANSI_002dC-Quoting" rel="nofollow">ANSI C-quoted string</a></strong> (<code>$'...'</code>) with a <a href="http://mywiki.wooledge.org/HereDocument?action=show&redirect=HereString" rel="nofollow">here-string</a> (<code><<<...</code>):
<br />
<pre>
#!/bin/bash
# Test whether python exit status propagates.
function die () {
echo "$1"
exit 1
}
arg=/etc/shells
python <<EOF
import portage
print(portage.new_protect_filename("${arg}"))
EOF
exit_status=$?
if [ $exit_status -ne 0 ]; then
die "Error: Python protect filename failed!"
fi
</pre>
<a href="https://gist.githubusercontent.com/VsyachePuz/47570ad527044982efb00f7b5d551467/raw/82af53f99acef2974eda7a59885829be8dcf0538/stdin">https://gist.githubusercontent.com/VsyachePuz/47570ad527044982efb00f7b5d551467/raw/82af53f99acef2974eda7a59885829be8dcf0538/stdin</a>
</body>
</html>