Send stdout/stderr from WasmRunner to dev server without decoding as UTF-8 #471

omochi · 2024-05-24T12:18:25Z

背景

entrypointライブラリの WasmRunner は、stdoutとstderrをWasmから受け取って、
呼び出し側のJSから扱いやすいようにクロージャを受け取るAPIを提供しています。

また、dev.jsではWasmプロセスが例外を吐いて停止した時にスタックトレースをdevサーバに送信する機能を持ちます。

課題

このAPIは、WasmのバイナリをUTF-8ととしてデコードして、
改行で区切って単位で早出します。
これだと、UTF-8の文字列以外の出力が扱えません。

また、エラーを出力する処理が3重に存在していて、エラーが起きた時の出力が冗長です。

また、stderrに少しでも出力があると例外を送信してしまいます。

提案

生のバイナリチャンクを受け取れるAPIと、
従来のように文字列を行単位で受け取るAPIの両方を提供するように変更します。

余計なコンソール出力をやめます。

例外の送信はWasmの終了時だけにします。

また、この作業をしていて、
cartonの機能を確認するための十分なサンプル実装がないと思ったので、
SandboxApp を追加しました。

動作確認

devモードについてはスタックトレースの送出タイミングを変えたので動作を確認しています。
これは SwiftでfatalError を呼び出すだけのボタンをクリックした時のブラウザとターミナルのコンソールです。

ブラウザの一つ目は stderr の行が console.error で転送された出力です。

ブラウザの二つ目は dev.js でつかまえて console.error で出力されたエラーオブジェクトです。
これをdev serverに送信します。

コンソールです。

package.json

omochi

self comment

omochi · 2024-05-24T12:19:01Z

entrypoint/bundle.ts

-  const wasmRunner = WasmRunner(false, runtimeConstructor);
+  const wasmRunner = WasmRunner({
+    onStdoutLine(line) {
+      console.log(line);


コンソールに流す処理はWasmRunnerのユーザの裁量にします。

omochi · 2024-05-24T12:19:33Z

entrypoint/bundle.ts

+  try {
+    await startWasiTask();
+  } catch (e) {
+    handleError(e);


handleErrorの経路が同期と非同期で2回書いてあるのは冗長だし読みづらいので、
try await catch で1つにします。

omochi · 2024-05-24T12:20:04Z

entrypoint/bundle.ts

@@ -40,13 +47,14 @@ const startWasiTask = async () => {

 function handleError(e: any) {
  console.error(e);
-  if (e instanceof WebAssembly.RuntimeError) {
-    console.log(e.stack);


~~エラーオブジェクトがconsoleに渡った場合はそこからスタックトレースも出てくるのでこの行は不要です~~

何もしなければブラウザの例外ダンプが出るのでそれが一番いい

omochi · 2024-05-24T12:20:44Z

entrypoint/common.ts

@@ -15,35 +15,72 @@
 import { WASI, File, OpenFile, ConsoleStdout, PreopenDirectory } from "@bjorn3/browser_wasi_shim";
 import type { SwiftRuntime, SwiftRuntimeConstructor } from "./JavaScriptKit_JavaScriptKit.resources/Runtime";

+export class LineDecoder {


bjorn3/browser_wasi_shim を参考に書き直しました。

omochi · 2024-05-24T12:21:08Z

entrypoint/common.ts

-  onStdout?: (text: string) => void;
-  onStderr?: (text: string) => void;
+  onStdout?: (chunk: Uint8Array) => void;
+  onStdoutLine?: (line: string) => void;


onStdoutはバイナリAPIに変えます。
onStdoutLineでは行単位で受け取れます。

omochi · 2024-05-24T12:23:02Z

entrypoint/common.ts

-const defaultRunnerOptions = (options: Options | false): Options => {
-  if (!options) return defaultRunnerOptions({});
-  if (!options.onStdout) {
-    options.onStdout = () => { };


このあたり無意味だと思ったので消しました。

omochi · 2024-05-24T12:23:23Z

entrypoint/dev.ts

-        );
-        Error.stackTraceLimit = prevLimit;
+      onStdoutLine(line) {
+        console.log(line);


従来のコンソールに流す挙動はユーザ側で再現します。

omochi · 2024-05-24T12:25:34Z

entrypoint/dev.ts

+          kind: "stackTrace",
+          stackTrace: stack,
+        })
+      );


スタックを送信する処理は handleError の時だけにします。
~~でもこれだと非同期で後から死んだ場合が漏れるなあ~~

omochi · 2024-05-24T12:26:49Z

entrypoint/test.ts

-  if (e instanceof WebAssembly.RuntimeError) {
-    console.log(e.stack);
+
+  if (e instanceof Error) {


Wasmの実行が止まったら handleError にくるので、
そこで例外をサーバに送信します。

package.json

omochi · 2024-05-24T12:28:20Z

dev.jsがデグレしているので直します。
test.jsと重複するので共通化します。

omochi

update

omochi · 2024-05-24T13:23:02Z

Tests/Fixtures/SandboxApp/README.md

@@ -0,0 +1,4 @@
+This application serves as a working environment for experimenting with the behavior of "carton".


SandboxAppを追加します。
自動テストからは利用されないが、手で起動して実験するためのアプリです。

本当は全部自動テストするのが望ましいですが、
技術的に難しくて自動化をすぐに用意できないシナリオもしばしばあるので、
こういうのがあったほうが良いと思いました。

特に実際には、
ボタンを押したら fatalError によって Swiftプロセスが終了する時の、
dev.jsのスタックトレースの転送を調べていました。

omochi · 2024-05-24T13:25:54Z

entrypoint/dev.ts

+    });
+    await startWasiTask();
+  } catch (e) {
+    handleError(e);


Swiftのmain関数でクラッシュした場合 (JS的には例外送出)と、
Windowのエラーハンドラ（ボタンクリック時など）と、
エラーになったPromiseが次に渡されなかったとき、
にスタックトレースを送信します。

デフォルトのブラウザの挙動としてコンソールにダンプが出ますが、
handleError のなかの console.error と内容がかぶるので preventDefault します。

How about removing console.error in handleError and just printing errors as the browser's default event action? preventDefault lost some 1st class exception support from browsers. e.g. printing stack trace, exception point marker.

Default action console.error

なるほど。
onerrorとonrejectなんとかは preventDefaultしないでブラウザが出す方に任せたら良いのか。
そうします。

mainの方はcatchして再throwしてもトレースは繋がるんだろうか。
試してみます。

unreachable命令にたどり着ける感じになる。この方がいいですね。
これはonerrorの場合。

mainもそのまま再throwしたらいい感じになった

omochi · 2024-05-24T16:17:15Z

entrypoint/dev.ts

@@ -65,14 +60,32 @@ const startWasiTask = async () => {
 };

 function handleError(e: any) {
-  console.error(e);


コンソールに流す処理はやめます。
そのままブラウザに例外を渡せば出力してくれるからです。

omochi · 2024-05-24T16:17:49Z

entrypoint/dev.ts

+async function main(): Promise<void> {
+  try {
+    window.addEventListener("error", (event) => {
+      handleError(event.error);


スタックトレースの送信だけして、イベントはそのままにします。
そのまま自然にブラウザの例外ダンプを引き起こしたいため。

omochi · 2024-05-24T16:18:03Z

entrypoint/dev.ts

+    await startWasiTask();
+  } catch (e) {
+    handleError(e);
+    throw e;


再throwすることでブラウザによってダンプされます。

omochi · 2024-05-24T16:18:47Z

entrypoint/test.ts

+  try {
+    await startWasiTask();
+  } catch (e) {
+    handleError(e);


テストのエラーハンドリングは複雑で壊しそうだったのでここでは
try-await-catchにするだけで例外データフローは変えません。

omochi · 2024-05-24T16:19:23Z

@kateinoigakukun ブラウザの例外ダンプを使う提案を採用しました。

Enable WasmRunner to handle stdout as raw binary

a4f8f6e

kateinoigakukun reviewed May 24, 2024

View reviewed changes

package.json Outdated Show resolved Hide resolved

omochi commented May 24, 2024

View reviewed changes

omochi marked this pull request as draft May 24, 2024 12:27

omochi added 2 commits May 24, 2024 22:17

catch other errors

1193632

move devDeps

dc4ac45

omochi commented May 24, 2024

View reviewed changes

omochi marked this pull request as ready for review May 24, 2024 13:30

omochi requested a review from kateinoigakukun May 24, 2024 13:30

omochi changed the title ~~WasmRunnerがstdout, stderrをバイナリのまま送出できるようにする~~ [1/2] WasmRunnerがstdout, stderrをバイナリのまま送出できるようにする May 24, 2024

omochi added 2 commits May 25, 2024 01:14

use browser exception handling

6833478

comment out

bf6560a

omochi commented May 24, 2024

View reviewed changes

kateinoigakukun approved these changes May 24, 2024

View reviewed changes

kateinoigakukun changed the title ~~[1/2] WasmRunnerがstdout, stderrをバイナリのまま送出できるようにする~~ Send stdout/stderr from WasmRunner to dev server without decoding as UTF-8 May 24, 2024

kateinoigakukun merged commit 3cb3877 into swiftwasm:main May 24, 2024
4 checks passed

omochi deleted the stdout-proxy branch May 24, 2024 16:36

Provide feedback

Saved searches

Use saved searches to filter your results more quickly

Send stdout/stderr from WasmRunner to dev server without decoding as UTF-8 #471

Send stdout/stderr from WasmRunner to dev server without decoding as UTF-8 #471

omochi commented May 24, 2024 •

edited

Loading

omochi left a comment

omochi May 24, 2024

omochi May 24, 2024

omochi May 24, 2024 •

edited

Loading

omochi May 24, 2024

omochi May 24, 2024

omochi May 24, 2024

omochi May 24, 2024

omochi May 24, 2024 •

edited

Loading

omochi May 24, 2024

omochi commented May 24, 2024

omochi left a comment

omochi May 24, 2024

omochi May 24, 2024

kateinoigakukun May 24, 2024 •

edited

Loading

omochi May 24, 2024

omochi May 24, 2024

omochi May 24, 2024

omochi May 24, 2024

omochi May 24, 2024

omochi May 24, 2024

omochi May 24, 2024

omochi commented May 24, 2024

		@@ -0,0 +1,4 @@
		This application serves as a working environment for experimenting with the behavior of "carton".

Send stdout/stderr from WasmRunner to dev server without decoding as UTF-8 #471

Send stdout/stderr from WasmRunner to dev server without decoding as UTF-8 #471

Conversation

omochi commented May 24, 2024 • edited Loading

背景

課題

提案

動作確認

omochi left a comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

omochi May 24, 2024 • edited Loading

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

omochi May 24, 2024 • edited Loading

Choose a reason for hiding this comment

Choose a reason for hiding this comment

omochi commented May 24, 2024

omochi left a comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

kateinoigakukun May 24, 2024 • edited Loading

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

omochi commented May 24, 2024

omochi commented May 24, 2024 •

edited

Loading

omochi May 24, 2024 •

edited

Loading

omochi May 24, 2024 •

edited

Loading

kateinoigakukun May 24, 2024 •

edited

Loading