Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Tailscale up command results in infinite loop of connection status #128

Open
seanmcne opened this issue May 31, 2024 · 13 comments
Open

Tailscale up command results in infinite loop of connection status #128

seanmcne opened this issue May 31, 2024 · 13 comments

Comments

@seanmcne
Copy link

I'm running the following in a github action, in previous versions it typically connects then when I call the up command again with an --exit-node value it will sometimes result in this constant repeating log of all 0's for many minutes until it times out. Am I using the action incorrectly given recent updates?

    - name: Tailscale
      uses: tailscale/github-action@v2
      with:
        oauth-client-id: ${{ secrets.CLIENTID }}
        oauth-secret: ${{ secrets.SECRET }}
        tags: tag:ci
        version: 1.66.3
        #args: "--exit-node=pfsense" #using this we get an error: must be IP or unique node name
    - name: Tailscale - ReRun Up Command To Set ExitNode to pfsense
      uses: tailscale/github-action@v2
      with:
        oauth-client-id: ${{ secrets.CLIENTID}}
        oauth-secret: ${{ secrets.SECRET }}
        tags: tag:ci
        args: "--exit-node=pfsense"
        version: 1.66.3

image
image

@Vlaaaaaaad
Copy link

Vlaaaaaaad commented Jun 2, 2024

1.62.0 seems to be the latest working version for me 🤔

Later edit: spoke too soon, on the next run 1.62.0 also got the infinite loop 😞

@seanmcne
Copy link
Author

seanmcne commented Jun 3, 2024

1.62.0 seems to be the latest working version for me 🤔

Later edit: spoke too soon, on the next run 1.62.0 also got the infinite loop 😞

I've noticed it isn't a 100% repro, sometimes it works, for now I've fallen back to the default (which I believe is 1.42.0) - on the upside I'm happy to know that it isn't just me experiencing the looped log/action output.

@seanmcne
Copy link
Author

seanmcne commented Jun 6, 2024

@patrickod - do you know if this looks to be a github action specific issue or something in core tailscale that might need to be addressed there?

@patrickod
Copy link
Contributor

@seanmcne it is possible that a recent change in the client might be at issue here but without more detailed logs is it hard to tell.

Would you be able to share with us the log output from a failed run that you have observed? Separately we recently released 1.66.4 which may address this issue. Is this bug reproducible with this most recent version?

@Vlaaaaaaad
Copy link

I tried v1.66.4 this weekend and it failed for me. I am happy to re-rest or to help debug this so let me know if you need anything 🙂

Here is the workflow I used (note that I am also trying to use a Tailscale Exit Node):

- name: Setup Tailscale
  uses: tailscale/github-action@v2
  with:
    version: 1.66.4
    oauth-client-id: ${{ secrets.TAILSCALE_OAUTH_CLIENTID }}
    oauth-secret: ${{ secrets.TAILSCALE_OAUTH_KEY }}
    tags: tag:gha
    hostname: xxxxxxxxx-initial-gha-${{ github.run_id }}

- name: Get Exit node IP
  run: |
    TAILSCALE_EXIT_NODE="$(dig +short my_fancy_node.xxxxxxxxx.ts.net)"
    echo "TAILSCALE_EXIT_NODE=${TAILSCALE_EXIT_NODE}" >> "$GITHUB_ENV"

- name: Setup Tailscale with an exit node
  uses: tailscale/github-action@v2
  with:
    version: 1.66.4
    oauth-client-id: ${{ secrets.TAILSCALE_OAUTH_CLIENTID }}
    oauth-secret: ${{ secrets.TAILSCALE_OAUTH_KEY  }}
    tags: tag:gha
    hostname: xxxxxxxxx-gha-${{ github.run_id }}
    args: "--exit-node=${{ env.TAILSCALE_EXIT_NODE }}"

which produced the following logs:

442 lines of logs
2024-06-02T10:31:08.9192721Z ##[group]Run tailscale/github-action@v2
2024-06-02T10:31:08.9193224Z with:
2024-06-02T10:31:08.9193675Z   version: 1.66.4
2024-06-02T10:31:08.9194353Z   oauth-client-id: ***
2024-06-02T10:31:08.9195042Z   oauth-secret: ***
2024-06-02T10:31:08.9195447Z   tags: tag:gha
2024-06-02T10:31:08.9195857Z   hostname: xxxxxxxxx-initial-gha-9337556018
2024-06-02T10:31:08.9196329Z ##[endgroup]
2024-06-02T10:31:08.9444840Z ##[group]Run if [ X64 = "ARM64" ]; then
2024-06-02T10:31:08.9445348Z    if [ X64 = "ARM64" ]; then   
2024-06-02T10:31:08.9445855Z      TS_ARCH="arm64"   
2024-06-02T10:31:08.9446271Z    elif [ X64 = "ARM" ]; then   
2024-06-02T10:31:08.9446699Z      TS_ARCH="arm"   
2024-06-02T10:31:08.9447159Z    elif [ X64 = "X86" ]; then   
2024-06-02T10:31:08.9447579Z      TS_ARCH="386"   
2024-06-02T10:31:08.9448280Z    elif [ X64 = "X64" ]; then   
2024-06-02T10:31:08.9448872Z      TS_ARCH="amd64"   
2024-06-02T10:31:08.9449247Z    else   
2024-06-02T10:31:08.9449774Z      TS_ARCH="amd64"   
2024-06-02T10:31:08.9450156Z    fi   
2024-06-02T10:31:08.9450540Z    MINOR=$(echo "$VERSION" | awk -F '.' {'print $2'})   
2024-06-02T10:31:08.9451134Z    if [ $((MINOR % 2)) -eq 0 ]; then   
2024-06-02T10:31:08.9451880Z      URL="https://pkgs.tailscale.com/stable/tailscale_${VERSION}_${TS_ARCH}.tgz"   
2024-06-02T10:31:08.9452516Z    else   
2024-06-02T10:31:08.9453144Z      URL="https://pkgs.tailscale.com/unstable/tailscale_${VERSION}_${TS_ARCH}.tgz"   
2024-06-02T10:31:08.9453736Z    fi   
2024-06-02T10:31:08.9454081Z    if ! [[ "$SHA256SUM" ]] ; then   
2024-06-02T10:31:08.9454772Z      SHA256SUM="$(curl -H user-agent:tailscale-github-action -L "${URL}.sha256")"   
2024-06-02T10:31:08.9455391Z    fi   
2024-06-02T10:31:08.9456026Z    curl -H user-agent:tailscale-github-action -L "$URL" -o tailscale.tgz --max-time 300   
2024-06-02T10:31:08.9456791Z    echo "$SHA256SUM  tailscale.tgz" | sha256sum -c   
2024-06-02T10:31:08.9457271Z    tar -C /tmp -xzf tailscale.tgz   
2024-06-02T10:31:08.9457770Z    rm tailscale.tgz   
2024-06-02T10:31:08.9458279Z    TSPATH=/tmp/tailscale_${VERSION}_${TS_ARCH}   
2024-06-02T10:31:08.9458885Z    sudo mv "${TSPATH}/tailscale" "${TSPATH}/tailscaled" /usr/bin   
2024-06-02T10:31:08.9519673Z shell: /usr/bin/bash --noprofile --norc -e -o pipefail {0}
2024-06-02T10:31:08.9520214Z env:
2024-06-02T10:31:08.9520652Z   VERSION: 1.66.4
2024-06-02T10:31:08.9521022Z   SHA256SUM: 
2024-06-02T10:31:08.9521316Z ##[endgroup]
2024-06-02T10:31:08.9707918Z   % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
2024-06-02T10:31:08.9709323Z                                  Dload  Upload   Total   Spent    Left  Speed
2024-06-02T10:31:08.9709835Z 
2024-06-02T10:31:09.0638285Z   0     0    0     0    0     0      0      0 --:--:-- --:--:-- --:--:--     0
2024-06-02T10:31:09.1062789Z   0     0    0     0    0     0      0      0 --:--:-- --:--:-- --:--:--     0
2024-06-02T10:31:09.1069568Z 100    64  100    64    0     0    469      0 --:--:-- --:--:-- --:--:--   470
2024-06-02T10:31:09.1185223Z   % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
2024-06-02T10:31:09.1192019Z                                  Dload  Upload   Total   Spent    Left  Speed
2024-06-02T10:31:09.1192744Z 
2024-06-02T10:31:09.1884438Z   0     0    0     0    0     0      0      0 --:--:-- --:--:-- --:--:--     0
2024-06-02T10:31:09.1886253Z 100    81  100    81    0     0   1144      0 --:--:-- --:--:-- --:--:--  1157
2024-06-02T10:31:09.3968473Z 
2024-06-02T10:31:09.3969988Z 100 26.0M  100 26.0M    0     0  93.2M      0 --:--:-- --:--:-- --:--:-- 93.2M
2024-06-02T10:31:09.5376798Z tailscale.tgz: OK
2024-06-02T10:31:09.9017982Z ##[group]Run sudo -E tailscaled --state=mem: ${ADDITIONAL_DAEMON_ARGS} 2>~/tailscaled.log &
2024-06-02T10:31:09.9018847Z    sudo -E tailscaled --state=mem: ${ADDITIONAL_DAEMON_ARGS} 2>~/tailscaled.log &   
2024-06-02T10:31:09.9019958Z    # And check that tailscaled came up. The CLI will block for a bit waiting   
2024-06-02T10:31:09.9020769Z    # for it. And --json will make it exit with status 0 even if we're logged   
2024-06-02T10:31:09.9021509Z    # out (as we will be). Without --json it returns an error if we're not up.   
2024-06-02T10:31:09.9022246Z    sudo -E tailscale status --json >/dev/null   
2024-06-02T10:31:09.9081372Z shell: /usr/bin/bash --noprofile --norc -e -o pipefail {0}
2024-06-02T10:31:09.9081865Z env:
2024-06-02T10:31:09.9082204Z   ADDITIONAL_DAEMON_ARGS: 
2024-06-02T10:31:09.9082650Z ##[endgroup]
2024-06-02T10:31:16.0734963Z ##[group]Run if [ -z "${HOSTNAME}" ]; then
2024-06-02T10:31:16.0735580Z    if [ -z "${HOSTNAME}" ]; then   
2024-06-02T10:31:16.0736073Z      HOSTNAME="github-$(cat /etc/hostname)"   
2024-06-02T10:31:16.0736550Z    fi   
2024-06-02T10:31:16.0737297Z    if [ -n "***" ]; then   
2024-06-02T10:31:16.0738200Z      TAILSCALE_AUTHKEY="***?preauthorized=true&ephemeral=true"   
2024-06-02T10:31:16.0738887Z      TAGS_ARG="--advertise-tags=tag:gha"   
2024-06-02T10:31:16.0739338Z    fi   
2024-06-02T10:31:16.0740045Z    timeout 5m sudo -E tailscale up ${TAGS_ARG} --authkey=${TAILSCALE_AUTHKEY} --hostname=${HOSTNAME} --accept-routes ${ADDITIONAL_ARGS}   
2024-06-02T10:31:16.0798859Z shell: /usr/bin/bash --noprofile --norc -e -o pipefail {0}
2024-06-02T10:31:16.0799442Z env:
2024-06-02T10:31:16.0799718Z   TAILSCALE_AUTHKEY: 
2024-06-02T10:31:16.0800099Z   ADDITIONAL_ARGS: 
2024-06-02T10:31:16.0800570Z   HOSTNAME: xxxxxxxxx-initial-gha-9337556018
2024-06-02T10:31:16.0801070Z   TS_EXPERIMENT_OAUTH_AUTHKEY: true
2024-06-02T10:31:16.0801456Z ##[endgroup]
2024-06-02T10:31:17.9016400Z ##[group]Run TAILSCALE_EXIT_NODE="$(dig +short my_fancy_node.xxxxxxxxx.ts.net)"
2024-06-02T10:31:17.9017191Z    TAILSCALE_EXIT_NODE="$(dig +short my_fancy_node.xxxxxxxxx.ts.net)"   
2024-06-02T10:31:17.9018019Z    echo "TAILSCALE_EXIT_NODE=${TAILSCALE_EXIT_NODE}" >> "$GITHUB_ENV"   
2024-06-02T10:31:17.9076843Z shell: /usr/bin/bash -e {0}
2024-06-02T10:31:17.9077351Z ##[endgroup]
2024-06-02T10:31:18.0923365Z ##[group]Run tailscale/github-action@v2
2024-06-02T10:31:18.0923849Z with:
2024-06-02T10:31:18.0924156Z   version: 1.66.4
2024-06-02T10:31:18.0924682Z   oauth-client-id: ***
2024-06-02T10:31:18.0925315Z   oauth-secret: ***
2024-06-02T10:31:18.0925621Z   tags: tag:gha
2024-06-02T10:31:18.0926071Z   hostname: xxxxxxxxx-gha-9337556018
2024-06-02T10:31:18.0926503Z   args: --exit-node=999.999.999.999
2024-06-02T10:31:18.0926912Z env:
2024-06-02T10:31:18.0927257Z   TAILSCALE_EXIT_NODE: 999.999.999.999
2024-06-02T10:31:18.0927651Z ##[endgroup]
2024-06-02T10:31:18.0964937Z ##[group]Run if [ X64 = "ARM64" ]; then
2024-06-02T10:31:18.0965792Z    if [ X64 = "ARM64" ]; then   
2024-06-02T10:31:18.0966192Z      TS_ARCH="arm64"   
2024-06-02T10:31:18.0966679Z    elif [ X64 = "ARM" ]; then   
2024-06-02T10:31:18.0967109Z      TS_ARCH="arm"   
2024-06-02T10:31:18.0967483Z    elif [ X64 = "X86" ]; then   
2024-06-02T10:31:18.0968118Z      TS_ARCH="386"   
2024-06-02T10:31:18.0968657Z    elif [ X64 = "X64" ]; then   
2024-06-02T10:31:18.0969157Z      TS_ARCH="amd64"   
2024-06-02T10:31:18.0969546Z    else   
2024-06-02T10:31:18.0969875Z      TS_ARCH="amd64"   
2024-06-02T10:31:18.0970296Z    fi   
2024-06-02T10:31:18.0970735Z    MINOR=$(echo "$VERSION" | awk -F '.' {'print $2'})   
2024-06-02T10:31:18.0971269Z    if [ $((MINOR % 2)) -eq 0 ]; then   
2024-06-02T10:31:18.0972013Z      URL="https://pkgs.tailscale.com/stable/tailscale_${VERSION}_${TS_ARCH}.tgz"   
2024-06-02T10:31:18.0972625Z    else   
2024-06-02T10:31:18.0973340Z      URL="https://pkgs.tailscale.com/unstable/tailscale_${VERSION}_${TS_ARCH}.tgz"   
2024-06-02T10:31:18.0974060Z    fi   
2024-06-02T10:31:18.0974403Z    if ! [[ "$SHA256SUM" ]] ; then   
2024-06-02T10:31:18.0975040Z      SHA256SUM="$(curl -H user-agent:tailscale-github-action -L "${URL}.sha256")"   
2024-06-02T10:31:18.0975702Z    fi   
2024-06-02T10:31:18.0976242Z    curl -H user-agent:tailscale-github-action -L "$URL" -o tailscale.tgz --max-time 300   
2024-06-02T10:31:18.0977010Z    echo "$SHA256SUM  tailscale.tgz" | sha256sum -c   
2024-06-02T10:31:18.0977603Z    tar -C /tmp -xzf tailscale.tgz   
2024-06-02T10:31:18.0978057Z    rm tailscale.tgz   
2024-06-02T10:31:18.0978566Z    TSPATH=/tmp/tailscale_${VERSION}_${TS_ARCH}   
2024-06-02T10:31:18.0979214Z    sudo mv "${TSPATH}/tailscale" "${TSPATH}/tailscaled" /usr/bin   
2024-06-02T10:31:18.1038153Z shell: /usr/bin/bash --noprofile --norc -e -o pipefail {0}
2024-06-02T10:31:18.1038693Z env:
2024-06-02T10:31:18.1039015Z   TAILSCALE_EXIT_NODE: 999.999.999.999
2024-06-02T10:31:18.1039467Z   VERSION: 1.66.4
2024-06-02T10:31:18.1039825Z   SHA256SUM: 
2024-06-02T10:31:18.1040143Z ##[endgroup]
2024-06-02T10:31:19.6571748Z   % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
2024-06-02T10:31:19.6590529Z                                  Dload  Upload   Total   Spent    Left  Speed
2024-06-02T10:31:19.6591120Z 
2024-06-02T10:31:19.6591702Z   0     0    0     0    0     0      0      0 --:--:-- --:--:-- --:--:--     0
2024-06-02T10:31:19.6592413Z 100    64  100    64    0     0    860      0 --:--:-- --:--:-- --:--:--   864
2024-06-02T10:31:19.6593191Z   % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
2024-06-02T10:31:19.6594061Z                                  Dload  Upload   Total   Spent    Left  Speed
2024-06-02T10:31:19.6594582Z 
2024-06-02T10:31:19.6600990Z   0     0    0     0    0     0      0      0 --:--:-- --:--:-- --:--:--     0
2024-06-02T10:31:19.6602241Z 100    81  100    81    0     0   1249      0 --:--:-- --:--:-- --:--:--  1265
2024-06-02T10:31:19.6602767Z 
2024-06-02T10:31:20.4938046Z   0     0    0     0    0     0      0      0 --:--:--  0:00:01 --:--:--     0
2024-06-02T10:31:21.4949453Z   0     0    0     0    0     0      0      0 --:--:--  0:00:02 --:--:--     0
2024-06-02T10:31:22.4961265Z   0     0    0     0    0     0      0      0 --:--:--  0:00:03 --:--:--     0
2024-06-02T10:31:23.4972472Z   0     0    0     0    0     0      0      0 --:--:--  0:00:04 --:--:--     0
2024-06-02T10:31:24.4984111Z   0     0    0     0    0     0      0      0 --:--:--  0:00:05 --:--:--     0
2024-06-02T10:31:26.1587976Z   0     0    0     0    0     0      0      0 --:--:--  0:00:06 --:--:--     0
2024-06-02T10:31:26.5007571Z   0     0    0     0    0     0      0      0 --:--:--  0:00:07 --:--:--     0
2024-06-02T10:31:27.5018559Z   0     0    0     0    0     0      0      0 --:--:--  0:00:08 --:--:--     0
2024-06-02T10:31:28.5030635Z   0     0    0     0    0     0      0      0 --:--:--  0:00:09 --:--:--     0
2024-06-02T10:31:29.5041908Z   0     0    0     0    0     0      0      0 --:--:--  0:00:10 --:--:--     0
2024-06-02T10:31:30.5053092Z   0     0    0     0    0     0      0      0 --:--:--  0:00:11 --:--:--     0
2024-06-02T10:31:31.5064940Z   0     0    0     0    0     0      0      0 --:--:--  0:00:12 --:--:--     0
2024-06-02T10:31:32.5076268Z   0     0    0     0    0     0      0      0 --:--:--  0:00:13 --:--:--     0
2024-06-02T10:31:33.5088704Z   0     0    0     0    0     0      0      0 --:--:--  0:00:14 --:--:--     0
2024-06-02T10:31:34.5099452Z   0     0    0     0    0     0      0      0 --:--:--  0:00:15 --:--:--     0
2024-06-02T10:31:35.5111778Z   0     0    0     0    0     0      0      0 --:--:--  0:00:16 --:--:--     0
2024-06-02T10:31:36.5123449Z   0     0    0     0    0     0      0      0 --:--:--  0:00:17 --:--:--     0
2024-06-02T10:31:37.6612384Z   0     0    0     0    0     0      0      0 --:--:--  0:00:18 --:--:--     0
2024-06-02T10:31:38.5145836Z   0     0    0     0    0     0      0      0 --:--:--  0:00:19 --:--:--     0
2024-06-02T10:31:40.1618530Z   0     0    0     0    0     0      0      0 --:--:--  0:00:20 --:--:--     0
2024-06-02T10:31:40.5169636Z   0     0    0     0    0     0      0      0 --:--:--  0:00:21 --:--:--     0
2024-06-02T10:31:41.5180912Z   0     0    0     0    0     0      0      0 --:--:--  0:00:22 --:--:--     0
2024-06-02T10:31:42.5192045Z   0     0    0     0    0     0      0      0 --:--:--  0:00:23 --:--:--     0
2024-06-02T10:31:43.5204404Z   0     0    0     0    0     0      0      0 --:--:--  0:00:24 --:--:--     0
2024-06-02T10:31:44.5215974Z   0     0    0     0    0     0      0      0 --:--:--  0:00:25 --:--:--     0
2024-06-02T10:31:45.5226781Z   0     0    0     0    0     0      0      0 --:--:--  0:00:26 --:--:--     0
2024-06-02T10:31:46.5238048Z   0     0    0     0    0     0      0      0 --:--:--  0:00:27 --:--:--     0
2024-06-02T10:31:47.5250055Z   0     0    0     0    0     0      0      0 --:--:--  0:00:28 --:--:--     0
2024-06-02T10:31:48.5261618Z   0     0    0     0    0     0      0      0 --:--:--  0:00:29 --:--:--     0
2024-06-02T10:31:49.5273828Z   0     0    0     0    0     0      0      0 --:--:--  0:00:30 --:--:--     0
2024-06-02T10:31:50.5285347Z   0     0    0     0    0     0      0      0 --:--:--  0:00:31 --:--:--     0
2024-06-02T10:31:51.6642839Z   0     0    0     0    0     0      0      0 --:--:--  0:00:32 --:--:--     0
2024-06-02T10:31:52.5307529Z   0     0    0     0    0     0      0      0 --:--:--  0:00:33 --:--:--     0
2024-06-02T10:31:53.5319123Z   0     0    0     0    0     0      0      0 --:--:--  0:00:34 --:--:--     0
2024-06-02T10:31:54.5330637Z   0     0    0     0    0     0      0      0 --:--:--  0:00:35 --:--:--     0
2024-06-02T10:31:55.5342467Z   0     0    0     0    0     0      0      0 --:--:--  0:00:36 --:--:--     0
2024-06-02T10:31:56.5353828Z   0     0    0     0    0     0      0      0 --:--:--  0:00:37 --:--:--     0
2024-06-02T10:31:57.5366335Z   0     0    0     0    0     0      0      0 --:--:--  0:00:38 --:--:--     0
2024-06-02T10:31:58.5377496Z   0     0    0     0    0     0      0      0 --:--:--  0:00:39 --:--:--     0
2024-06-02T10:31:59.5388612Z   0     0    0     0    0     0      0      0 --:--:--  0:00:40 --:--:--     0
2024-06-02T10:32:00.5400581Z   0     0    0     0    0     0      0      0 --:--:--  0:00:41 --:--:--     0
2024-06-02T10:32:01.5411440Z   0     0    0     0    0     0      0      0 --:--:--  0:00:42 --:--:--     0
2024-06-02T10:32:02.5422762Z   0     0    0     0    0     0      0      0 --:--:--  0:00:43 --:--:--     0
2024-06-02T10:32:03.5435196Z   0     0    0     0    0     0      0      0 --:--:--  0:00:44 --:--:--     0
2024-06-02T10:32:04.5446624Z   0     0    0     0    0     0      0      0 --:--:--  0:00:45 --:--:--     0
2024-06-02T10:32:05.5457876Z   0     0    0     0    0     0      0      0 --:--:--  0:00:46 --:--:--     0
2024-06-02T10:32:06.5469233Z   0     0    0     0    0     0      0      0 --:--:--  0:00:47 --:--:--     0
2024-06-02T10:32:07.5481194Z   0     0    0     0    0     0      0      0 --:--:--  0:00:48 --:--:--     0
2024-06-02T10:32:08.5492125Z   0     0    0     0    0     0      0      0 --:--:--  0:00:49 --:--:--     0
2024-06-02T10:32:09.5503744Z   0     0    0     0    0     0      0      0 --:--:--  0:00:50 --:--:--     0
2024-06-02T10:32:10.5515514Z   0     0    0     0    0     0      0      0 --:--:--  0:00:51 --:--:--     0
2024-06-02T10:32:11.5528298Z   0     0    0     0    0     0      0      0 --:--:--  0:00:52 --:--:--     0
2024-06-02T10:32:12.5538764Z   0     0    0     0    0     0      0      0 --:--:--  0:00:53 --:--:--     0
2024-06-02T10:32:13.5550915Z   0     0    0     0    0     0      0      0 --:--:--  0:00:54 --:--:--     0
2024-06-02T10:32:14.5561931Z   0     0    0     0    0     0      0      0 --:--:--  0:00:55 --:--:--     0
2024-06-02T10:32:15.5573582Z   0     0    0     0    0     0      0      0 --:--:--  0:00:56 --:--:--     0
2024-06-02T10:32:16.5585626Z   0     0    0     0    0     0      0      0 --:--:--  0:00:57 --:--:--     0
2024-06-02T10:32:17.5597063Z   0     0    0     0    0     0      0      0 --:--:--  0:00:58 --:--:--     0
2024-06-02T10:32:18.5609328Z   0     0    0     0    0     0      0      0 --:--:--  0:00:59 --:--:--     0
2024-06-02T10:32:19.5619785Z   0     0    0     0    0     0      0      0 --:--:--  0:01:00 --:--:--     0
2024-06-02T10:32:20.5631483Z   0     0    0     0    0     0      0      0 --:--:--  0:01:01 --:--:--     0
2024-06-02T10:32:21.5643548Z   0     0    0     0    0     0      0      0 --:--:--  0:01:02 --:--:--     0
2024-06-02T10:32:22.5654704Z   0     0    0     0    0     0      0      0 --:--:--  0:01:03 --:--:--     0
2024-06-02T10:32:23.5665648Z   0     0    0     0    0     0      0      0 --:--:--  0:01:04 --:--:--     0
2024-06-02T10:32:24.5668529Z   0     0    0     0    0     0      0      0 --:--:--  0:01:05 --:--:--     0
2024-06-02T10:32:25.5680135Z   0     0    0     0    0     0      0      0 --:--:--  0:01:06 --:--:--     0
2024-06-02T10:32:26.5691381Z   0     0    0     0    0     0      0      0 --:--:--  0:01:07 --:--:--     0
2024-06-02T10:32:27.5702931Z   0     0    0     0    0     0      0      0 --:--:--  0:01:08 --:--:--     0
2024-06-02T10:32:28.5714123Z   0     0    0     0    0     0      0      0 --:--:--  0:01:09 --:--:--     0
2024-06-02T10:32:29.5726094Z   0     0    0     0    0     0      0      0 --:--:--  0:01:10 --:--:--     0
2024-06-02T10:32:30.5737473Z   0     0    0     0    0     0      0      0 --:--:--  0:01:11 --:--:--     0
2024-06-02T10:32:31.5749577Z   0     0    0     0    0     0      0      0 --:--:--  0:01:12 --:--:--     0
2024-06-02T10:32:32.5761275Z   0     0    0     0    0     0      0      0 --:--:--  0:01:13 --:--:--     0
2024-06-02T10:32:33.5772674Z   0     0    0     0    0     0      0      0 --:--:--  0:01:14 --:--:--     0
2024-06-02T10:32:34.5784274Z   0     0    0     0    0     0      0      0 --:--:--  0:01:15 --:--:--     0
2024-06-02T10:32:35.5795727Z   0     0    0     0    0     0      0      0 --:--:--  0:01:16 --:--:--     0
2024-06-02T10:32:36.5807300Z   0     0    0     0    0     0      0      0 --:--:--  0:01:17 --:--:--     0
2024-06-02T10:32:37.5818611Z   0     0    0     0    0     0      0      0 --:--:--  0:01:18 --:--:--     0
2024-06-02T10:32:38.5830848Z   0     0    0     0    0     0      0      0 --:--:--  0:01:19 --:--:--     0
2024-06-02T10:32:39.5843503Z   0     0    0     0    0     0      0      0 --:--:--  0:01:20 --:--:--     0
2024-06-02T10:32:40.5851401Z   0     0    0     0    0     0      0      0 --:--:--  0:01:21 --:--:--     0
2024-06-02T10:32:41.5863060Z   0     0    0     0    0     0      0      0 --:--:--  0:01:22 --:--:--     0
2024-06-02T10:32:42.5875083Z   0     0    0     0    0     0      0      0 --:--:--  0:01:23 --:--:--     0
2024-06-02T10:32:43.5886345Z   0     0    0     0    0     0      0      0 --:--:--  0:01:24 --:--:--     0
2024-06-02T10:32:44.5897970Z   0     0    0     0    0     0      0      0 --:--:--  0:01:25 --:--:--     0
2024-06-02T10:32:45.6751359Z   0     0    0     0    0     0      0      0 --:--:--  0:01:26 --:--:--     0
2024-06-02T10:32:46.6755175Z   0     0    0     0    0     0      0      0 --:--:--  0:01:27 --:--:--     0
2024-06-02T10:32:47.5932795Z   0     0    0     0    0     0      0      0 --:--:--  0:01:28 --:--:--     0
2024-06-02T10:32:48.5944691Z   0     0    0     0    0     0      0      0 --:--:--  0:01:29 --:--:--     0
2024-06-02T10:32:49.5956589Z   0     0    0     0    0     0      0      0 --:--:--  0:01:30 --:--:--     0
2024-06-02T10:32:50.5968348Z   0     0    0     0    0     0      0      0 --:--:--  0:01:31 --:--:--     0
2024-06-02T10:32:51.5971130Z   0     0    0     0    0     0      0      0 --:--:--  0:01:32 --:--:--     0
2024-06-02T10:32:52.5982913Z   0     0    0     0    0     0      0      0 --:--:--  0:01:33 --:--:--     0
2024-06-02T10:32:53.5994499Z   0     0    0     0    0     0      0      0 --:--:--  0:01:34 --:--:--     0
2024-06-02T10:32:54.6005646Z   0     0    0     0    0     0      0      0 --:--:--  0:01:35 --:--:--     0
2024-06-02T10:32:55.6016777Z   0     0    0     0    0     0      0      0 --:--:--  0:01:36 --:--:--     0
2024-06-02T10:32:56.6028540Z   0     0    0     0    0     0      0      0 --:--:--  0:01:37 --:--:--     0
2024-06-02T10:32:57.6040516Z   0     0    0     0    0     0      0      0 --:--:--  0:01:38 --:--:--     0
2024-06-02T10:32:58.6052343Z   0     0    0     0    0     0      0      0 --:--:--  0:01:39 --:--:--     0
2024-06-02T10:32:59.6064132Z   0     0    0     0    0     0      0      0 --:--:--  0:01:40 --:--:--     0
2024-06-02T10:33:00.6075604Z   0     0    0     0    0     0      0      0 --:--:--  0:01:41 --:--:--     0
2024-06-02T10:33:01.6087325Z   0     0    0     0    0     0      0      0 --:--:--  0:01:42 --:--:--     0
2024-06-02T10:33:02.6099432Z   0     0    0     0    0     0      0      0 --:--:--  0:01:43 --:--:--     0
2024-06-02T10:33:03.6110664Z   0     0    0     0    0     0      0      0 --:--:--  0:01:44 --:--:--     0
2024-06-02T10:33:04.6122550Z   0     0    0     0    0     0      0      0 --:--:--  0:01:45 --:--:--     0
2024-06-02T10:33:05.6134050Z   0     0    0     0    0     0      0      0 --:--:--  0:01:46 --:--:--     0
2024-06-02T10:33:06.6145278Z   0     0    0     0    0     0      0      0 --:--:--  0:01:47 --:--:--     0
2024-06-02T10:33:07.6157325Z   0     0    0     0    0     0      0      0 --:--:--  0:01:48 --:--:--     0
2024-06-02T10:33:08.6168775Z   0     0    0     0    0     0      0      0 --:--:--  0:01:49 --:--:--     0
2024-06-02T10:33:09.6180145Z   0     0    0     0    0     0      0      0 --:--:--  0:01:50 --:--:--     0
2024-06-02T10:33:10.6192129Z   0     0    0     0    0     0      0      0 --:--:--  0:01:51 --:--:--     0
2024-06-02T10:33:11.6203778Z   0     0    0     0    0     0      0      0 --:--:--  0:01:52 --:--:--     0
2024-06-02T10:33:12.6215748Z   0     0    0     0    0     0      0      0 --:--:--  0:01:53 --:--:--     0
2024-06-02T10:33:13.6227642Z   0     0    0     0    0     0      0      0 --:--:--  0:01:54 --:--:--     0
2024-06-02T10:33:14.6239598Z   0     0    0     0    0     0      0      0 --:--:--  0:01:55 --:--:--     0
2024-06-02T10:33:15.6251775Z   0     0    0     0    0     0      0      0 --:--:--  0:01:56 --:--:--     0
2024-06-02T10:33:16.6263891Z   0     0    0     0    0     0      0      0 --:--:--  0:01:57 --:--:--     0
2024-06-02T10:33:17.6274607Z   0     0    0     0    0     0      0      0 --:--:--  0:01:58 --:--:--     0
2024-06-02T10:33:18.6286668Z   0     0    0     0    0     0      0      0 --:--:--  0:01:59 --:--:--     0
2024-06-02T10:33:19.6298243Z   0     0    0     0    0     0      0      0 --:--:--  0:02:00 --:--:--     0
2024-06-02T10:33:20.6309969Z   0     0    0     0    0     0      0      0 --:--:--  0:02:01 --:--:--     0
2024-06-02T10:33:21.6845625Z   0     0    0     0    0     0      0      0 --:--:--  0:02:02 --:--:--     0
2024-06-02T10:33:22.6814006Z   0     0    0     0    0     0      0      0 --:--:--  0:02:03 --:--:--     0
2024-06-02T10:33:23.6344353Z   0     0    0     0    0     0      0      0 --:--:--  0:02:04 --:--:--     0
2024-06-02T10:33:24.6356538Z   0     0    0     0    0     0      0      0 --:--:--  0:02:05 --:--:--     0
2024-06-02T10:33:25.6367508Z   0     0    0     0    0     0      0      0 --:--:--  0:02:06 --:--:--     0
2024-06-02T10:33:26.6379366Z   0     0    0     0    0     0      0      0 --:--:--  0:02:07 --:--:--     0
2024-06-02T10:33:27.6391107Z   0     0    0     0    0     0      0      0 --:--:--  0:02:08 --:--:--     0
2024-06-02T10:33:28.6402768Z   0     0    0     0    0     0      0      0 --:--:--  0:02:09 --:--:--     0
2024-06-02T10:33:29.6414195Z   0     0    0     0    0     0      0      0 --:--:--  0:02:10 --:--:--     0
2024-06-02T10:33:30.6426002Z   0     0    0     0    0     0      0      0 --:--:--  0:02:11 --:--:--     0
2024-06-02T10:33:31.6437542Z   0     0    0     0    0     0      0      0 --:--:--  0:02:12 --:--:--     0
2024-06-02T10:33:32.6449813Z   0     0    0     0    0     0      0      0 --:--:--  0:02:13 --:--:--     0
2024-06-02T10:33:33.6460837Z   0     0    0     0    0     0      0      0 --:--:--  0:02:14 --:--:--     0
2024-06-02T10:33:34.6472457Z   0     0    0     0    0     0      0      0 --:--:--  0:02:15 --:--:--     0
2024-06-02T10:33:35.6484052Z   0     0    0     0    0     0      0      0 --:--:--  0:02:16 --:--:--     0
2024-06-02T10:33:36.6495930Z   0     0    0     0    0     0      0      0 --:--:--  0:02:17 --:--:--     0
2024-06-02T10:33:37.6506902Z   0     0    0     0    0     0      0      0 --:--:--  0:02:18 --:--:--     0
2024-06-02T10:33:38.6518374Z   0     0    0     0    0     0      0      0 --:--:--  0:02:19 --:--:--     0
2024-06-02T10:33:39.6531665Z   0     0    0     0    0     0      0      0 --:--:--  0:02:20 --:--:--     0
2024-06-02T10:33:40.6541960Z   0     0    0     0    0     0      0      0 --:--:--  0:02:21 --:--:--     0
2024-06-02T10:33:41.6553510Z   0     0    0     0    0     0      0      0 --:--:--  0:02:22 --:--:--     0
2024-06-02T10:33:42.6564420Z   0     0    0     0    0     0      0      0 --:--:--  0:02:23 --:--:--     0
2024-06-02T10:33:43.6576360Z   0     0    0     0    0     0      0      0 --:--:--  0:02:24 --:--:--     0
2024-06-02T10:33:44.6588889Z   0     0    0     0    0     0      0      0 --:--:--  0:02:25 --:--:--     0
2024-06-02T10:33:45.6600375Z   0     0    0     0    0     0      0      0 --:--:--  0:02:26 --:--:--     0
2024-06-02T10:33:46.6611174Z   0     0    0     0    0     0      0      0 --:--:--  0:02:27 --:--:--     0
2024-06-02T10:33:47.6622974Z   0     0    0     0    0     0      0      0 --:--:--  0:02:28 --:--:--     0
2024-06-02T10:33:48.2480305Z   0     0    0     0    0     0      0      0 --:--:--  0:02:29 --:--:--     0
2024-06-02T10:33:49.2492218Z   0     0    0     0    0     0      0      0 --:--:--  0:02:30 --:--:--     0
2024-06-02T10:33:50.2503544Z   0     0    0     0    0     0      0      0 --:--:--  0:02:31 --:--:--     0
2024-06-02T10:33:51.2515223Z   0     0    0     0    0     0      0      0 --:--:--  0:02:32 --:--:--     0
2024-06-02T10:33:52.2526371Z   0     0    0     0    0     0      0      0 --:--:--  0:02:33 --:--:--     0
2024-06-02T10:33:53.2537724Z   0     0    0     0    0     0      0      0 --:--:--  0:02:34 --:--:--     0
2024-06-02T10:33:54.2549511Z   0     0    0     0    0     0      0      0 --:--:--  0:02:35 --:--:--     0
2024-06-02T10:33:55.2560653Z   0     0    0     0    0     0      0      0 --:--:--  0:02:36 --:--:--     0
2024-06-02T10:33:56.2571857Z   0     0    0     0    0     0      0      0 --:--:--  0:02:37 --:--:--     0
2024-06-02T10:33:57.2584131Z   0     0    0     0    0     0      0      0 --:--:--  0:02:38 --:--:--     0
2024-06-02T10:33:58.2595381Z   0     0    0     0    0     0      0      0 --:--:--  0:02:39 --:--:--     0
2024-06-02T10:33:59.2606566Z   0     0    0     0    0     0      0      0 --:--:--  0:02:40 --:--:--     0
2024-06-02T10:34:00.2612238Z   0     0    0     0    0     0      0      0 --:--:--  0:02:41 --:--:--     0
2024-06-02T10:34:01.2623589Z   0     0    0     0    0     0      0      0 --:--:--  0:02:42 --:--:--     0
2024-06-02T10:34:02.2635297Z   0     0    0     0    0     0      0      0 --:--:--  0:02:43 --:--:--     0
2024-06-02T10:34:03.2645998Z   0     0    0     0    0     0      0      0 --:--:--  0:02:44 --:--:--     0
2024-06-02T10:34:04.2657645Z   0     0    0     0    0     0      0      0 --:--:--  0:02:45 --:--:--     0
2024-06-02T10:34:05.2669427Z   0     0    0     0    0     0      0      0 --:--:--  0:02:46 --:--:--     0
2024-06-02T10:34:06.2680650Z   0     0    0     0    0     0      0      0 --:--:--  0:02:47 --:--:--     0
2024-06-02T10:34:07.2692436Z   0     0    0     0    0     0      0      0 --:--:--  0:02:48 --:--:--     0
2024-06-02T10:34:08.2703765Z   0     0    0     0    0     0      0      0 --:--:--  0:02:49 --:--:--     0
2024-06-02T10:34:09.2715340Z   0     0    0     0    0     0      0      0 --:--:--  0:02:50 --:--:--     0
2024-06-02T10:34:10.2726544Z   0     0    0     0    0     0      0      0 --:--:--  0:02:51 --:--:--     0
2024-06-02T10:34:11.2730924Z   0     0    0     0    0     0      0      0 --:--:--  0:02:52 --:--:--     0
2024-06-02T10:34:12.2742123Z   0     0    0     0    0     0      0      0 --:--:--  0:02:53 --:--:--     0
2024-06-02T10:34:13.2753824Z   0     0    0     0    0     0      0      0 --:--:--  0:02:54 --:--:--     0
2024-06-02T10:34:14.2764296Z   0     0    0     0    0     0      0      0 --:--:--  0:02:55 --:--:--     0
2024-06-02T10:34:15.2776149Z   0     0    0     0    0     0      0      0 --:--:--  0:02:56 --:--:--     0
2024-06-02T10:34:16.2778317Z   0     0    0     0    0     0      0      0 --:--:--  0:02:57 --:--:--     0
2024-06-02T10:34:17.2790413Z   0     0    0     0    0     0      0      0 --:--:--  0:02:58 --:--:--     0
2024-06-02T10:34:18.2801377Z   0     0    0     0    0     0      0      0 --:--:--  0:02:59 --:--:--     0
2024-06-02T10:34:19.2813393Z   0     0    0     0    0     0      0      0 --:--:--  0:03:00 --:--:--     0
2024-06-02T10:34:20.2824949Z   0     0    0     0    0     0      0      0 --:--:--  0:03:01 --:--:--     0
2024-06-02T10:34:21.2836060Z   0     0    0     0    0     0      0      0 --:--:--  0:03:02 --:--:--     0
2024-06-02T10:34:22.2848597Z   0     0    0     0    0     0      0      0 --:--:--  0:03:03 --:--:--     0
2024-06-02T10:34:23.2859724Z   0     0    0     0    0     0      0      0 --:--:--  0:03:04 --:--:--     0
2024-06-02T10:34:24.2871300Z   0     0    0     0    0     0      0      0 --:--:--  0:03:05 --:--:--     0
2024-06-02T10:34:25.2882911Z   0     0    0     0    0     0      0      0 --:--:--  0:03:06 --:--:--     0
2024-06-02T10:34:26.2894641Z   0     0    0     0    0     0      0      0 --:--:--  0:03:07 --:--:--     0
2024-06-02T10:34:27.2906558Z   0     0    0     0    0     0      0      0 --:--:--  0:03:08 --:--:--     0
2024-06-02T10:34:28.2918554Z   0     0    0     0    0     0      0      0 --:--:--  0:03:09 --:--:--     0
2024-06-02T10:34:29.2929810Z   0     0    0     0    0     0      0      0 --:--:--  0:03:10 --:--:--     0
2024-06-02T10:34:30.2941066Z   0     0    0     0    0     0      0      0 --:--:--  0:03:11 --:--:--     0
2024-06-02T10:34:31.2952157Z   0     0    0     0    0     0      0      0 --:--:--  0:03:12 --:--:--     0
2024-06-02T10:34:32.2964260Z   0     0    0     0    0     0      0      0 --:--:--  0:03:13 --:--:--     0
2024-06-02T10:34:33.2975391Z   0     0    0     0    0     0      0      0 --:--:--  0:03:14 --:--:--     0
2024-06-02T10:34:34.2987285Z   0     0    0     0    0     0      0      0 --:--:--  0:03:15 --:--:--     0
2024-06-02T10:34:35.2998730Z   0     0    0     0    0     0      0      0 --:--:--  0:03:16 --:--:--     0
2024-06-02T10:34:36.3010031Z   0     0    0     0    0     0      0      0 --:--:--  0:03:17 --:--:--     0
2024-06-02T10:34:37.3022651Z   0     0    0     0    0     0      0      0 --:--:--  0:03:18 --:--:--     0
2024-06-02T10:34:38.3034615Z   0     0    0     0    0     0      0      0 --:--:--  0:03:19 --:--:--     0
2024-06-02T10:34:39.3045756Z   0     0    0     0    0     0      0      0 --:--:--  0:03:20 --:--:--     0
2024-06-02T10:34:40.3057398Z   0     0    0     0    0     0      0      0 --:--:--  0:03:21 --:--:--     0
2024-06-02T10:34:41.3068932Z   0     0    0     0    0     0      0      0 --:--:--  0:03:22 --:--:--     0
2024-06-02T10:34:42.3081241Z   0     0    0     0    0     0      0      0 --:--:--  0:03:23 --:--:--     0
2024-06-02T10:34:43.3091864Z   0     0    0     0    0     0      0      0 --:--:--  0:03:24 --:--:--     0
2024-06-02T10:34:44.3103455Z   0     0    0     0    0     0      0      0 --:--:--  0:03:25 --:--:--     0
2024-06-02T10:34:45.3114355Z   0     0    0     0    0     0      0      0 --:--:--  0:03:26 --:--:--     0
2024-06-02T10:34:46.3126348Z   0     0    0     0    0     0      0      0 --:--:--  0:03:27 --:--:--     0
2024-06-02T10:34:47.3138563Z   0     0    0     0    0     0      0      0 --:--:--  0:03:28 --:--:--     0
2024-06-02T10:34:48.3150107Z   0     0    0     0    0     0      0      0 --:--:--  0:03:29 --:--:--     0
2024-06-02T10:34:49.3161898Z   0     0    0     0    0     0      0      0 --:--:--  0:03:30 --:--:--     0
2024-06-02T10:34:50.3172427Z   0     0    0     0    0     0      0      0 --:--:--  0:03:31 --:--:--     0
2024-06-02T10:34:51.3184256Z   0     0    0     0    0     0      0      0 --:--:--  0:03:32 --:--:--     0
2024-06-02T10:34:52.3196192Z   0     0    0     0    0     0      0      0 --:--:--  0:03:33 --:--:--     0
2024-06-02T10:34:53.3207031Z   0     0    0     0    0     0      0      0 --:--:--  0:03:34 --:--:--     0
2024-06-02T10:34:54.3211548Z   0     0    0     0    0     0      0      0 --:--:--  0:03:35 --:--:--     0
2024-06-02T10:34:55.3223236Z   0     0    0     0    0     0      0      0 --:--:--  0:03:36 --:--:--     0
2024-06-02T10:34:56.3235057Z   0     0    0     0    0     0      0      0 --:--:--  0:03:37 --:--:--     0
2024-06-02T10:34:57.3246773Z   0     0    0     0    0     0      0      0 --:--:--  0:03:38 --:--:--     0
2024-06-02T10:34:58.3258272Z   0     0    0     0    0     0      0      0 --:--:--  0:03:39 --:--:--     0
2024-06-02T10:34:59.3269966Z   0     0    0     0    0     0      0      0 --:--:--  0:03:40 --:--:--     0
2024-06-02T10:35:00.3281453Z   0     0    0     0    0     0      0      0 --:--:--  0:03:41 --:--:--     0
2024-06-02T10:35:01.3293278Z   0     0    0     0    0     0      0      0 --:--:--  0:03:42 --:--:--     0
2024-06-02T10:35:02.3305512Z   0     0    0     0    0     0      0      0 --:--:--  0:03:43 --:--:--     0
2024-06-02T10:35:03.3316740Z   0     0    0     0    0     0      0      0 --:--:--  0:03:44 --:--:--     0
2024-06-02T10:35:04.3328549Z   0     0    0     0    0     0      0      0 --:--:--  0:03:45 --:--:--     0
2024-06-02T10:35:05.3339965Z   0     0    0     0    0     0      0      0 --:--:--  0:03:46 --:--:--     0
2024-06-02T10:35:06.3350923Z   0     0    0     0    0     0      0      0 --:--:--  0:03:47 --:--:--     0
2024-06-02T10:35:07.3363034Z   0     0    0     0    0     0      0      0 --:--:--  0:03:48 --:--:--     0
2024-06-02T10:35:08.3374894Z   0     0    0     0    0     0      0      0 --:--:--  0:03:49 --:--:--     0
2024-06-02T10:35:09.3386239Z   0     0    0     0    0     0      0      0 --:--:--  0:03:50 --:--:--     0
2024-06-02T10:35:10.3398689Z   0     0    0     0    0     0      0      0 --:--:--  0:03:51 --:--:--     0
2024-06-02T10:35:11.3410089Z   0     0    0     0    0     0      0      0 --:--:--  0:03:52 --:--:--     0
2024-06-02T10:35:12.3421146Z   0     0    0     0    0     0      0      0 --:--:--  0:03:53 --:--:--     0
2024-06-02T10:35:13.3432826Z   0     0    0     0    0     0      0      0 --:--:--  0:03:54 --:--:--     0
2024-06-02T10:35:14.3444717Z   0     0    0     0    0     0      0      0 --:--:--  0:03:55 --:--:--     0
2024-06-02T10:35:15.3456615Z   0     0    0     0    0     0      0      0 --:--:--  0:03:56 --:--:--     0
2024-06-02T10:35:16.3468230Z   0     0    0     0    0     0      0      0 --:--:--  0:03:57 --:--:--     0
2024-06-02T10:35:17.3479153Z   0     0    0     0    0     0      0      0 --:--:--  0:03:58 --:--:--     0
2024-06-02T10:35:18.3490546Z   0     0    0     0    0     0      0      0 --:--:--  0:03:59 --:--:--     0
2024-06-02T10:35:19.3503097Z   0     0    0     0    0     0      0      0 --:--:--  0:04:00 --:--:--     0
2024-06-02T10:35:20.3514353Z   0     0    0     0    0     0      0      0 --:--:--  0:04:01 --:--:--     0
2024-06-02T10:35:21.3525922Z   0     0    0     0    0     0      0      0 --:--:--  0:04:02 --:--:--     0
2024-06-02T10:35:22.3537444Z   0     0    0     0    0     0      0      0 --:--:--  0:04:03 --:--:--     0
2024-06-02T10:35:23.3548843Z   0     0    0     0    0     0      0      0 --:--:--  0:04:04 --:--:--     0
2024-06-02T10:35:24.3560258Z   0     0    0     0    0     0      0      0 --:--:--  0:04:05 --:--:--     0
2024-06-02T10:35:25.3572465Z   0     0    0     0    0     0      0      0 --:--:--  0:04:06 --:--:--     0
2024-06-02T10:35:26.3583983Z   0     0    0     0    0     0      0      0 --:--:--  0:04:07 --:--:--     0
2024-06-02T10:35:27.3595619Z   0     0    0     0    0     0      0      0 --:--:--  0:04:08 --:--:--     0
2024-06-02T10:35:28.3607234Z   0     0    0     0    0     0      0      0 --:--:--  0:04:09 --:--:--     0
2024-06-02T10:35:29.3618535Z   0     0    0     0    0     0      0      0 --:--:--  0:04:10 --:--:--     0
2024-06-02T10:35:30.3630123Z   0     0    0     0    0     0      0      0 --:--:--  0:04:11 --:--:--     0
2024-06-02T10:35:31.3642119Z   0     0    0     0    0     0      0      0 --:--:--  0:04:12 --:--:--     0
2024-06-02T10:35:32.3653682Z   0     0    0     0    0     0      0      0 --:--:--  0:04:13 --:--:--     0
2024-06-02T10:35:33.3665047Z   0     0    0     0    0     0      0      0 --:--:--  0:04:14 --:--:--     0
2024-06-02T10:35:34.3677175Z   0     0    0     0    0     0      0      0 --:--:--  0:04:15 --:--:--     0
2024-06-02T10:35:35.3689896Z   0     0    0     0    0     0      0      0 --:--:--  0:04:16 --:--:--     0
2024-06-02T10:35:36.3700002Z   0     0    0     0    0     0      0      0 --:--:--  0:04:17 --:--:--     0
2024-06-02T10:35:37.3711514Z   0     0    0     0    0     0      0      0 --:--:--  0:04:18 --:--:--     0
2024-06-02T10:35:38.3723196Z   0     0    0     0    0     0      0      0 --:--:--  0:04:19 --:--:--     0
2024-06-02T10:35:39.3735033Z   0     0    0     0    0     0      0      0 --:--:--  0:04:20 --:--:--     0
2024-06-02T10:35:40.3746796Z   0     0    0     0    0     0      0      0 --:--:--  0:04:21 --:--:--     0
2024-06-02T10:35:41.3758269Z   0     0    0     0    0     0      0      0 --:--:--  0:04:22 --:--:--     0
2024-06-02T10:35:42.3770180Z   0     0    0     0    0     0      0      0 --:--:--  0:04:23 --:--:--     0
2024-06-02T10:35:43.3781837Z   0     0    0     0    0     0      0      0 --:--:--  0:04:24 --:--:--     0
2024-06-02T10:35:44.3792938Z   0     0    0     0    0     0      0      0 --:--:--  0:04:25 --:--:--     0
2024-06-02T10:35:45.3804875Z   0     0    0     0    0     0      0      0 --:--:--  0:04:26 --:--:--     0
2024-06-02T10:35:46.3816192Z   0     0    0     0    0     0      0      0 --:--:--  0:04:27 --:--:--     0
2024-06-02T10:35:47.3829096Z   0     0    0     0    0     0      0      0 --:--:--  0:04:28 --:--:--     0
2024-06-02T10:35:48.3840944Z   0     0    0     0    0     0      0      0 --:--:--  0:04:29 --:--:--     0
2024-06-02T10:35:50.2140339Z   0     0    0     0    0     0      0      0 --:--:--  0:04:30 --:--:--     0
2024-06-02T10:35:50.3862987Z   0     0    0     0    0     0      0      0 --:--:--  0:04:31 --:--:--     0
2024-06-02T10:35:51.3874580Z   0     0    0     0    0     0      0      0 --:--:--  0:04:32 --:--:--     0
2024-06-02T10:35:52.3886304Z   0     0    0     0    0     0      0      0 --:--:--  0:04:33 --:--:--     0
2024-06-02T10:35:53.3897871Z   0     0    0     0    0     0      0      0 --:--:--  0:04:34 --:--:--     0
2024-06-02T10:35:54.3909784Z   0     0    0     0    0     0      0      0 --:--:--  0:04:35 --:--:--     0
2024-06-02T10:35:55.3921652Z   0     0    0     0    0     0      0      0 --:--:--  0:04:36 --:--:--     0
2024-06-02T10:35:56.3933168Z   0     0    0     0    0     0      0      0 --:--:--  0:04:37 --:--:--     0
2024-06-02T10:35:57.3944664Z   0     0    0     0    0     0      0      0 --:--:--  0:04:38 --:--:--     0
2024-06-02T10:35:58.3956495Z   0     0    0     0    0     0      0      0 --:--:--  0:04:39 --:--:--     0
2024-06-02T10:35:59.3967841Z   0     0    0     0    0     0      0      0 --:--:--  0:04:40 --:--:--     0
2024-06-02T10:36:00.3979493Z   0     0    0     0    0     0      0      0 --:--:--  0:04:41 --:--:--     0
2024-06-02T10:36:01.3990848Z   0     0    0     0    0     0      0      0 --:--:--  0:04:42 --:--:--     0
2024-06-02T10:36:02.4002932Z   0     0    0     0    0     0      0      0 --:--:--  0:04:43 --:--:--     0
2024-06-02T10:36:03.4014916Z   0     0    0     0    0     0      0      0 --:--:--  0:04:44 --:--:--     0
2024-06-02T10:36:04.4025885Z   0     0    0     0    0     0      0      0 --:--:--  0:04:45 --:--:--     0
2024-06-02T10:36:05.4037887Z   0     0    0     0    0     0      0      0 --:--:--  0:04:46 --:--:--     0
2024-06-02T10:36:06.4049596Z   0     0    0     0    0     0      0      0 --:--:--  0:04:47 --:--:--     0
2024-06-02T10:36:07.4060529Z   0     0    0     0    0     0      0      0 --:--:--  0:04:48 --:--:--     0
2024-06-02T10:36:08.4072279Z   0     0    0     0    0     0      0      0 --:--:--  0:04:49 --:--:--     0
2024-06-02T10:36:09.4083951Z   0     0    0     0    0     0      0      0 --:--:--  0:04:50 --:--:--     0
2024-06-02T10:36:10.4091801Z   0     0    0     0    0     0      0      0 --:--:--  0:04:51 --:--:--     0
2024-06-02T10:36:11.4102966Z   0     0    0     0    0     0      0      0 --:--:--  0:04:52 --:--:--     0
2024-06-02T10:36:12.4114451Z   0     0    0     0    0     0      0      0 --:--:--  0:04:53 --:--:--     0
2024-06-02T10:36:13.4127656Z   0     0    0     0    0     0      0      0 --:--:--  0:04:54 --:--:--     0
2024-06-02T10:36:14.4139175Z   0     0    0     0    0     0      0      0 --:--:--  0:04:55 --:--:--     0
2024-06-02T10:36:15.4149838Z   0     0    0     0    0     0      0      0 --:--:--  0:04:56 --:--:--     0
2024-06-02T10:36:16.4161957Z   0     0    0     0    0     0      0      0 --:--:--  0:04:57 --:--:--     0
2024-06-02T10:36:17.4173980Z   0     0    0     0    0     0      0      0 --:--:--  0:04:58 --:--:--     0
2024-06-02T10:36:18.2704906Z   0     0    0     0    0     0      0      0 --:--:--  0:04:59 --:--:--     0
2024-06-02T10:36:18.2706646Z   0     0    0     0    0     0      0      0 --:--:--  0:05:00 --:--:--     0
2024-06-02T10:36:18.2714974Z curl: (28) Operation timed out after 300001 milliseconds with 0 bytes received
2024-06-02T10:36:18.2759837Z ##[error]Process completed with exit code 28.

@awly
Copy link
Contributor

awly commented Jun 7, 2024

The error is coming from this action trying to download the tailscale package from pkgs.tailscale.com: https://github.com/tailscale/github-action/blob/main/action.yml#L83. So, something is blocking the traffic to pkgs.tailscale.com after the initial node was set up.

@Vlaaaaaaad I notice in your tailnet you have a DNS server running on one of the nodes, configured as a nameserver in https://login.tailscale.com/admin/dns. And your ACLs don't seem to allow traffic from tag:gha to that node.
I'm not sure it's the culprit, but you might need to update the ACLs to allow access to that DNS server node.
Another possibility is if you use a self-hosted actions runner and something is mis-configured there.

I was not able to reproduce this with the same workflow file that you have.
Of course, with github-managed runners it's always possible that they had a networking hiccup, or intermittently blocked pkgs.tailscale.com.

@Vlaaaaaaad
Copy link

@awly yup, editing the ACL to allow tag:gha to access the DNS server made it all work — I ran the workflow 3 times and it worked all 3 times! Thank you so much and apologies for the silly oversight on my end!

I am a bit surprised though: when the DNS server is not accessible I would've expected the fallback DNS servers (Google's DNS servers in my case) to be used 🤔

@awly
Copy link
Contributor

awly commented Jun 7, 2024

I am a bit surprised though: when the DNS server is not accessible I would've expected the fallback DNS servers (Google's DNS servers in my case) to be used 🤔

That's a good point, I'm not sure why it doesn't work that way.
It's possible that because this is an ACL issue, packets to your private DNS server get silently dropped and the client just sits there waiting for an answer. As opposed to getting an NXDOMAIN or ICMP Destination Unreachable response and falling back to other servers.

@Vlaaaaaaad could you file a separate bug in http://github.com/tailscale/tailscale for this DNS fallback issue please?

@awly
Copy link
Contributor

awly commented Jun 7, 2024

@seanmcne could you try setting up a new node outside of github actions with tag:ci and --accept-routes, and see if curl -v https://pkgs.tailscale.com works there? It may be a similar issue caused by some ACL rules.

@Vlaaaaaaad
Copy link

@Vlaaaaaaad could you file a separate bug in http://github.com/tailscale/tailscale for this DNS fallback issue please?

@awly it seems there's already an issue for "DNS hangs when ACL blocks traffic to DNS servers and when Split DNS is used". Would you rather I comment on that issue something along the lines of "this also happens when Split DNS is not used" or would you rather I create a new "Fast-fail DNS when ACLs block traffic to the DNS server" issue?

@awly
Copy link
Contributor

awly commented Jun 7, 2024

@Vlaaaaaaad I think it's a separate issue: when you have multiple global nameservers (not split DNS), the query should time out faster and fall back to other configured nameservers.

@Vlaaaaaaad
Copy link

@awly I think this is the worst bug report I ever submitted in my life, but I did it: tailscale/tailscale#12403

I tried to find easier ways to reproduce this but I failed to find any easily testable options.

@seanmcne
Copy link
Author

seanmcne commented Jun 10, 2024

@awly it looks like I'm unable to repro, I have the log for tailscale captured now on every single github action run, just in case this happens again. It sounds like the path around downloading the package sounds like the most likely place to look at since it does explain how it's intermittent - I also was noticing some DNS issues around the same point-in-time (which seem to have cleared up without intervention) that cause seems to make sense to me.

Thanks!

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

No branches or pull requests

4 participants