inference arm64 support

[drummerglen]

Feature request / 功能建议

1.xinference同时支持amd64/arm64
2.内置的推理引擎同时支持amd64/arm64

Motivation / 动机

提高系统兼容性，扩大使用群体

Your contribution / 您的贡献

Ops, none yet

[qinxuye]

Xinference 支持在 arm64 上运行，只是没有提供这个架构的镜像。

[drummerglen]

@qinxuye 那是否可以在CI流水线上加上docker buildx 发布多平台版本镜像？

[qinxuye]

应该是可以的，难点在于用哪个基础镜像之类的。

这方面我们欢迎社区的贡献。

[drummerglen]

x86下采用的哪个基础镜像？基础镜像有无arm64版本镜像呢？有arm64版本的话就方便了

[qinxuye]

x86下采用的哪个基础镜像？基础镜像有无arm64版本镜像呢？有arm64版本的话就方便了

https://github.com/xorbitsai/inference/tree/main/xinference/deploy/docker

dockerfile 定义都在这里。

[zforlo]

能否提供ARM64的镜像，现在太多国产化用这个了。

[qinxuye]

国产化推荐用 Xinference 企业版。

[zforlo]

你好，企业版对�N腾NPU的集群支持怎么样呢？可以发一些相关资料吗？谢谢。

…

________________________________ 发件人: Xuye Qin 已发送: 2025 年 3 月 19 日 星期三 7:41 收件人: xorbitsai/inference 抄送: zforlo; Comment 主题: Re: [xorbitsai/inference] inference arm64 support (Issue #3076) [qinxuye]qinxuye left a comment (xorbitsai/inference#3076)<#3076 (comment)> 国产化推荐用 Xinference 企业版。 ― Reply to this email directly, view it on GitHub<#3076 (comment)>, or unsubscribe<https://github.com/notifications/unsubscribe-auth/BHFKB2DSOBREZJQYK2AR7TT2VENTFAVCNFSM6AAAAABZEK7Y66VHI2DSMVQWIX3LMV43OSLTON2WKQ3PNVWWK3TUHMZDOMZVGYYTCNBWGI>. You are receiving this because you commented.

[qinxuye]

你好，企业版对�N腾NPU的集群支持怎么样呢？可以发一些相关资料吗？谢谢。
…

请扫码联系：https://xorbits.cn/assets/images/wechat_work_qr.png

[github-actions]

This issue is stale because it has been open for 7 days with no activity.