DATAX-WEB可考虑读取datax任务日志用于对数据的分析和统计

[Tounchan]

在datax-web中，更多的统计与分析的维度是任务。但有时候考虑如何去优化增量时间以及排查数据同步中的问题时，可读取datax的日志内容进行展示并且分析或者对datax的日志在数据库中进行存储，比如最后的任务执行结果，可用于统计每个任务每个源表每次抽取的数量，后续可以根据这些数据，更合理地排布定时任务，提高工作效率，统计更多以数据/表/数据库为维度的数据结果，希望贵团队可以考虑这一方面的系统开发工作。

[WeiYe-Jing]

如果仅仅是统计每次同步的数据量，项目已经有这块功能。

后期可以考虑下这块数据的展示形式，也欢迎提建议，谢谢！

[Tu-maimes]

是不是这种意思，在datax作业的整个流程中定时收集度量数据入库，然后展示。形成图表的方式对任务的整体运行性能有较好的了解

[Tu-maimes]

{
"writeSucceedRecords":"1000001",
"readSucceedRecords":"1000000",
"totalErrorBytes":"0",
"writeSucceedBytes":"45888896",
"byteSpeed":"2294444",
"totalErrorRecords":"0",
"recordSpeed":"50000",
"waitReaderTime":"57250671",
"writeReceivedBytes":"45888896",
"stage":"1",
"waitWriterTime":"9669441721",
"percentage":"1.0",
"totalReadRecords":"1000000",
"writeReceivedRecords":"1000001",
"readSucceedBytes":"45888896",
"totalReadBytes":"45888896"
}

[WeiYe-Jing]

{
"writeSucceedRecords":"1000001",
"readSucceedRecords":"1000000",
"totalErrorBytes":"0",
"writeSucceedBytes":"45888896",
"byteSpeed":"2294444",
"totalErrorRecords":"0",
"recordSpeed":"50000",
"waitReaderTime":"57250671",
"writeReceivedBytes":"45888896",
"stage":"1",
"waitWriterTime":"9669441721",
"percentage":"1.0",
"totalReadRecords":"1000000",
"writeReceivedRecords":"1000001",
"readSucceedBytes":"45888896",
"totalReadBytes":"45888896"
}

数据项目已经获取到了，主要是缺前端开发将这块展示出来

[Tu-maimes]

看了下源码这两种方式都可以获取，使用钩子更灵活一点

[WeiYe-Jing]

看了下源码这两种方式都可以获取，使用钩子更灵活一点

有开发者给项目提供了从日志中获取的方法，2.1.2版本中，日志页面，点击执行备注已经展示了，图一就是

[Tu-maimes]

这个解析的方式我看了，不过我感觉你可以实现以上接口或者钩子的方式，整个运行状态的都可以获取到，就可以实现上述的折线图展示

[WeiYe-Jing]

这个解析的方式我看了，不过我感觉你可以实现以上接口或者钩子的方式，整个运行状态的都可以获取到，就可以实现上述的折线图展示

实现以上接口或者钩子要去做datax的功能扩充，用户使用时也要做更多的配置，web目前的方向主要放在datax上层.

[Tu-maimes]

那就先搁置吧！后期再议

[WeiYe-Jing]

那就先搁置吧！后期再议

感谢建议！