橙山网 > 泛娱乐 > 今日看点 > 正文

微软Azure HDInsight推除错工具包,开始支援Spark 2.3版,,搭配此款除错工具包,

橙山网(www.csnd.net)2018-09-14 22:09:24

[摘要] 原标题:微软Azure HDInsight推除错工具包,开始支援Spark 2.3版 能通吃Hadoop、Spark、Kafka等开源框架的微软Azure云端大数据平台HDInsight,近日该平台上释出了Spark除错工具包,可以支援Spark△

原标题:微软Azure HDInsight推除错工具包,开始支援Spark 2.3版

能通吃Hadoop、Spark、Kafka等开源框架的微软Azure云端大数据平台HDInsight,近日该平台上释出了Spark除错工具包,可以支援Spark△2.3版及未来的新版本。搭配此款除错工具包,可以将Spark任务的工作图表、资料流予以...

能通吃Hadoop、Spark、Kafka等开源框架的微软Azure云端大数据平台HDInsight,近日该平台上释出了Spark除错工具包,可以支援Spark△2.3版及未来的新版本。搭配此款除错工具包,可以将Spark任务的工作图表、资料流予以视觉化,让Spark开发者处理资料管理、资料取样、监控及诊断任务时,更为顺利。

微软也公告,这款Spark除错工具包未来会释出更多新功能,包含关键路径分析、Data△Skew及Time△Skew问题分析等。

现在Spark除错工具包已经内建在HDInsight△Spark历史纪录伺服器,从Azure△Portal进入的开发者,只要点选丛集仪表板、Spark历史纪录伺服器的选项,就能存取功能。

在HDInsight中的Spark历史纪录伺服器(Spark△History△Server),微软现在新增了两个新功能,分别是Graph△Tab及Data△Tab。第一个功能是Graph△Tab,提供使用者视觉化的互动体验。例如,Spark工作图表会列出任务执行的细节,包含各阶段中资料的输入、输出资讯,开发者可以重新回放(playback)功能,重现完整的任务程序。借此功能,可以进一步诊断工作流程中的效能表现、资料处理时间,找出每个流程中出现的离群值,改善应用程序的流畅度。

再者是Data△Tab功能,支援开发者利用CSV格式,汇出输入、输出、搜寻或者URL等数据,例如,资料科学家可以下载部分取样数据,在本地环境进行除错、执行任务。

?

微软这次推出的除错工具包,当中一个新功能是回放(Playback)。系统会列出完整的任务流程,在页面选单中,开发者可以指定Job△ID、呈现资讯(如资料读取、写入)。借此,系统就会重现流程,开发者可以观察流程中的瓶颈为何,进而改善效能。图片来源:微软?

橙山网(Csnd.net)简评:搭配此款除错工具包,可以将Spark任务的工作图表、资料流予以...能通吃Hadoop、Spark、Kafka等开源框架的微软Azure云端大数据平台HDInsight,近日该平台上释出了Spark除

热 门
明 星
张永强 罗杰·班帕斯 崔允信 李胜基 汪国辉 亚当·亚历克西·莫尔 滨崎步 饶敏莉 志村健 大卫·鲍尔 蔡鸿翔 袁仲华 哈里K·加文 赵之心 霍莉·玛丽·库姆斯 爱德华·贝耶尔 费·韦比尔 里奇·柯斯特 卡达 干练 杰基·约瑟夫 为女儿 山本宽 实力 美国内布拉斯加州奥马哈市 今晚 大卫·叶茨 蜀山战纪2 运城市 张小斐 共享学长 丁一宇承认的女朋友 多米尼克·格尔德 希亚-拉博夫 饮品 上市时间