spark on k8s在阿里云

资讯

• Spark on k8s在阿里云EMR的优化实践

  在传统的生产环境中，Spark on YARN成为主流的任务执行方式，而随着容器化概念以及存算分离思想的普及，尤其是Spark3.1版本下该模式的正式可用，Spark on K8s已成燎原之势。

  DataFunTalk

  3评论

  
  

• 阿里内网最新实战手册，7大核心组件详解SpringCloud+Jenkins+K8S

  SpringCloud自打17年问世以来 ，热度是一天比一天高，虽然Spring Cloud的出现，为广大开发者带来了福音。

  WEB前端开发

  5评论

  
  

• Koordinator 支持 K8s 与 YARN 混部，小红书在离线混部实践分享

  小红书是 Koordinator 社区的活跃成员，为了进一步丰富 Koordinator 支持的在离线混部场景，社区会同来自阿里云、小红书、蚂蚁金服的开发者们共同启动了 Hadoop YARN 与 K8s 混部项目，支持将超卖的 Batch 资源提供给 Hadoop YARN 使用，进一步提升集群资源的使用效率，该项目目前已经在小红书生产环境正式投入使用。

  阿里云云原生

  
  

• k8s单master集群部署

  服务器要求:建议最小硬件配置:2核CPU、2G内存、20G硬盘。服务器最好可以访问外网，会有从网上拉取镜像需求，如果服务器不能上网，需要提前下载对应镜像并导入节点。

  萌褚

  2评论

  
  

• 火山引擎基于 Zeppelin 的 Flink/Spark 云原生实践

  本文整理自火山引擎云原生计算研发工程师陶克路、王正在 ApacheCon Asia 2022 上的演讲。文章主要介绍了 Apache Zeppelin 支持 Flink 和 Spark 云原生实践。

  字节跳动云原生计算

  1评论

  
  

• K8s 网关选型初判：Nginx 还是 Envoy？

  MSE 云原生网关的吞吐性能几乎是 Nginx Ingress Controller 的一倍，尤其是传输小文本时性能优势会更明显，如下图所示，网关 CPU 使用率达到 30% 时的吞吐对比:

  阿里云云栖号

  39评论

  
  

• 汇量科技：持续发力SaaS的领先广告技术平台，云与AI业务前景广阔

  2021 年，公司的 Mintegral 业务 收入为 5.75 亿美元，同比增长 88%，占公司广告技术业务收入的 76.4%，同比增加 17.1pct，三年 CAGR 达到 96.55%。

  舆是

  
  

• 网易实践：用Apache Kyuubi构建云原生Spark网关

  Kyuubi 提供多种 API 以供不同类型的工作负载接入，典型的使用场景包括:使用 JDBC/BeeLine 以及各种 BI 工具，连接 Kyuubi 进行交互式的数据分析;

  DataFunTalk

  2评论