当前位置： 首页 > DevOps > 基于VMware Tanzu Kubernetes快速构建企业级Shiny平台

基于VMware Tanzu Kubernetes快速构建企业级Shiny平台

DevOps 0条评论 2020-7-26 2,180 views

概述

R语言被广泛用于统计分析、绘图的开源语言和操作环境，也是用于统计计算和统计制图的优秀工具。 Shiny 是由Rstudio推出的一个面向R软件的产品，可让用户无需编写繁重的代码，即可从R直接构建交互式的Web应用程序，并通过 Web 应用的形式通过互联网提供给人们进行访问，使访问者可以轻松地与数据和分析进行交互。

来自全球各地的行业专家、数据科学家及分析师已基于 Shiny 创建了许多功能强大的 Web 应用在 Shiny 的开源版本中未提供诸多重要功能，如身份验证、多Shiny进程支持、Shiny应用性能监控、基于SSL的安全连接、资源分配控制等。如何实现企业级的安全认证？如何实现秒级的故障恢复？如何实现海量并发用户的访问支撑？ 这些因素均使得用户在构建面向多用户场景的企业级 Shiny 生产环境时遇到了极大的障碍。

当前阶段Kubernetes是一个非常棒的容器编排平台，本文将带大家部署ShinyProxy到Kubernetes平台中。

ShinyProxy简介

Open Analytics 在Shiny开源版本的基本功能之上开发了 ShinyProxy，提供了一系列扩展的增强特性，如身份验证和授权、TLS协议支持、Shiny应用程序容器化及多并发支持等，同时 ShinyProxy 是基于 Apache 许可的100％开源项目。 ShinyProxy 前端使用成熟的企业级 Java 框架Spring Boot来完成Web应用程序的用户认证、鉴权及后端Shiny应用的调度和管理，后端基于 Docker 技术灵活运行封装了R应用的Shiny容器。

整个平台的构建过程将主要分为四个步骤：

  1. 创建基于vSphere With Tanzu的Kuberneter Cluster；
  2. 封装相关Docker Images，并上传到企业私有仓库Harbor中；
  3. 部署 ShinyProxy；
  4. 验证ShinyProxy功能；

环境需求：

  1. 具备管理员权限的Kubernetes集群（本环境中采用VMware vSphere With Tanzu平台）；
  2. 一台可以Linux操作机，可以拉取镜像和访问企业Harbor；
  3. （可选）LDAP服务器；

创建vSphere With Tanzu的Tanzu Kubernertes集群

准备Tanzu Kubernetes集群配置文件。

cat <<EOF > /root/dev-tkg01.yaml
apiVersion: run.tanzu.vmware.com/v1alpha1
kind: TanzuKubernetesCluster
metadata:
  name: dev-tkg01
spec:
  topology:
    controlPlane:
      count: 3
      class: guaranteed-large
      storageClass: wcp-storage-policy
    workers:
      count: 4
      class: guaranteed-xlarge
      storageClass: wcp-storage-policy
  distribution:
    version: v1.17.7+vmware.1-tkg.1.154236c
  settings:
    network:
      cni:
        name: calico
      services:
        cidrBlocks: ["198.51.100.0/12"]
      pods:
        cidrBlocks: ["192.0.2.0/16"]
EOF

先登录vSphere With Tanzu，再通过配置文件创建Tanzu Kubernetes集群

kubectl vsphere login --server 10.42.1.1 -u Administrator@vsphere.lcoal

kubectl apply -f dev-tkg01.yaml

等待集群创建完成后，登录到Tanzu Kubernetes集群，并通过kubectl get nodes检查集群运行状态。

kubectl vsphere login --server 10.42.1.1 --tanzu-kubernetes-cluster-name dev-tkg01 --tanzu-kubernetes-cluster-namespace dev -u administrator@vsphere.local

kubectl config use-context dev-tkg01

[liguoqiang@jump-centos wcp]$ kubectl get nodes
NAME                                       STATUS   ROLES    AGE   VERSION
dev-tkg01-control-plane-sxrcm              Ready    master   13d   v1.17.7+vmware.1
dev-tkg01-workers-9cpsz-66c6784896-5pc69   Ready    <none>   13d   v1.17.7+vmware.1
dev-tkg01-workers-9cpsz-66c6784896-mkplw   Ready    <none>   13d   v1.17.7+vmware.1
dev-tkg01-workers-9cpsz-66c6784896-wcjpq   Ready    <none>   13d   v1.17.7+vmware.1

应用PSP安全策略。

cat <<EOF > /root/psp-allow-all.yaml
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRole
metadata:
  name: psp:privileged
rules:
- apiGroups: ['policy']
  resources: ['podsecuritypolicies']
  verbs:     ['use']
  resourceNames:
  - vmware-system-privileged
---
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRoleBinding
metadata:
  name: all:psp:privileged
roleRef:
  kind: ClusterRole
  name: psp:privileged
  apiGroup: rbac.authorization.k8s.io
subjects:
- kind: Group
  name: system:serviceaccounts
  apiGroup: rbac.authorization.k8s.io
EOF
kubectl apply -f /root/psp-allow-all.yaml

制作相关Docker Images

ShinyProxy 原生支持三种容器后端平台，单机版本的 Docker、Docker Swarm 集群以及 Kubernetes 集群。我们将完成基于VMware vSphere With Tanzu的Kubernetes平台上的部署。

下载Shinyproxy for Kubernetes的示例文件。

cd ~
git clone https://github.com/openanalytics/shinyproxy-config-examples.git
cd ~/shinyproxy-config-examples/03-containerized-kubernetes

vi kube-proxy-sidecar/Dockerfile

修改 kube-proxy-sidecar目录下的Dockerfile文件，该容器以Sidecar方式运行，负责创建pod等操作，内容为：

FROM alpine:3.6
ADD https://storage.googleapis.com/kubernetes-release/release/v1.17.8/bin/linux/amd64/kubectl /usr/local/bin/kubectl
RUN chmod +x /usr/local/bin/kubectl
EXPOSE 8001
ENTRYPOINT ["/usr/local/bin/kubectl", "proxy"]

进入到shinyproxy-example，修改shinyproxy配置文件。

cd ~/shinyproxy-config-examples/03-containerized-kubernetes/shinyproxy-example
vi application.yml

Application.yml用于Shinyproxy配置，包括认证、应用等，下面是Simple认证的配置。

proxy:
  port: 8080
  authentication: simple
  admin-groups: admins
  users:
  - name: admin
    password: VMware1!
    groups: admins
  - name: guest
    password: VMware1!
  container-backend: kubernetes
  container-wait-time: 300000
  heartbeat-rate: 10000
  heartbeat-timeout: 300000
  kubernetes:
    internal-networking: true
    url: http://localhost:8001
    namespace: default
    image-pull-policy: IfNotPresent
    image-pull-secret:
  specs:
  - id: 00_demo_shiny_application
    display-name: Simple Shiny Application Demo
    description: Simple Shiny Application Demo
    container-image: harbor.bzz.ccut.edu.cn/library/shiny-application:V1
    access-groups: [admins, guest]
  - id: 01_hello_shiny_application
    display-name: Hello Application
    description: Application which demonstrates the basics of a Shiny app
    container-cmd: ["R", "-e", "shinyproxy::run_01_hello()"]
    container-image: harbor.bzz.ccut.edu.cn/library/shinyproxy-demo
    access-groups: [admins, guest]
spring:
  servlet:
    multipart:
      max-file-size: 100MB
      max-request-size: 100MB

logging:
  file:
    shinyproxy.log

（可选）LDAP认证配置。

注意1：在url中制定dn后，user-search-base和group-search-base不能重复指定。 注意2：specs中要配置访问组为Ldap组。

proxy:
  port: 8080
  authentication: ldap
  admin-groups: LabAdmins

  ldap:
    url: ldap://mgmt-ad01.corp.local:389/dc=corp,dc=local
    manager-dn: CN=svcadmin,CN=Users,DC=corp,DC=local
    manager-password: VMware1!
    user-search-base: OU=Labs
    user-search-filter: (sAMAccountName={0})
    group-search-base: OU=Labs
    group-search-filter: (member={0})
  container-backend: kubernetes
  container-wait-time: 300000
  heartbeat-rate: 10000
  heartbeat-timeout: 300000
  kubernetes:
    internal-networking: true
    url: http://localhost:8001
    namespace: default
    image-pull-policy: IfNotPresent
    image-pull-secret:
  specs:
  - id: 00_demo_shiny_application
    display-name: Simple Shiny Application Demo
    description: Simple Shiny Application Demo
    container-image: harbor.bzz.ccut.edu.cn/library/shiny-application:V1
    access-groups: [LabAdmins]
  - id: 01_hello_shiny_application
    display-name: Hello Application
    description: Application which demonstrates the basics of a Shiny app
    container-cmd: ["R", "-e", "shinyproxy::run_01_hello()"]
    container-image: harbor.bzz.ccut.edu.cn/library/shinyproxy-demo
    access-groups: [LabAdmins]
spring:
  servlet:
    multipart:
      max-file-size: 100MB
      max-request-size: 100MB

logging:
  file:
    shinyproxy.log

完成配置文件修改后，我们开始制作所需的Docker镜像。 我们将创建用于 ShinyProxy 的一个简单 Shiny 测试应用，为了简化 Shiny 应用的编译过程，我们在本文中直接使用 Rocker 官方的示例 shiny 容器作为测试应用。您也可以使用企业制作好的Docker Images，这些应用将在Application.yml中使用。

docker pull rocker/shiny:latest
docker tag rocker/shiny:latest harbor.bzz.ccut.edu.cn/library/shiny-application:V1
docker push harbor.bzz.ccut.edu.cn/library/shiny-application:V1

构建kube-proxy-sidecar的Docker镜像。

cd ~/shinyproxy-config-examples/03-containerized-kubernetes/kube-proxy-sidecar
docker build -t harbor.bzz.ccut.edu.cn/library/kube-proxy-sidecar:1.17.8 .
docker push harbor.bzz.ccut.edu.cn/library/kube-proxy-sidecar:1.17.8

构建ShinyProxy镜像。

cd ~/shinyproxy-config-examples/03-containerized-kubernetes/shinyproxy-example
docker build -t harbor.bzz.ccut.edu.cn/library/shinyproxy-application:V1
docker push harbor.bzz.ccut.edu.cn/library/shinyproxy-application:V1

构建ShinyProxy演示应用镜像。

docker pull openanalytics/shinyproxy-demo:latest
docker tag openanalytics/shinyproxy-demo:latest harbor.bzz.ccut.edu.cn/library/shinyproxy-demo:latest
docker push harbor.bzz.ccut.edu.cn/library/shinyproxy-demo:latest

部署

上一部分我们完成了镜像制作，下一步我们就可以开始进行Shinyproxy在Kubernetes环境中的部署。

首先修改sp-service.yaml文件，更改为LoadBalancer类型，由NSX-T提供负载均衡。

cd ~/shinyproxy-config-examples/03-containerized-kubernetes/
vi sp-service.yaml
kind: Service
apiVersion: v1
metadata:
  name: shinyproxy
spec:
  type: LoadBalancer
  selector:
    run: shinyproxy
  ports:
  - protocol: TCP
    port: 80
    targetPort: 8080

再修改sp-deployment.yaml文件，包含两个container，一个是ShinyProxy，一个是Kube-proxy-sidecar，ShinyProxy是主镜像。

vi sp-deployment.yaml
apiVersion: apps/v1
kind: Deployment
metadata:
  name: shinyproxy
spec:
  selector:
    matchLabels:
      run: shinyproxy
  replicas: 1
  template:
    metadata:
      labels:
        run: shinyproxy
    spec:
      containers:
      - name: shinyproxy
        image: harbor.bzz.ccut.edu.cn/library/shinyproxy-application:V1
        imagePullPolicy: IfNotPresent
        ports:
        - containerPort: 8080
      - name: kube-proxy-sidecar
        image: harbor.bzz.ccut.edu.cn/library/kube-proxy-sidecar:1.17.8
        imagePullPolicy: IfNotPresent
        ports:
        - containerPort: 8001

部署

部署非常简单，切换到要部署的Tanzu Kubernetes集群，并应用三个yaml文件。

kubectl config use-context dev-tkg01

kubectl apply -f sp-authorization.yaml
kubectl apply -f sp-deployment.yaml
kubectl apply -f sp-service.yaml

部署完成后，使用下面的命令查看ShinyProxy的部署情况，正常情况下会很快显示 Running 状态

kubectl get pods -A -w

部署过程会自动创建NSX-T的负载均衡器用于访问 ShinyProxy，通过下面的命令可在 EXTERNAL-IP 列获取NSX-T负载均衡器信息的访问地址。

[liguoqiang@jump-centos shinyproxy-example]$ kubectl get svc
NAME         TYPE           CLUSTER-IP       EXTERNAL-IP   PORT(S)        AGE
kubernetes   ClusterIP      198.48.0.1       <none>        443/TCP        12d
shinyproxy   LoadBalancer   198.55.177.182   10.42.1.14    80:31039/TCP   7h54m
supervisor   ClusterIP      None             <none>        6443/TCP       12d

访问和测试

访问负载均衡器地址及端口，正常可显示 ShinyProxy 的登录界面。输入之前配置的用户名和密码信息，可显示 ShinyProxy 的管理界面，点击其中已有的 Shiny 应用即可启动它们。至此，ShinyProxy 平台已经成功地运行在 vSphere With Tanzu的Tanzu Kubernetes集群服务上。 

[liguoqiang@jump-centos shinyproxy-example]$ kubectl get pods
NAME                                          READY   STATUS    RESTARTS   AGE
shinyproxy-745df74cdd-6dk5l                   2/2     Running   0          8m1s
sp-pod-92bc3c26-a641-4c63-b03c-c11621652aea   1/1     Running   0          37s
sp-pod-e3ef68de-fc09-40d7-bfcd-e6405a8ec7ae   1/1     Running   0          95s

完成

至此我们通过vSpehre With Tanzu的Tanzu Kubernetes集群部署了ShinyProxy平台。

发表回复

您的电子邮箱地址不会被公开。 必填项已用 * 标注

近期文章

分类目录

归档

  • 标签

    API (1) Automation (1) CentOS (1) Docker (1) ESXi (1) Export (1) Keycloak (1) Linux (4) MAC学习 (1) Nested (1) Network (1) nginx (1) OVA (1) Packer (2) PowerCLI (2) Prometheus (1) Redis (1) SSO (1) Terraform (1) VDS (1) VMware (2) VMware PowerCLI (1) vSphere (4) Windows (1) 分布式交换机 (1)
    • Copyright © 2020 李国强 | 吉ICP备19002182号-1