Git-sync with kubernetesExecutors and using https
Chưa có ai nhận issue này.
Đánh giá
- Độ khó
- 4/5
- Thời gian dự kiến
- 3-5 ngày
- Mức phù hợp với người mới
- 35/100
- Loại issue
- Lỗi
- Độ rõ ràng
- Khá rõ ràng
- Mức độ hoạt động
- Đình trệ
- Công nghệ
- git, kubernetes, rust
- Lĩnh vực
- devops, infrastructure
Hướng nghiên cứu
So sánh các thiết lập git-sync được hiển thị cho webserver và scheduler với các thiết lập được tạo cho kubernetesExecutors, tập trung vào việc truyền gitSyncConf và cờ one-time. Xem lại phần thảo luận trong PR #456, đặc biệt là bình luận issue được liên kết, sau đó xác minh rằng cả ba loại workload đều tạo ra cấu hình git-sync tương đương cho các repository HTTPS.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Mô tả
Affected Stackable version
Nightly
Affected Apache Airflow version
2.8.1
Current and expected behavior
Using this AirflowCluster:
---
apiVersion: airflow.stackable.tech/v1alpha1
kind: AirflowCluster
metadata:
name: airflow
spec:
image:
productVersion: 2.8.1
clusterConfig:
loadExamples: false
exposeConfig: false
listenerClass: external-unstable
credentialsSecret: simple-airflow-credentials
dagsGitSync:
- repo: https://custom.gitlab.com/repos/airflow-dags.git
branch: "main"
gitFolder: "dags"
depth: 10
wait: 20
credentialsSecret: gitcredentials
gitSyncConf:
--rev: HEAD
--git-config: http.sslCAInfo:/tmp/ca-cert/ca.crt
volumeMounts:
- name: "cert-ca"
mountPath: "/tmp/ca-cert"
volumes:
- name: "cert-ca"
configMap:
name: "cert-ca"
items:
- key: "ca.crt"
path: "ca.crt"
webservers:
roleGroups:
default:
replicas: 1
podOverrides:
spec:
containers:
- name: gitsync-1
volumeMounts:
- name: "cert-ca"
mountPath: "/tmp/ca-cert"
kubernetesExecutors:
config:
resources:
cpu:
min: 400m
max: 800m
memory:
limit: 2Gi
podOverrides:
spec:
containers:
- name: gitsync-1
volumeMounts:
- name: "cert-ca"
mountPath: "/tmp/ca-cert"
schedulers:
roleGroups:
default:
replicas: 1
podOverrides:
spec:
containers:
- name: gitsync-1
volumeMounts:
- name: "cert-ca"
mountPath: "/tmp/ca-cert"
The gitSyncConf does not seem to get propagated for the kubernetesExecutors. Also the git-sync container has a one-time=true flag set for the git-sync command
Follow up this MR: https://github.com/stackabletech/airflow-operator/pull/456#issuecomment-2230116710
Expected behavior: the webserver, scheduler and kubernetesExecutors are configured exactly the same for the git-sync containers
Possible solution
No response
Additional context
No response
Environment
No response
Would you like to work on fixing this bug?
None
- Ngôn ngữ chính
- Rust
- Star
- 32
- Fork
- 6
- Merge trung bình
- 1 ngày 7 giờ
- Pull request đã merge (30 ngày)
- 13
Hướng dẫn đóng góp
Chưa lập chỉ mục được hướng dẫn đóng góp cho kho mã nguồn này
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Issue khác của stackabletech/airflow-operator
-
type/bug
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 72/100
stackabletech/airflow-operator#855 · 1 bình luận ·
-
good first issue type/feature-improvement
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 45/100
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 42/100
stackabletech/airflow-operator#697 · 1 bình luận ·
-
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 25/100
-
Integrate DAG editor in Airflow Đang mởtype/feature-new
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 25/100
Tất cả issue của stackabletech/airflow-operator
Issue tương tự
-
risk:low runtime status:in-progress type:test
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 92/100
zeroclaw-labs/zeroclaw#11023 ·
-
good first issue refactor
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 72/100
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 84/100
EricSpencer00/Resilient#4835 · 1 bình luận ·
-
agent:ready documentation
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 88/100
cesarferreira/stax#890 ·
-
bug
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 90/100