LEo的网络日志

使用external-secrets访问azure keyvault

Tue, 20 Jan 2026 00:12:05 +0000

查看aks是否启用oidc

az aks show \
  -g rg-aap-mgmt \
  -n aks-aap-mgmt \

记录oidc issuer url。

创建 user assigned managed identity

az identity create \
  -g rg-aap-mgmt \
  -n id-obs-aap-mgmt-dev

记录输出中的clientId和principalId。

给 managed identity 授权 key vault

az role assignment create \
  --assignee-object-id <principalId> \
  --assignee-principal-type ServicePrincipal \
  --role "Key Vault Secrets User" \
  --scope /subscriptions/<SUB_ID>/resourceGroups/<KV_RG>/providers/Microsoft.KeyVault/vaults/<KV_NAME>

or

az keyvault set-policy \
  --name kv-aap-vault-dev \
  --object-id xxx \
  --secret-permissions get list

创建 federated identity credential

az identity federated-credential create \
  --name eso-federation \
  --identity-name eso-identity \
  --resource-group <AKS_RG> \
  --issuer <OIDC_ISSUER_URL> \
  --subject system:serviceaccount:external-secrets:external-secrets \
  --audience api://AzureADTokenExchange

给external-secrets的sa添加一下annotation

azure.workload.identity/client-id: xxx
azure.workload.identity/tenant-id: xxx

创建 clustersecretstore

apiVersion: external-secrets.io/v1beta1
kind: ClusterSecretStore
metadata:
  name: cluster-cross-account-secret-store
  namespace: external-secrets
spec:
  provider:
    azurekv:
      authType: WorkloadIdentity
      vaultUrl: https://kv-aap-vault-dev.vault.azure.net
      serviceAccountRef:
        name: cluster-external-secrets
        namespace: external-secrets

创建clusterexternalsecret

apiVersion: external-secrets.io/v1beta1
kind: ClusterExternalSecret
metadata:
  name: grafana-admin-credentials
  namespace: external-secrets
spec:
  externalSecretName: "grafana-admin-credentials"
  namespaceSelector:
    matchLabels:
      kubernetes.io/metadata.name: xxx
  refreshTime: 1m
  externalSecretSpec:
    refreshInterval: 1m
    secretStoreRef:
      name: cluster-secret-store
      kind: ClusterSecretStore
    target:
      name: grafana-admin-credentials
      template:
        type: Opaque
        data:
          xxx: ""
          xxx: admin
    data:
    - secretKey: admin_password
      remoteRef:
        key: "xxx"

查看生成的secret

$ k get secret
NAME                                   TYPE     DATA   AGE
grafana-admin-credentials              Opaque   2      25s

使用external-secrets访问aws secrets manager

Thu, 15 Jan 2026 00:12:05 +0000

遇到的错误

在安装 external-secrets 并创建 clustersecretstore 后，状态一直不是 ready，日志中出现了以下的错误：

accessdenied: not authorized to perform sts:assumerolewithwebidentity

这意味着 external-secrets 试图通过 serviceaccount 向 aws sts 请求权限，但 aws 并没有授予这个 serviceaccount 相应的 iam role 权限。

解决步骤

1. 确认使用的 serviceaccount

external-secrets 的 pod 使用哪个 serviceaccount，需要确认清楚。

2. 检查 rosa/eks 的 oidc provider

集群是否已经启用 oidc，并在 aws iam 中注册，确保 aws 可以验证 pod 身份。

3. 在 aws 上创建 iam role

为 external-secrets 的 serviceaccount 创建一个 iam role，并配置允许通过 oidc token assume 这个 role。

4. 设置 role 的信任关系

trust policy 指定只有对应的 serviceaccount 可以 assume 这个 role。

5. 为 role 授权访问 secrets manager

给 role 添加最小权限策略，使其可以读取需要的 secret。

6. 把 role 绑定到 serviceaccount

在 serviceaccount 上添加 annotation，指向刚创建的 iam role。

7. 重启 external-secrets pod

让 pod 获取新的 oidc token 并通过 sts 拿到临时凭证。

8. 验证 clustersecretstore 状态

确认状态变成 ready，external-secrets 能正常读取 secrets manager。

macos双开微信

Thu, 15 Jan 2026 00:12:05 +0000

运行命令即可。

sudo cp -R /Applications/WeChat.app /Applications/WeChat1.app

sudo /usr/libexec/PlistBuddy -c "Set :CFBundleIdentifier com.tencent.xinWeChat1" /Applications/WeChat1.app/Contents/Info.plist

sudo codesign --force --deep --sign - /Applications/WeChat1.app

使用fluent-bit将k8s日志转发到splunk

Wed, 21 May 2025 00:12:05 +0000

安装fluent-bit

helm repo add fluent https://fluent.github.io/helm-charts
helm install my-fluent-bit fluent/fluent-bit --version 0.49.0

配置values

config:
  inputs: |
    [INPUT]
        Name tail
        Path /var/log/containers/*.log
        multiline.parser docker, cri
        Tag kube.*
        Mem_Buf_Limit 5MB
        Skip_Long_Lines On

  filters: |
    [FILTER]
        Name kubernetes
        Match kube.*
        Merge_Log On
        Keep_Log Off
        K8S-Logging.Parser On
        K8S-Logging.Exclude On

    [FILTER]
        Name grep
        Match kube.*
        Regex kubernetes['namespace_name'] ^(kube-system|operators|ansible-automation-platform)$

  outputs: |
    [OUTPUT]
        name splunk
        match kube.*
        host 
        port 443
        splunk_token 
        TLS On
        TLS.Debug Off
        TLS.Verify On
        event_key $log
        event_source $log_path
        event_index ssli_test
        event_host ssli_test

在ansible on clouds部署mesh

Thu, 09 Jan 2025 00:12:05 +0000

在azure创建aap 2.4

选择public模式，方便访问aap

在azure创建hop和exec node

2个node使用的rhel9.5
创建exec node时选择不同的vnet，确保2个node之间的子网不重叠，以免ip冲突，hop无法连接exec

配置hop node和exec node

sudo subscription-manager register --auto-attach
# aap 2.4
sudo subscription-manager repos --enable ansible-automation-platform-2.4-for-rhel-9-x86_64-rpms
# aap 2.5
sudo subscription-manager repos --enable ansible-automation-platform-2.5-for-rhel-9-x86_64-rpms
sudo dnf install -y ansible-core
ansible-galaxy collection install ansible.receptor
sudo firewall-cmd --permanent --zone=public --add-port=27199/tcp

配置hop node ssh免登录到exec node

ssh-keygen -t rsa -b 4096
ssh-copy-id -i ~/.ssh/id_rsa.pub ssli@exec_node
ssh-copy-id -i ~/.ssh/id_rsa.pub ssli@hop_node
# 在exec node执行
ssh-keygen -t rsa -b 4096
ssh-copy-id -i ~/.ssh/id_rsa.pub ssli@exec_node

配置automation controller

参考这个文章配置automation controller：https://www.redhat.com/en/blog/deploying-automation-mesh-ansible-clouds

配置hop和exec node

参考这个文档配置hop和exec node：https://www.redhat.com/en/blog/deploying-automation-mesh-ansible-clouds

网络配置

aap到hop node的双向peering
hop node到exec node的双向peering
hop node到exec node的网络安全组中打开相应的端口22和27199

故障排查

重启hop node和exec node
重启controller pod
在credentials添加exec node的登录用户和密码用于执行作业
增加磁盘空间

Error: copying system image from manifest list: writing blob: adding layer with blob "sha256:d865617f929d019bc8240e48ac30981f27cf3f56ab30b05c99164d4d7b904438"/""/"sha256:f06049f87c01a63cd0d784d9fef445e7381cceccaa7c5a05ab9306fbe6939e5a": unpacking failed (error: exit status 1; output: open /usr/local/lib/python3.9/site-packages/azure/mgmt/network/v2019_06_01/aio/operations/__pycache__/_network_security_groups_operations.cpython-39.pyc: no space left on device)
WARN[0035] Failed to add pause process to systemd sandbox cgroup: dbus: couldn't determine address of session bus

增加磁盘空间：

[ssli@ssli-mesh-exec ~]$ podman info |egrep 'graphRoot|overlay'
  graphDriverName: overlay
  graphRoot: /home/ssli/.local/share/containers/storage
  graphRootAllocated: 1006632960
  graphRootUsed: 380014592
[ssli@ssli-mesh-exec ~]$ df -hP /home/ssli/
Filesystem                 Size  Used Avail Use% Mounted on
/dev/mapper/rootvg-homelv  960M  363M  598M  38% /home
[ssli@ssli-mesh-exec ~]$ sudo lvextend -L +4G /dev/mapper/rootvg-homelv
  Size of logical volume rootvg/homelv changed from 1.00 GiB (256 extents) to 5.00 GiB (1280 extents).
  Logical volume rootvg/homelv successfully resized.
[ssli@ssli-mesh-exec ~]$ sudo xfs_growfs /home
meta-data=/dev/mapper/rootvg-homelv isize=512    agcount=4, agsize=65536 blks
         =                       sectsz=4096  attr=2, projid32bit=1
         =                       crc=1        finobt=1, sparse=1, rmapbt=0
         =                       reflink=1    bigtime=1 inobtcount=1 nrext64=0
data     =                       bsize=4096   blocks=262144, imaxpct=25
         =                       sunit=0      swidth=0 blks
naming   =version 2              bsize=4096   ascii-ci=0, ftype=1
log      =internal log           bsize=4096   blocks=16384, version=2
         =                       sectsz=4096  sunit=1 blks, lazy-count=1
realtime =none                   extsz=4096   blocks=0, rtextents=0
data blocks changed from 262144 to 1310720
[ssli@ssli-mesh-exec ~]$ df -hP /home/ssli/
Filesystem                 Size  Used Avail Use% Mounted on
/dev/mapper/rootvg-homelv  5.0G  393M  4.6G   8% /home

确认automation mesh

在controller的instances页面，hop node和exec node状态都是ready。

参考

https://www.redhat.com/en/blog/deploying-automation-mesh-ansible-clouds
https://docs.redhat.com/en/documentation/red_hat_ansible_automation_platform/2.4/html/red_hat_ansible_automation_platform_automation_mesh_for_operator-based_installations/assembly-automation-mesh-operator-aap#proc-define-mesh-node-types

terraform tips

Wed, 08 Jan 2025 00:12:05 +0000

terraform plan

这个命令会生成并显示一个执行计划，帮助你预览terraform将对你的基础设施做出的变更，而不会真正执行这些变更。它的主要作用是安全地审查更改内容，确保变更符合预期

terraform apply

这个命令会真正执行terraform的变更，将你的基础设施状态调整为与代码定义的状态一致。它会创建、更新或销毁资源，使实际环境符合配置文件的描述。

variables.tf

可以清晰地定义变量的类型、描述和默认值。

variable "cluster_name" {
  description = "The name of the Kubernetes cluster"
  type        = string
  default     = "default-cluster"
}

providers.tf

用于配置和定义所需的提供者。

terraform {
  required_providers {

    dynatrace = {
      source  = "dynatrace-oss/dynatrace"
      version = ">= 1.57.3"
    }
  }
}

aoc sre tips

Thu, 12 Dec 2024 00:12:05 +0000

python3 -m venv .venv
source .venv/bin/activate
lkinit
python3 aws-saml.py
aws --profile saml sts get-caller-identity


INSTANCE_NAME=cus-25ssli AWS_REGION=us-east-1 make login-to-instance

订阅组件的release信息

https://github.com/nginxinc/nginx-ingress-helm-operator/releases
https://github.com/Dynatrace/dynatrace-operator/releases/tag/v1.4.0
https://releases.aks.azure.com/#tabus

检查aap job status

https://access.redhat.com/solutions/5532181

解决aks failed状态问题

az resource update --ids <aks-resource-id>

修改aap gw admin password

aap-gateway-manage update_password --username=admin --password=changeme

aap无法登录

密码正确时候，检查CSRF配置。

从pfx中提取所有证书

openssl pkcs12 -in ssli.pfx -nokeys -out allcerts.crt -legacy

查看证书包含的域名

openssl x509 -in cert.pem -text -noout | grep DNS

进入aap db

awx-manage dbshell

debug rds connection issue

https://repost.aws/knowledge-center/rds-mysql-max-connections

获取aks kubeconfig失败

如果报错如下：

An exception occurred during task execution. To see the full traceback, use -vvv. The error was: ValueError: API version 2024-08-01 does not have operation group 'managed_clusters'

降级azure-mgmt-containerservice模块到33.0.0。

az查询appgw信息

az network application-gateway show --name applicationgateway --resource-group MC_rg_name_aks_name_location

查询证书是否过期

openssl x509 -in cert.crt -noout -enddate

aap gw修改密码

aap-gateway-manage update_password --username=admin --password=password

创建的aap managed applicaition会被自动清除，请在managed app上添加以下tag以防被自动删除

expire_on : 20230101

创建的aap managed applicaition的ui url可以在applicationsAAPDeploy deployments中的outputs页面查到
创建的aap managed applicaition的访问模式(public/private)可以在applicationsAAPDeploy deployments中的inputs页面查到
创建的aap managed applicaition，如果要访问其中的aks，需要创建相应的jump vm，然后才能访问，具体参考该工具：https://github.com/ansible/aap-azurerm/tree/main/tools/utils
创建jump vm访问aap

$ az login -t your.onmicrosoft.com
$ pwd
/Users/ssli/share/git/aap-azurerm/tools/utils
$ ./create_jump_vm.py

nc连接postgres

/ # nc -vz ssli-postgres.postgres.database.azure.com 5432
ssli-postgres.postgres.database.azure.com (10.226.0.4:5432) open

nc验证dns服务

nc -vz 1.2.3.4 53
-v：显示更多信息
-z：只扫描主机和端口，无需建立连接，53端口一般用于dns服务

创建postgres client测试db

$ kubectl run pg-client --image postgres:latest --command -- sleep 3600
$ k exec -it pg-client -- /bin/sh
# psql -h ssli-postgres.postgres.database.azure.com -U ssli -d postgres
Password for user ssli:
psql (15.3 (Debian 15.3-1.pgdg120+1), server 13.10)
SSL connection (protocol: TLSv1.3, cipher: TLS_AES_256_GCM_SHA384, compression: off)
Type "help" for help.

postgres=>

验证dns server

kubectl run -i --tty --rm debug --image=quay.io/aoc/netshoot:latest --restart=Never -- sh
host test.com

adastra tips

source venv/bin/activate
adastra config set --env production
adastra customer list

adastra access request cus-xxx
adastra access status
adastra access login cus-xxx

验证receptor

receptorctl --socket /var/run/receptor/receptor.sock ping 10.65.55.57

kubernetes tools

Sat, 07 Dec 2024 00:12:05 +0000

kubie

kubie ctx
kubie ns

k9s

curl -sS https://webinstall.dev/k9s | bash

minikube

minikube start --kubernetes-version=v1.23.0 --driver=docker

ansbile和awx和rhaap

Sat, 07 Dec 2024 00:12:05 +0000

随着自动化技术在 IT 运维中的普及，Ansible 及其相关项目和产品成为许多组织的首选工具。本文将深入介绍 Ansible、AWX、Tower 和 Red Hat Ansible Automation Platform (RH AAP) 的基本概念、功能及其区别。

什么是 Ansible？

Ansible 是一个开源的 IT 自动化工具，主要用于配置管理、应用部署和任务编排。它的设计原则是简单、强大且无代理（agentless）。Ansible 的主要特点包括：

YAML 编写的 Playbook：易于阅读和维护。
无代理架构：通过 SSH 或 WinRM 与目标节点交互。
模块化设计：提供上千个模块以支持不同的功能和平台。
强大的社区支持：拥有丰富的生态系统和插件。

Ansible 适合于开发者、运维人员和系统管理员在小型或中型规模环境中使用。

什么是 AWX？

AWX 是 Ansible 项目的一个开源社区版本，它为 Ansible 提供了一个 Web 界面和 API 服务。主要功能包括：

任务可视化：通过图形化界面创建、运行和监控 Playbook。
角色分离：允许多个用户和团队协作。
作业调度：支持定时运行任务。
RESTful API：便于与其他系统集成。

优势：

适合对 Ansible 有基本了解的用户，想要通过 Web 界面更直观地管理任务。
作为免费的社区版本，可以满足多数非企业级场景。

什么是 Ansible Tower？

Ansible Tower 是 AWX 的商业版本，由 Red Hat 提供。它建立在 AWX 的基础之上，增加了一些企业级功能，如：

RBAC（基于角色的访问控制）：精细化的权限管理。
审计和日志记录：符合企业合规要求。
支持和维护：由 Red Hat 提供的官方支持。
高级功能：
- 集成 LDAP/AD。
- 提供更好的可扩展性和高可用性。
- 提供更安全的密钥和凭证管理。

优势：

适合需要企业级支持和增强功能的大型组织。

什么是 Red Hat Ansible Automation Platform (RH AAP)？

RH AAP 是 Red Hat 提供的全面自动化解决方案，它包含了 Ansible、Ansible Tower（作为其控制层）以及额外的内容和功能。RH AAP 的主要特性包括：

内容集合（Content Collections）：为特定平台和功能提供预定义的模块和角色。
自动化运行环境（Automation Execution Environment, AEE）：标准化、容器化的执行环境，便于跨团队协作和部署。
自动化控制层：包括 Ansible Tower（管理界面）和自动化分析功能。
认证的内容和支持：由 Red Hat 提供经过认证的模块和持续的技术支持。

优势：

适合需要全面自动化管理和扩展的企业级用户。

Ansible、AWX、Tower 和 RH AAP 对比

功能	Ansible	AWX	Tower	RH AAP
性质	开源工具	开源项目	商业产品	企业级平台
核心功能	配置管理、部署	Web 界面 + API	企业增强版 + 支持	自动化平台 + 企业扩展
可视化界面	不支持	支持	支持	支持
任务调度	不支持	支持	支持	支持
权限管理	基础权限	基本功能	企业级 RBAC	企业级 RBAC
企业支持	无	无	Red Hat 提供支持	Red Hat 提供支持
额外功能	无	无	日志审计、集成 LDAP	内容集合、分析与扩展环境
适用场景	小型或实验环境	中小型项目	中大型企业	大型企业及复杂环境

如何选择？

个人或小型团队：推荐直接使用 Ansible，结合命令行和 Playbook 即可满足需求。
需要简单的 Web 管理界面：可以选择开源的 AWX。
中大型企业：若需要企业级功能和支持，可以选择 Ansible Tower。
全面的企业级自动化：如果组织需要完整的自动化生态和支持，RH AAP 是最佳选择。

总结

从 Ansible 到 RH AAP，每个工具都基于开源理念，适配了不同规模和需求的用户。通过选择合适的工具或平台，用户可以更高效地构建和管理自动化流程。

希望本文能帮助您了解 Ansible 及其相关工具，找到适合自己的自动化解决方案！

ansbile eda

Sat, 07 Dec 2024 00:12:05 +0000

什么是事件驱动自动化？

事件驱动自动化是一种新型的自动化方式，其核心是响应特定事件的触发条件并执行预定义的操作。例如，在 IT 运营中，当系统检测到宕机事件时，可以自动生成故障单、收集信息甚至重启设备，从而实现完全自动化的闭环操作。

EDA 的工作原理

事件源：监听并捕获系统中发生的事件（如警报、状态变化）。
规则引擎：分析事件是否满足触发条件。
自动化操作：执行相应的动作，如运行 Ansible Playbook 或直接触发模块。

EDA 的简便性和灵活性源于其基于 YAML 的规则库（Rulebook），使用 “if-this-then-that” 的逻辑实现高度自定义的自动化。

EDA 的主要组件

1. 事件源（Sources）

事件源是 EDA 的起点，用于监听和捕获事件。RHAAP 提供丰富的事件源插件，包括：

监控工具：Prometheus Alertmanager。
云平台：AWS SQS、Azure Service Bus。
自定义事件：Webhook、文件系统监控等。

通过事件源，EDA 可以无缝集成到多供应商环境中。

2. 规则（Rules）

规则是 EDA 的核心逻辑，定义了事件触发的条件和对应的响应操作。例如，当网络设备宕机时，可以定义规则触发自动重启。

3. 操作（Actions）

动作是事件满足规则后执行的具体任务，包括：

运行 Ansible Playbook。
调用模块或更新系统事实。
触发新事件或进行调试。

EDA 的优势

1. 提升效率

通过自动化高频、重复性任务，EDA 显著减少人工操作，提高团队生产力。

2. 增强系统可靠性

EDA 能够快速响应事件并执行修复操作，从而提高系统稳定性。

3. 降低运维复杂性

EDA 支持跨供应商集成，适应复杂的混合云和边缘环境。

4. 支持快速扩展

EDA 提供了灵活的规则和插件机制，企业可以快速适应新需求。

典型应用场景

1. 自动化故障修复

当系统出现异常时，EDA 可自动检测并执行修复操作，如重启服务或调整配置。

2. 工单丰富化

EDA 可以与 ITSM 工单系统集成，将事件的详细信息自动填充到工单中，提升问题排查效率。

3. 提高系统稳定性

通过实时监控和自动响应，EDA 能有效预防潜在风险，减少宕机概率。

4. 简化边缘设备管理

EDA 能自动化配置和管理边缘设备，适应大规模部署场景。

如何开始使用 EDA？

Red Hat 建议采用 “从小开始，逐步扩展” 的策略：

选择简单的用例：例如自动化收集系统信息。
逐步扩展规则库和事件源：增加对网络、云和边缘的覆盖。
实现复杂自动化：包括 AIOps、自助服务等。

对于 Ansible Automation Platform 用户，可以直接在规则库中调用现有的 Playbook，无需重复开发。

总结

事件驱动自动化是 IT 运营现代化的关键。RHAAP 的 EDA 功能通过灵活的规则引擎和丰富的事件源集成，帮助企业实现高效、可靠的自动化运维。

如果您希望提升 IT 运营的效率和稳定性，RHAAP 的 EDA 是不可错过的选择。

LEo的网络日志

使用external-secrets访问azure keyvault

查看aks是否启用oidc

创建 user assigned managed identity

给 managed identity 授权 key vault

创建 federated identity credential

给external-secrets的sa添加一下annotation

创建 clustersecretstore

创建clusterexternalsecret

查看生成的secret

使用external-secrets访问aws secrets manager

遇到的错误

解决步骤

1. 确认使用的 serviceaccount

2. 检查 rosa/eks 的 oidc provider

3. 在 aws 上创建 iam role

4. 设置 role 的信任关系

5. 为 role 授权访问 secrets manager

6. 把 role 绑定到 serviceaccount

7. 重启 external-secrets pod

8. 验证 clustersecretstore 状态

macos双开微信

使用fluent-bit将k8s日志转发到splunk

安装fluent-bit

配置values

在ansible on clouds部署mesh

在azure创建aap 2.4

在azure创建hop和exec node

配置automation controller

配置hop和exec node

网络配置

故障排查

确认automation mesh

参考

terraform tips

terraform plan

terraform apply

variables.tf

providers.tf

aoc sre tips

saas login

订阅组件的release信息

检查aap job status

解决aks failed状态问题

修改aap gw admin password

aap无法登录

从pfx中提取所有证书

查看证书包含的域名

进入aap db

debug rds connection issue

获取aks kubeconfig失败

az查询appgw信息

查询证书是否过期

aap gw修改密码

kubernetes tools

kubie

k9s

minikube

ansbile和awx和rhaap

什么是 Ansible？

什么是 AWX？

优势：

什么是 Ansible Tower？

优势：

什么是 Red Hat Ansible Automation Platform (RH AAP)？

优势：

Ansible、AWX、Tower 和 RH AAP 对比

如何选择？

总结

ansbile eda

什么是事件驱动自动化？

EDA 的工作原理

EDA 的主要组件

1. 事件源（Sources）

2. 规则（Rules）

3. 操作（Actions）

EDA 的优势

1. 提升效率

2. 增强系统可靠性

3. 降低运维复杂性