Lab: Hướng dẫn lưu trữ metrics, logs từ các AWS service sang S3

Đối với các hệ thống CNTT thì ngoài việc triển khai các ứng dụng đáp ứng yêu cầu nghiệp vụ thì các quản trị viên còn quan tâm đến việc giám sát hiệu năng hệ thống thông qua các metrics (CPU, RAM, HDD) hoặc Log. Tuy nhiên việc thiết lập các công cụ như vậy chiếm mất nhiều thời gian và công sức, đồng thời khó khăn trong việc mở rộng.

Với AWS thì các công cụ như vậy trở nên đơn giản hóa với việc sử dụng dịch vụ AWS Kinesis. Trong bài viết này chúng tôi sẽ hướng dẫn các bạn thực hiện từng bước cách để lưu log từ EKS sang S3.

Kiến trúc hệ thống

Use case 01:

Lưu log tập trung sử dụng Firehose

  • Nguồn dữ liệu data source sẽ được lưu tập trung về CloudWatch
  • Tạo service Firehouse đăng ký subcription vào CloudWatch
  • Khi có log từ CloudWatch sẽ được tải về Firehose
  • Trên Firehose sử dụng Lambda để nén và gửi sang source là bucket S3.

Use case 02:

Lưu log tập trung từ EC2 về S3 sử dụng Lambda. Dữ liệu này sẽ được sử dụng xử lý sau cho quá trình tối ưu, kiểm toán và rà soát bảo mật.

Tham khảo

https://docs.aws.amazon.com/firehose/latest/dev/cw-to-delivery-stream.html

https://aws.amazon.com/blogs/mt/how-to-export-ec2-instance-execution-logs-to-an-s3-bucket-using-cloudwatch-logs-lambda-and-cloudformation/

Leave a Reply

Your email address will not be published. Required fields are marked *