Kính chào: Quý khách hàng, quý đại lý,
Như quý khách cũng đã biết kể từ ngày 11/04/2014 trở đi tới ngày 23/05/2014 hệ thống của chúng tôi liên tục bị tấn công DDoS gây ảnh hưởng trực tiếp tới dịch vụ của quý khách và quý đại lý. Chúng tôi xin tóm lược lại một số thông tin như sau để quý khách nắm thông tin tình hình tấn công DDoS cũng như thông tin về việc sự cố đã được khắc phục.
14h ngày 11/4: hệ thống chúng tôi nhận các gói tin syn flood TCP 80 và UDP 53 random vào các server bên trong network của vHost. Dựa theo dữ liệu phân tích từ log phần lớn mỗi một địa chỉ IP chỉ gửi 1 gói tin vào 1 địa chỉ IP đích trong cuộc tấn công. Tại thời điểm này mỗi lần tấn công phía hacker chỉ tấn công vào 1 server bất kì bên trong lớp mạng của chúng tôi. Bộ phận kỹ thuật của vHost đã theo dõi gói tin và loại bỏ các server bị ảnh hưởng ra khỏi hệ thống, trong trường hợp loại bỏ server đang bị tấn công ra thì phía hacker sẽ chuyển qua các server tiếp theo nằm trong lớp mạng của chúng tôi. Tại thời điểm này một số dịch vụ VPS và server bên trong hoạt động bị chập chờn. Đồng thời server firewall bị overload và không thể xử lý được lưu lượng tấn công lần này.
20h00 ngày 11/4: chúng tôi ra quyết định triển khai hardware firewall tuy nhiên việc mua thiết bị cần có thời gian nhập hàng vì dòng hardware chuyên dành cho datacenter không phải lúc nào cũng có sẵn hàng tại Việt Nam.
9h47 AM ngày 13/04/2014 sự cố đã được khắc phục triệt để thông qua việc bổ sung hardware firewall ngay lập tức và tất cả các dịch vụ đã hoạt động ổn định trở lại.
Do dịch vụ telehosting (ngắn gọn là dịch vụ hosting cho các server game và website, app….) chưa phải là dịch vụ được ưu tiên như các dịch vụ leaseline, VOIP… vì vậy các firewall biên của phía upstream (nhà cung cấp đường truyền) được trang bị không phục vụ cho mục đích để bảo vệ những cuộc tấn công này. Toàn bộ packet được chuyển về upstream sẽ được forward toàn bộ xuống network của vHost. Thông qua việc trang bị firewall lần này thì vHost đã có thể cản được traffic và filter được toàn bộ packet không hợp lệ lần này.
Chiều ngày 29/4 đến chiều ngày 30/4: traffic một lần nữa được phía hacker huy động cực đại để tấn côngToàn bộ các gateway quốc tế của datacenter bị bão hoà băng thông, có gateway xảy ra tình trạng bị downtime và tại thời điểm đó không thể đo được thông tin trên biểu đồ mạng. Đợt tấn công này gây ảnh hưởng nghiêm trọng và toàn bộ các dịch vụ tại datacenter tại thời điểm đó bị ảnh hưởng không thể kết nối ra quốc tế cũng như hướng ngược lại.
Về sự cố lần này: vHost và các đối tác cần thời gian nghiên cứu và phân tích gói tin. Sau khi phân tích thì nhận thấy phần lớn gói tin được gửi tới có địa chỉ IP nguồn phần lớn từ 2 mạng lớn là Hinet và Chinanet. Chúng tôi quyết định loại bỏ tạm thời toàn bộ lưu lượng quốc tế để đảm bảo lưu lượng trong nước có thể hoạt động lại ổn định. Sau đó chúng tôi mở lại lưu lượng quốc tế lại từ từ để theo dõi thêm, sau khi mở lại lưu lượng quốc tế là các gateway quốc tế lại bị ảnh hưởng nên bắt buộc chúng tôi phải loại bỏ ngay và chuyển các hương traffic cần đi quốc tế qua một cổng riêng biệt khác để xử lý các yêu cầu cần ưu tiên tại thời điểm này. Do firewall biên của phía upstream không có cho zone telehosting vì vậy các lưu lượng ddos không thể filter được và chỉ có thể tạm thời chờ đến khi nào không bị DDoS nữa thì sẽ mở lại các gateway quốc tế. Đến chiều ngày 30/4 thì tạm thời không bị tấn công nữa.
Ngày 2/5: vHost và đối tác quyết định triển khai firewall biên đứng trước toàn bộ core router của chúng tôi để kiểm tra và cản lọc toàn bộ lưu lượng trước khi đi vào core router. Việc triển khai cần chuẩn bị và kiểm tra mất hơn hơn 10 ngày.
Ngày 14/5: vHost chuyển toàn bộ hệ thống mạng core qua sau firewall mới và không gây gián đoạn dịch vụ. Thời gian chuyển trong lần này là từ 2h00 AM đến 2h15 AM ngày 14/5/2014.
9h15 cùng ngày 14/5: network bị down toàn bộ do kết nối giữa firewall biên và core router bị flapping BGP session khi gặp lượng traffic DDoS lớn lần nữa. Lỗi sự cố lần này cần phối hợp với các đối tác liên quan để cùng nghiên cứu, kiểm tra log và xử lý sự cố. Ngay khi xảy ra sự cố chúng tôi phải chuyển trả lại cấu hình như cũ trước khi triển khai firewall biên để hệ thống hoạt định lại ổn định.
Do thời gian chờ câu trả lời khá lâu và không chắc chắn vì phía đối tác cần có lưu lượng tấn công thực sự mới có thể theo dõi và phân tích sự cố được. Do sự ảnh hưởng về network liên tục từ ngày 11/4 đến ngày 14/5 liên tiếp vì vậy chúng tôi không xét duyệt cho việc triển khai firewall biên này lần nữa vì không chắc chắn được kết quả khi thực hiện và có thể gây gián đoạn dịch vụ dẫn đến ảnh hưởng trực tiếp tới chất lượng dịch vụ của khách hàng và cam kết của vHost.
Ngày 17/5: chúng tôi quyết định nâng cấp hệ thống firewall lần 2 thay thế cho thiết bị đã mua vào ngày 13/4.
Trưa ngày 19/5: thiết bị đã nhập về đến Việt Nam. Việc cấu hình và kiểm tra thông số cấu hình mất hơn 2 ngày.
18h30 ngày 22/5: chúng tôi triển khai firewall vào hệ thống. Tới lúc này toàn bộ traffic DDoS đã được ngăn chặn hoàn toàn.
0h AM đến 2h AM ngày 23/5: hệ thống bị DDoS tiếp tục và lúc này hacker chuyển cách đánh trực tiếp tới core router của vHost thông qua UDP flood gây chập chờn hệ thống. Bằng biện pháp kỹ thuật bộ phận kỹ thuật của chúng tôi đã hạn chế được lưu lượng tấn công đồng thời vHost yêu cầu các bên upstream tạo access list từ chối toàn bộ các yêu cầu không hợp lệ tới network core của vHost.
12h13 cùng ngày 23/5: vHost phát hiện 1 VPS bên trong của khách hàng đang thực hiện DoS ra ngoài gây ảnh hưởng chập chờn một số dịch vụ cùng lớp mạng với VPS này. Nguyên nhân gây ra sự cố là do việc triển khai firewall mới chưa cấu hình kỹ các thông số của các dịch vụ bên trong gửi request ra bên ngoài. Ngay khi phát hiện ra nguyên nhân chúng tôi đã suspend VPS gây ảnh hưởng dịch vụ đồng thời cấu hình lại các thông số trên firewall để đảm bảo không bị ảnh hưởng tương tự.
12h15 ngày 23/5: Toàn bộ hệ thống đã hoạt động ổn định đến ngày hôm nay (11/06/2014).
Do đây là sự cố không mong muốn và với những nỗ lực thông qua việc trang bị hardware firewall với chi phí rất cao để đảm bảo chất lượng dịch vụ cho quý khách mà không tính thêm bất kì chi phí firewall nào như các nhà cung cấp khác thường làm vì vậy chúng tôi kính mong quý khách thông cảm cho những sự cố bất tiện trong thời gian vừa qua.
Để tri ân thay cho lời nói cũng như sự cảm ơn quý khách đã đồng hành cùng vHost trong những sự cố vừa qua vì vậy chúng tôi sẽ tăng thêm thời hạn sử dụng các dịch vụ như sau:
- Dịch vụ hosting, email: tăng thêm 30 ngày sử dụng
- Dịch vụ VPS: tăng thêm 15 ngày sử dụng
- Dịch vụ Server, Colocation: tăng thêm 7 ngày sử dụng
Để cập nhập thời gian sử dụng quý khách vui lòng phản hồi thông tin dịch vụ quý khách đang sử dụng để bộ phận hỗ trợ chăm sóc khách hàng có thể hỗ trợ quý khách.
Lưu ý: các dịch vụ đã được tặng thời gian sử dụng trong đợt tấn công vừa qua sẽ không được cập nhập thời gian sử dụng trong lần này.
Một lần nữa vHost chân thành cảm ơn quý khách đã thông cảm và đồng hành cùng chúng tôi với những sự cố trong thời gian vừa qua.
Trân trọng,
