Server chết lúc 2h sáng: Bài học xương máu từ ca trực hệ thống bệnh viện

2 giờ 15 phút sáng. Điện thoại bàn phòng kỹ thuật reo vang.

Tiếng chuông điện thoại trực lúc rạng sáng là thứ âm thanh mà bất kỳ ai làm IT bệnh viện cũng phải giật thót. Đầu dây bên kia là giọng gấp gáp của điều dưỡng khoa xét nghiệm: “Anh ơi, hệ thống không đẩy được kết quả máu lên cho bác sĩ khoa Cấp cứu, máy báo mất kết nối máy chủ!”

Khi từng phút là sự sống

Làm IT ở các công ty thông thường, server nghẽn có thể hoãn lại đến 8h sáng xử lý, cùng lắm người dùng chậm mua hàng vài phút. Nhưng ở môi trường bệnh viện:

• Bác sĩ cấp cứu cần kết quả xét nghiệm đông máu để quyết định mổ ngay lập tức.
• Hệ thống chẩn đoán hình ảnh (PACS) phải sẵn sàng hiển thị phim chụp cắt lớp vi tính.
• Hồ sơ bệnh án điện tử (EMR) không được phép đứt đoạn dù chỉ 1 phút.

Đó là lý do vì sao một sự cố 2h sáng không đơn thuần là “lỗi kỹ thuật”, mà là cuộc đua với thời gian.

Bước vào phòng máy chủ: Quy tắc “3 Không” trong khủng hoảng

Chạy vội vào phòng Datacenter, máy lạnh phả ra buốt giá, tiếng quạt gió của hàng chục phiến server kêu rào rào. Đèn tín hiệu một cụm Switch Core đang nhấp nháy đỏ rực.

Kinh nghiệm sau nhiều năm trực mách bảo tôi: Sự hoảng loạn luôn tạo ra lỗi thứ cấp.

Tôi luôn tự nhắc mình 3 nguyên tắc:

1. Không khởi động lại bừa bãi: Reboot mà không biết nguyên nhân có thể xóa sạch log trong RAM hoặc làm hỏng dữ liệu đang ghi dở.
2. Không phỏng đoán không bằng chứng: Ping từng node, kiểm tra VLAN, soi log port Switch.
3. Ưu tiên cô lập đường truyền dự phòng (Failover) trước khi đi sâu tìm bug.

# Kiểm tra nhanh trạng thái trunking và spanning-tree trên switch core
show spanning-tree blockedports
show interface status | include error|down

Thủ phạm bất ngờ

Khi soi log mạng, một vòng lặp mạng (Loop) kinh hoàng đang làm bão gói tin (Broadcast Storm) tràn ngập mạng nội bộ phân khu xét nghiệm.

Nguyên nhân? Một nhân viên trực vô tình cắm dây mạng từ máy in nối ngược lại cổng phụ của ổ cắm switch phụ ở góc phòng để “mượn đường mạng cho laptop”. Switch phụ không bật tính năng loop detection, và bão gói tin đánh sập toàn bộ hàng đợi của Switch phân tầng.

Giải pháp tức thời: Tách cô lập ngay lập tức port switch bị bão, kích hoạt bpduguard và loop-protect trên toàn bộ switch truy cập (Access Switch), hệ thống phục hồi sau đúng 4 phút.

Bài học rút ra cho mọi hệ thống

1. Vật lý luôn có thể phản bội bạn: Bạn cấu hình phần mềm hoàn hảo, nhưng chỉ cần một người vô tình cắm nhầm 1 sợi dây RJ45 ở phòng ban là toàn bộ hạ tầng rung chuyển.
2. Luôn bật Port Security & BPDU Guard: Đừng bao giờ tin rằng người dùng sẽ không cắm bậy thiết bị vào mạng bệnh viện.
3. Kỹ năng quan trọng nhất của người làm IT trực đêm không phải là gõ lệnh nhanh, mà là nhịp tim không được tăng quá 100bpm khi nhận cuộc gọi lúc nửa đêm.

Đến 3h30 sáng, kết quả xét nghiệm lại chạy trơn tru về phòng mổ. Rót một ly nước ấm, ngồi nhìn màn hình giám sát Prometheus toàn bộ màu xanh lá, cảm giác lúc ấy thật khó diễn tả bằng lời.