PPE Analytics

PPE Analytics (NFV4-PPE) adalah modul analitik video real-time untuk memantau kepatuhan penggunaan Personal Protective Equipment (PPE) di area industri, konstruksi, manufaktur, dan lingkungan kerja berisiko. Sistem mendeteksi setiap orang dalam frame, lalu mengklasifikasikan atribut PPE yang dikenakan (head protection, gloves, safety harness, face mask, protective clothing, dan lain-lain) beserta confidence-nya. Hasilnya dikirim sebagai event sehingga sistem downstream dapat menentukan compliance dan men-trigger alert non-compliance.

Apa yang Dilakukan

Kemampuan

PPE Analytics menggabungkan deteksi orang dengan attribute classification khusus PPE. Atribut berikut diklasifikasikan untuk setiap orang yang terdeteksi:

Bila confidence atribut di bawah threshold yang dikonfigurasi, label otomatis berubah menjadi Unknown. Aturan compliance (misalnya "non-compliant jika head_protection.label != "Helmet"") dilakukan oleh sistem downstream berdasarkan payload event.

PPE Analytics juga mewarisi seluruh sub-analytics dari multi-logics framework:

Yang TIDAK Dilakukan

• Identifikasi atau pengenalan wajah pekerja — gunakan Face Recognition untuk itu
• Penegakan rule compliance secara langsung — modul ini menghasilkan klasifikasi atribut, bukan keputusan compliance/non-compliance
• Deteksi kecelakaan kerja, kejatuhan, atau perilaku tidak aman (slip, trip, fall)
• Pelacakan orang lintas kamera (cross-camera tracking)
• Pengenalan plat kendaraan — gunakan License Plate Recognition

Use Cases

Cara Kerja

Setiap frame video didekode dan dilewatkan ke person detector. Tracker melacak identitas setiap individu lintas frame menggunakan bounding box dan confidence score. Untuk setiap orang yang terdeteksi, attribute classifier menghasilkan nilai untuk seluruh atribut PPE beserta confidence masing-masing.

Hasil tracking dan atribut diproses oleh sub-analytics yang aktif (counting, ROI counting, dwelling, density). Setiap event yang dihasilkan berisi atribut PPE per orang sehingga sistem downstream dapat menentukan compliance, mengirim alert, atau menyimpan untuk audit.

Persyaratan

Kamera

Pemasangan kamera (panduan operasional umum):

• Sudut 30–45 derajat dari horizontal — top-down penuh menyulitkan klasifikasi atribut tubuh bagian atas
• Tinggi 2,5–4 meter, sesuaikan dengan area cakupan
• Pastikan keseluruhan tubuh pekerja terlihat jika atribut seperti protective_clothing atau footwear_type perlu dievaluasi
• Hindari backlight kuat dan posisi melawan matahari langsung

Lingkungan

• GPU NVIDIA (TensorRT) atau Intel (OpenVINO) untuk akselerasi inferensi
• RAM minimal 2 GB per pipeline
• CPU minimal 3 core per pipeline
• Pencahayaan area minimal cukup untuk deteksi warna (panduan operasional umum: ≥150 lux)

Dependencies

• Visionaire API berjalan di port default 4004
• Stream video sudah terdaftar dan dapat diakses oleh Visionaire
• Model PPE attribute classification (ppe_attribute) ter-deploy di node yang menjalankan pipeline

Setting Up

Konfigurasi

Parameter API

Global

Counting Logic

Dwelling Logic

Density Logic

PPE Attribute Thresholds

Setiap atribut PPE memiliki threshold confidence-nya sendiri. Bila confidence di bawah threshold, label atribut tersebut diset menjadi Unknown.

Output yang Dihasilkan

Setiap event memiliki struktur top-level berikut, dengan detail spesifik logic berada di field pipeline_data:

Field pipeline_data

Field attributes berisi map atribut PPE yang aktif. Setiap atribut adalah objek { "label": "...", "confidence": 0.0–1.0 }. Atribut dengan confidence di bawah threshold akan memiliki label: "Unknown".

Contoh Event

{
  "analytic_id": "NFV4-PPE",
  "stream_id": "stream_001",
  "timestamp": 1705314600000,
  "primary_text": "person",
  "secondary_text": "in",
  "pipeline_data": {
    "logic": "counting",
    "label": "person",
    "confidence": 0.86,
    "tracker_id": 5,
    "group_id": 0,
    "area_name": "Site Entrance",
    "direction": "in",
    "attributes": {
      "head_protection": { "label": "Helmet", "confidence": 0.91 },
      "helmet_color": { "label": "Yellow", "confidence": 0.83 },
      "safety_glasses": { "label": "Unknown", "confidence": 0.42 },
      "face_shield": { "label": "No Face Shield", "confidence": 0.88 },
      "face_mask": { "label": "No Face Mask", "confidence": 0.81 },
      "gloves": { "label": "Gloves", "confidence": 0.74 },
      "safety_harness": { "label": "No Safety Harness", "confidence": 0.79 },
      "protective_clothing": { "label": "Vest", "confidence": 0.87 },
      "protective_clothing_color": { "label": "Orange", "confidence": 0.84 },
      "footwear_type": { "label": "Safety Boots", "confidence": 0.71 },
      "work_context": { "label": "Construction", "confidence": 0.66 }
    },
    "event_id": "1705314600000-3a1f9d4c"
  }
}

{
  "analytic_id": "NFV4-PPE",
  "stream_id": "stream_001",
  "timestamp": 1705314600000,
  "primary_text": "person",
  "secondary_text": "in",
  "pipeline_data": {
    "logic": "roi_counting",
    "label": "person",
    "confidence": 0.82,
    "tracker_id": 9,
    "area_name": "Welding Bay",
    "direction": "in",
    "attributes": {
      "head_protection": { "label": "Helmet", "confidence": 0.93 },
      "face_shield": { "label": "Face Shield", "confidence": 0.89 },
      "gloves": { "label": "Gloves", "confidence": 0.81 },
      "protective_clothing": { "label": "Coverall", "confidence": 0.84 }
    }
  }
}

{
  "analytic_id": "NFV4-PPE",
  "stream_id": "stream_001",
  "timestamp": 1705314600000,
  "primary_text": "Restricted Area",
  "secondary_text": "120.000 s",
  "pipeline_data": {
    "logic": "dwelling",
    "label": "person",
    "confidence": 0.78,
    "tracker_id": 12,
    "area_name": "Restricted Area",
    "time_in": 1705314480000,
    "time_out": null,
    "time_alert": 1705314600000,
    "duration": 120.0,
    "attributes": {
      "head_protection": { "label": "Unknown", "confidence": 0.34 },
      "protective_clothing": { "label": "Vest", "confidence": 0.82 }
    }
  }
}

{
  "analytic_id": "NFV4-PPE",
  "stream_id": "stream_001",
  "timestamp": 1705314600000,
  "primary_text": "Loading Dock",
  "secondary_text": "8",
  "pipeline_data": {
    "logic": "density",
    "interval": 5,
    "area": "Loading Dock",
    "estimation": 8,
    "detected": [
      {
        "tracker_id": 7,
        "label": "person",
        "confidence": 0.84,
        "bbox": { "top": 150, "left": 100, "width": 80, "height": 220 },
        "attributes": {
          "head_protection": { "label": "Helmet", "confidence": 0.9 },
          "protective_clothing": { "label": "Vest", "confidence": 0.86 }
        }
      }
    ]
  }
}

Best Practices

Penempatan Kamera

• Sudut 30–45 derajat dari horizontal — top-down penuh menyulitkan klasifikasi atribut tubuh bagian atas (helmet, vest)
• Pastikan keseluruhan tubuh pekerja terlihat jika atribut footwear_type perlu dievaluasi
• Ukuran orang minimal 50×100 piksel di frame agar attribute classification berjalan andal
• Hindari backlight kuat dan posisi melawan matahari langsung

Definisi Compliance Rule di Sisi Downstream

• PPE Analytics tidak menentukan compliance/non-compliance — sistem downstream harus mendefinisikan rule berdasarkan field attributes
• Contoh rule sederhana: non-compliant jika attributes.head_protection.label != "Helmet" ATAU attributes.protective_clothing.label == "Unknown"
• Pertimbangkan threshold confidence per atribut sebelum mem-flag non-compliance untuk mengurangi false alert

Threshold Tuning

• Naikkan threshold (mis. 0.7) untuk atribut critical (head_protection, safety_harness) agar Unknown lebih konservatif daripada salah klasifikasi
• Atribut sekunder (helmet_color, work_context) dapat dibiarkan di default 0.5

Konfigurasi Sub-Analytics

• Gunakan Counting di gate masuk area kerja untuk audit compliance setiap shift change
• Gunakan ROI Counting untuk audit per zona kerja (welding bay, area ketinggian, dsb.) dengan threshold PPE berbeda per zona di sisi downstream
• Gunakan Dwelling untuk stasiun kerja statis dengan dwelling_treshold_alert_sec agar dapat alert pekerja yang lama tidak compliant
• Gunakan Density dengan dump_attributes: true untuk snapshot compliance occupancy periodik

Limitations

• Atribut ≠ keputusan compliance: Modul ini menghasilkan klasifikasi atribut PPE; logika "compliant vs non-compliant" harus diimplementasikan di sistem downstream
• Occlusion parah: Jika lebih dari 50% tubuh tertutup, akurasi atribut PPE menurun signifikan
• Atribut warna pada motif/pattern: Warna helmet/vest bermotif akan dideteksi sebagai warna dominan yang mungkin tidak akurat
• Top-down penuh (bird's eye view): Sudut ini menyulitkan klasifikasi atribut karena bagian tubuh tertentu (vest depan, face mask, gloves) tidak terlihat jelas
• Pencahayaan rendah: Akurasi attribute classification turun drastis di kondisi gelap; pastikan area kerja cukup terang
• Footwear_type: Atribut ini hanya andal jika seluruh tubuh termasuk kaki terlihat di frame
• Tidak ada cross-camera tracking: Setiap kamera berjalan independen; identifikasi pekerja yang sama di beberapa kamera bukan kapabilitas modul ini

Modul Terkait