Programma Didattico Corso CompTIA SecAI+ (CY0-001)

Corso CompTIA SecAI+ (CY0-001)

Modulo 1 - Summarizing AI and Data Concepts for Cybersecurity

Obiettivi d'esame: 1.1, 1.2

Obiettivi di apprendimento

• Spiegare i concetti di AI rilevanti per la cybersecurity.
• Comprendere il training dei modelli e il prompt engineering.
• Mettere in sicurezza i dati usati dall'AI.

Unità didattica - Tipi di AI

• Generative AI
• Machine learning e statistical learning
• Transformer e deep learning
• Generative Adversarial Network (GAN)
• NLP: Large Language Model (LLM) e Small Language Model (SLM)

Unità didattica - Tecniche di training

• Model validation
• Apprendimento supervisionato e non supervisionato
• Reinforcement learning
• Federated learning
• Fine-tuning: epoch, pruning, quantization

Unità didattica - Prompt engineering

• System prompt e user prompt
• System roles
• Zero-shot, one-shot e multi-shot prompting
• Template di prompt

Unità didattica - Sicurezza dei dati

• Data processing: cleansing, verification, lineage, integrity, provenance, augmentation, balancing
• Tipi di dato
• Watermarking
• RAG: vector storage ed embeddings

Unità didattica - Laboratorio

• Mappare un caso d'uso reale al tipo di AI/tecnica più adatto
• Identificare i rischi sui dati lungo una pipeline RAG di esempio

Modulo 2 - Implementing Threat Modeling and Securing AI Systems

Obiettivi d'esame: 2.1, 2.2

Obiettivi di apprendimento

• Usare le risorse di threat modeling per l'AI.
• Implementare controlli di sicurezza per i sistemi AI.

Unità didattica - Risorse e framework

• OWASP Top 10: LLM Top 10 e ML Security Top 10
• MIT AI Risk Repository
• MITRE ATLAS
• CVE AI Working Group
• Framework di threat modeling

Unità didattica - Processo di threat modeling per l'AI

• Prerequisiti del threat modeling AI
• Fasi del processo di threat modeling

Unità didattica - Model controls

• Model evaluation
• Guardrail
• Prompt template
• Testing e validazione dei guardrail

Unità didattica - Gateway controls

• Prompt firewall
• Rate limit e token limit
• Input quota: data size e quantità
• Modality limit
• Endpoint access control

Unità didattica - Laboratorio

• Costruire un threat model di un assistente LLM aziendale usando ATLAS e OWASP LLM Top 10
• Definire un set di gateway control a partire dai requisiti sui dati

Modulo 3 - Installing Access Controls for AI

Obiettivi d'esame: 2.3, 2.4, 2.5

Obiettivi di apprendimento

• Implementare controlli di accesso per l'AI.
• Applicare controlli di sicurezza sui dati.
• Eseguire monitoraggio e auditing dei sistemi AI.

Unità didattica - Controlli di accesso

• Model access
• Data access
• Agent access
• Network e API access
• Modelli di access control per l'AI

Unità didattica - Data security controls

• Requisiti di cifratura: in transit, at rest, in use
• Data safety: anonymization e classification label
• Redaction e masking
• Data minimization

Unità didattica - Monitoraggio dei sistemi AI

• Prompt monitoring: query e response
• Log monitoring, sanitization e protection
• Response confidence level
• Rate monitoring
• AI cost monitoring: prompt, storage, response, processing

Unità didattica - Auditing per qualità e compliance

• Hallucination
• Accuracy
• Bias e fairness
• Access

Unità didattica - Laboratorio

• Configurare cifratura e mascheramento dati su un dataset di esempio
• Impostare prompt e log monitoring e definire soglie di alert su costi e rate

Modulo 4 - Distinguishing AI-Related Threats and Compensating Controls

Obiettivi d'esame: 1.3, 2.6

Obiettivi di apprendimento

• Dimostrare l'importanza della sicurezza lungo il ciclo di vita dell'AI.
• Analizzare gli attacchi ai sistemi AI e usare controlli compensativi.

Unità didattica - Ciclo di vita dell'AI

• Business use case
• Data collection: trustworthiness e authenticity
• Preparazione dei dati
• Sviluppo e selezione del modello
• Valutazione del modello
• Deployment e validazione
• Monitoraggio, feedback e iterazione

Unità didattica - Principi human-centric

• Human-in-the-loop
• Human oversight
• Human validation

Unità didattica - Attacchi ai sistemi AI

• Backdoor e Trojan
• Prompt injection e jailbreaking
• Poisoning: model e data
• Input manipulation e bias
• Aggiramento dei guardrail
• Model inversion e model theft
• Supply chain e transfer learning attack
• Model skewing e output integrity
• Membership inference
• Insecure output handling
• Denial of Service
• Sensitive information disclosure
• Insecure plug-in
• Excessive agency e overreliance

Unità didattica - Controlli compensativi

• Prompt firewall e guardrail
• Access control e least privilege
• Data integrity e cifratura
• Prompt template
• Rate limiting

Unità didattica - Laboratorio

• Dato un set di evidenze (log e output), identificare l'attacco e proporre i controlli compensativi
• Mappare ciascuna fase del life cycle ai relativi rischi di sicurezza

Modulo 5 - Leveraging AI in Security and Understanding Its Misuse

Obiettivi d'esame: 3.1, 3.2, 3.3

Obiettivi di apprendimento

• Usare strumenti AI-enabled per attività di security.
• Riassumere i vettori d'attacco abilitati o potenziati dall'AI.
• Usare l'AI per automatizzare task di sicurezza.

Unità didattica - Strumenti e applicazioni

• Plug-in per IDE, browser e CLI
• Chatbot e assistenti personali
• Server MCP

Unità didattica - Casi d'uso per la security

• Signature matching
• Code quality e linting
• Vulnerability analysis
• Penetration testing automatizzato
• Anomaly detection e pattern recognition
• Incident management
• Threat modeling
• Fraud detection
• Traduzione e sintesi

Unità didattica - AI e vettori d'attacco

• Deepfake: impersonation, misinformation e disinformation
• Reti avversarie
• Reconnaissance e social engineering
• Offuscamento
• Correlazione automatizzata dei dati
• Generazione automatizzata di attacchi: payload, malware, honeypot, DDoS

Unità didattica - Automazione dei task di sicurezza

• Scripting low-code e no-code
• Sintesi documentale
• Gestione dei ticket di incident response
• Change management: approvazioni AI, deploy e rollback
• AI agent
• CI/CD: code scanning, SCA, unit/regression/model testing

Unità didattica - Laboratorio

• Usare uno strumento AI per analizzare un log o un incidente e produrre un riepilogo di incident response
• Riconoscere un deepfake o un social engineering AI e definire le contromisure

Modulo 6 - Understanding AI Governance, Risk, and Compliance

Obiettivi d'esame: 4.1, 4.2, 4.3

Obiettivi di apprendimento

• Classificare le strutture di governance organizzativa per l'AI.
• Definire i rischi associati all'AI.
• Spiegare l'impatto della compliance sull'uso e sviluppo aziendale dell'AI.

Unità didattica - Strutture di governance

• AI Center of Excellence
• Policy e procedure AI
• Ruoli: data scientist, AI architect, ML engineer
• Ruoli: platform e MLOps engineer, AI security architect, data engineer
• Ruoli: AI governance engineer, AI risk analyst, AI auditor

Unità didattica - Responsible AI

• Fairness
• Reliability e safety
• Transparency ed explainability
• Privacy e security
• Inclusiveness
• Accountability e consistency
• Awareness training

Unità didattica - Rischi associati all'AI

• Introduzione di bias
• Data leakage accidentale
• Danno reputazionale
• Accuratezza e performance del modello
• Rischi di proprietà intellettuale
• Sistemi autonomi
• Shadow IT e Shadow AI

Unità didattica - Compliance e normative

• EU AI Act
• Standard OECD
• Standard ISO per l'AI
• NIST AI RMF
• Policy aziendali: sanctioned e unsanctioned, modelli privati e pubblici
• Governance dei dati sensibili
• Valutazioni di terze parti
• Data sovereignty

Unità didattica - Laboratorio

• Bozza di una policy d'uso aziendale dell'AI (sanctioned e unsanctioned)
• Mappare i requisiti di un caso d'uso all'EU AI Act e al NIST AI RMF