docs: add pipelines-y-transformaciones.md and update foundry README

[Copilot]

Adds the missing docs/foundry/pipelines-y-transformaciones.md guide — the fourth pillar in the Foundry study notes series — and updates docs/foundry/README.md to reflect it.

New: docs/foundry/pipelines-y-transformaciones.md

Follows the established style (numbered sections, ASCII diagrams, tables, checklist, troubleshooting). Covers:

• Tool selection — Pipeline Builder vs Code Workbooks vs Code Repositories with decision tree
• Core concepts — Bronze/Silver/Gold medallion, declarative @transform, DAG, Build/Scheduler
• Execution modes — Full refresh vs incremental with watermarks/lookback, partitioning strategies, idempotency
• Data quality — Inline expectations/checks, validation patterns table, schema drift handling strategies
• Spark performance — Partition tuning, broadcast vs shuffle joins, skew/salting, caching, cost practices
• Observability — Log/metric sources, ASCII failure pattern tree for OOM/skew/watermark/schema issues
• Ontology integration — How Gold backing datasets feed Object Types and trigger Funnel indexing
• End-to-end example — clientes/pedidos model consistent with other docs; Python transforms (Bronze→Silver incremental), SQL (Silver→Gold KPIs), schema mapping table to Ontology properties

Updated: docs/foundry/README.md

• Added pipelines-y-transformaciones.md to the documents table
• Extended the recommended learning path to step 4
• Marked the item as complete in the "Próximos apuntes" list

Original prompt

Crear/actualizar documentación Markdown en el repo unnamedlab/noname (branch main) siguiendo el contexto del chat de apuntes de Palantir Foundry.

Objetivo principal:

• Añadir el documento docs/foundry/pipelines-y-transformaciones.md con un estilo consistente con los otros apuntes ya creados (título + resumen, índice, secciones numeradas, tablas, diagramas ASCII, checklist, troubleshooting).

Contenido requerido del .md:

• Diferencias y cuándo usar: Pipeline Builder, Code Repositories, Code Workbooks.
• Conceptos: datasets bronze/silver/gold, transforms, Build/scheduler, DAG/dependencias.
• Ejecuciones: full vs incremental, watermarks/lookback, particionado, idempotencia.
• Calidad de datos: checks/tests, validaciones, gestión de schema drift.
• Rendimiento (Spark): joins, skew, particiones, caching, coste.
• Observabilidad: logs/metrics, patrones para diagnosticar fallos comunes.
• Integración con Ontología: cómo los pipelines alimentan backing datasets y disparan indexing/Funnel.
• Ejemplo end-to-end (recomendado: estilo tabular "clientes/pedidos" coherente con el resto de docs) con pseudo-código/SQL y diagrama.

Estructura de docs:

• Asegurar que existe la carpeta docs/foundry/.
• Crear o actualizar docs/foundry/README.md para listar y enlazar los apuntes disponibles (componentes, ontología, integración de datos, pipelines).
• Si aún existen apuntes en la raíz (palantir-foundry-componentes.md, ontologia-foundry.md), no borrarlos en esta PR a menos que sea necesario; preferible duplicar/enlazar o mover solo si es seguro y actualizar enlaces relativos.

Criterios de aceptación:

• docs/foundry/pipelines-y-transformaciones.md existe y está bien formateado.
• docs/foundry/README.md enlaza el nuevo doc.
• Enlaces relativos funcionan.

The following is the prior conversation context from the user's chat exploration (may be truncated):

User: que otro .md recomiendas que haga ?

Assistant:

Buena pregunta. Basándome en la estructura que ya tienes (el mapa general de componentes), aquí van mis recomendaciones ordenadas por prioridad de estudio:

---

📚 Roadmap de .md recomendados

#	Archivo	Por qué es importante
1	ontologia-foundry.md	Es el concepto más diferenciador de Foundry. Entender Object Types, Link Types, Actions, Functions y cómo se construye sobre los datasets es fundamental. Sin esto, todo lo demás es solo "otro data lake".
2	data-integration-magritte.md	El flujo de ingesta es lo primero que tocas en cualquier proyecto real: Agents, sincronizaciones, tipos de conectores, modos batch vs streaming.
3	pipelines-y-transformaciones.md	Code Repositories vs Code Workbooks vs Pipeline Builder: cuándo usar cada uno, sintaxis de transforms en Python/SQL, conceptos de incremental pipelines y branching.
4	apollo-infraestructura.md	Si te interesa el lado on-prem/DevOps: cómo Apollo despliega, actualiza y gestiona los servicios, el ciclo de vida de un producto, Rubix y Skylab.
5	seguridad-y-gobernanza.md	Multipass, Gatekeeper, marcados (markings), organizaciones, proyectos, permisos por columna/fila — el modelo de seguridad de Foundry es complejo y muy preguntado.
6	workshop-apps-operativas.md	Cómo construir aplicaciones en Workshop: widgets, variables, events, Actions de escritura, y patrones comunes de UI operativa.
7	aip-llms-ontologia.md	La capa más reciente: cómo AIP conecta LLMs con la Ontología, AIP Logic, agentes autónomos, y restricciones de seguridad sobre los modelos.
8	flujo-datos-end-to-end.md	Un caso práctico completo: desde la fuente de datos externa → Magritte → Dataset → Transformación → Ontología → Aplicación Workshop. Con diagramas paso a paso.
9	glosario-foundry.md	Términos que confunden: Dataset vs Object, Branch vs Transaction, Build vs Schedule, Projection vs Filter, etc.
10	errores-comunes-y-troubleshooting.md	Errores típicos: builds que fallan, Funnel que no indexa, Agents desconectados, permisos que bloquean pipelines — con soluciones.

---

🎯 Mi recomendación de siguiente paso

Yo empezaría por ontologia-foundry.md — es el concepto que más cuesta entender al principio y el que más valor aporta una vez lo dominas. Todo en Foundry (Workshop, AIP, Actions, Functions) gira alrededor de la Ontología.

¿Quieres que te prepare y suba alguno de estos? Dime cuál (o cuáles) y los creo directamente en unnamedlab/noname.

User: perfecto, vamos a empezar por ontologia-foundry.md

Assistant: Parece que la herramienta de escritura no devolvió confirmación. Déjame verificar si el archivo se creó correctamente:

User: @Copilot Accepted Confirmation: Are you sure?

Assistant: ✅ Archivo subido correctamente:

📄 ontologia-foundry.md en unnamedlab/noname (rama main)

Commit: [3dd872f](3dd872fa6...

This pull request was created from Copilot chat.