🚀 Ultra Parquet Converter v1.1.0 
Conversor profesional de archivos a formato Parquet con streaming, auto-reparación y soporte para 19 formatos .
Combina la velocidad de Node.js con el poder de Python + Apache Arrow para conversiones ultra-rápidas, procesamiento de archivos gigantes sin explotar memoria, y reparación automática de datos corruptos.
---
✨ Características Principales
$3 - 🔍
Auto-detección inteligente - Por extensión Y contenido
- ⚡
Ultra-rápido - Apache Arrow + Pandas optimizado
- 🌊
Streaming mode - Procesa archivos de 1GB, 5GB, 20GB+ sin explotar memoria
- 🔧
Auto-reparación - Corrige CSVs corruptos, elimina columnas vacías
- 📊
Auto-normalización - Normaliza nombres, detecta tipos automáticamente
- 🌐
Multiplataforma - Windows, Linux, macOS
- 🐍
Python flexible - Detecta
py,
python,
python3 automáticamente
$3 - 🔄
Procesamiento por chunks - 100,000 filas por vez
- 🛠️
Modo batch avanzado - Convierte cientos de archivos
- 📈
Benchmarking integrado - Mide velocidad, throughput, memoria
- 🔍
Análisis de archivos - Inspecciona estructura sin convertir
- ✅
Validación Parquet - Verifica integridad
- 📦
Compresión Snappy - 50-90% reducción de tamaño
- 🎨
CLI hermoso - Colores, spinners, estadísticas detalladas
---
📋 Formatos Soportados (19 total)
$3 | Formato | Extensiones | Uso Común | Auto-detección |
|---------|------------|-----------|----------------|
|
CSV |
.csv | Archivos estándar | ✅ Sí |
|
TSV |
.tsv | Datos tabulares, exports | ✅ Sí |
|
PSV |
.psv | Bases de datos Unix | ✅ Sí |
|
DSV |
.dsv,
.txt,
.log | Delimitador desconocido | ✅ Sí |
$3 | Formato | Extensiones | Uso Común | Auto-detección |
|---------|------------|-----------|----------------|
|
Excel |
.xlsx,
.xls | Microsoft Excel | ✅ Sí |
$3 | Formato | Extensiones | Uso Común | Auto-detección |
|---------|------------|-----------|----------------|
|
JSON |
.json | APIs, configuraciones | ✅ Sí |
|
NDJSON |
.ndjson,
.jsonl | JSON Lines, streaming | ✅ Sí |
|
XML |
.xml | Documentos estructurados | ✅ Sí |
|
YAML |
.yaml,
.yml | Configuraciones | ✅ Sí |
|
HTML |
.html | Tablas web | ✅ Sí |
$3 | Formato | Extensiones | Uso Común | Auto-detección |
|---------|------------|-----------|----------------|
|
Feather |
.feather,
.arrow | Apache Arrow | ✅ Sí (magic bytes) |
|
ORC |
.orc | Optimized Row Columnar | ✅ Sí (magic bytes) |
|
Avro |
.avro | Apache Avro | ✅ Sí (magic bytes) |
$3 | Formato | Extensiones | Uso Común | Auto-detección |
|---------|------------|-----------|----------------|
|
SQLite |
.sqlite,
.db | Bases de datos SQLite | ✅ Sí (magic bytes) |
$3 | Formato | Extensiones | Uso Común | Auto-detección |
|---------|------------|-----------|----------------|
|
SPSS |
.sav | IBM SPSS Statistics | ❌ Por extensión |
|
SAS |
.sas7bdat | SAS datasets | ❌ Por extensión |
|
Stata |
.dta | Stata data files | ❌ Por extensión |
> 🆕 Novedad v1.1.0 : +10 formatos nuevos (HTML, YAML, NDJSON, Feather, ORC, Avro, SQLite, SPSS, SAS, Stata)
---
🔧 Instalación
$3 #### Node.jsbashVerificar instalación `
#### PythonbashVerificar instalación (cualquiera de estos)
Debe ser Python 3.8 o superior `
$3
`
bashGlobal (recomendado)
O local en tu proyecto `
$3
`
bashOpción 1: Automático (recomendado)
Opción 2: Manual
En algunos sistemas: `
---
🚀 Uso Rápido
$3
`
bashConversión simple
Con opciones
Múltiples archivos
Ver ayuda `
$3
`
javascript// Conversión simple
// Con opciones avanzadas
console.log(
${result.rows} filas → ${result.compression_ratio}% compresión
);`
---
📚 Guía Completa CLI
$3 Convierte un archivo a formato Parquet.
`
bash [opciones]Alias: ultra-parquet-converter c `
Opciones:
-o, --output
- Archivo de salida personalizado-v, --verbose - Modo detallado con logs--streaming - Modo streaming para archivos >100MB--no-repair - Desactivar auto-reparación--no-normalize - Desactivar auto-normalización--benchmark - Mostrar métricas de performance--compression - Tipo de compresión (snappy, gzip, brotli, none)Ejemplos:
`bashBásico
Con salida personalizada
Archivo grande con streaming
Con benchmark
Sin auto-reparación `Salida ejemplo:
✓ Python instalado (comando: py)
📊 Resultados:
Archivo origen: ventas.csv
⚡ Benchmark:
Velocidad: 53,590 filas/s
---
$3 Convierte múltiples archivos usando patrones glob.
bash [opciones]Alias: ultra-parquet-converter b `Opciones:
- Directorio de salida (default: ./output)-v, --verbose - Modo verbose--streaming - Activar streaming para todos los archivosEjemplos:
`bashTodos los CSV del directorio actual
Archivos en subdirectorio
Con streaming y verbose
Múltiples extensiones (requiere shell expansion) `Salida ejemplo:
Archivos encontrados: 12
✓ ventas_2024.csv → 82% compresión
📊 Resumen del Batch:
✅ Exitosos: 12
---
$3 Inspecciona la estructura de un archivo sin convertirlo.
bashAlias: ultra-parquet-converter a `Ejemplos:
bashAnalizar CSV
Analizar base de datos
Analizar archivo desconocido `Salida ejemplo:
✓ Análisis completado
📋 Información General:
Nombre: datos.csv
📊 Schema:
id int64
---
$3 Realiza pruebas de rendimiento con múltiples iteraciones.
bash [opciones] `Opciones:
- Número de iteraciones (default: 3)--streaming - Probar con streaming activadoEjemplos:
`bashBenchmark básico
Con 5 iteraciones
Probar streaming `Salida ejemplo:
Archivo: test.csv
✓ Iteración 1: 2.34s
📊 Resultados:
Filas procesadas: 125,430
---
$3 Muestra metadatos del archivo sin procesarlo.
bashAlias: ultra-parquet-converter i `Ejemplo:
bash`Salida:
Nombre: datos.csv
---
$3 Verifica la integridad de un archivo Parquet.
bash`Ejemplo:
bash`Salida si es válido:
✅ Archivo Parquet válido
📊 Información:
Filas: 125,430
---
$3 Instala las dependencias Python necesarias.
bash`---
💻 API JavaScript Detallada
$3 Convierte un archivo a formato Parquet.
Parámetros:
(string): Ruta del archivo a convertiroptions (object, opcional):output (string): Ruta del archivo de salidaverbose (boolean): Modo verbose con logsstreaming (boolean): Activar modo streamingautoRepair (boolean): Auto-reparación (default: true)autoNormalize (boolean): Auto-normalización (default: true)Retorna:
Promise
javascript`Ejemplos:
javascript// 1. Conversión simple
✓ ${result.rows} filas convertidas);// 2. Con todas las opciones
// 3. Archivo gigante (20GB)
console.log(
Procesados ${result.chunks_processed} chunks);Velocidad: ${Math.round(result.rows / result.elapsed_time)} filas/s);`---
$3 Analiza la estructura de un archivo.
Retorna:
javascriptconst analysis = await analyzeFile('datos.csv');
console.log(
Tipo: ${analysis.detected_type});Filas: ${analysis.rows});Columnas: ${analysis.columns});`---
$3 Realiza benchmark de conversión.
Retorna:
javascriptconst benchmark = await benchmarkConversion('test.csv', {
const speed = Math.round(benchmark.rows / benchmark.elapsed_time);
Velocidad: ${speed} filas/s);`---
$3 Valida un archivo Parquet.
Retorna:
javascriptconst validation = await validateParquet('output.parquet');
if (validation.valid) {
✓ Válido: ${validation.rows} filas);✗ Error: ${validation.error});`---
$3 Verifica instalación de Python.
Retorna:
javascriptconst check = await checkPythonSetup();
if (check.installed) {
✓ ${check.message});✗ Python no encontrado);`---
🔥 Casos de Uso Reales
$3
javascriptasync function etlPipeline(inputDir, outputDir) {
Procesando ${files.length} archivos...);✓ ${file}: ${result.compression_ratio}% compresión);etlPipeline('./raw-data', './processed');
`---
$3
javascriptfor (const dataset of datasets) {
data/${dataset}, {data/parquet/${dataset.replace('.csv', '.parquet')},${dataset}:); Errores corregidos: ${result.errors_fixed}); Columnas eliminadas: ${result.columns_removed}); Compresión: ${result.compression_ratio}%);`---
$3
bashScript Bash para analytics diarios
Convierte reportes Excel pesados
Convierte logs del servidor echo "✓ Reportes optimizados - Consultas 100x más rápidas"
`---
$3
javascriptasync function archiveHistoricalData() {*/ .csv');
Archivando ${files.length} archivos históricos...);Espacio ahorrado: ${(totalSaved / 1024 / 1024 / 1024).toFixed(2)} GB);archiveHistoricalData();
`---
$3
javascriptconsole.log(
Procesados ${result.chunks_processed} chunks);${result.rows.toLocaleString()} líneas de log);Tiempo: ${result.elapsed_time}s);Memoria usada: <300MB (gracias a streaming));`---
$3
javascriptconsole.log(
Base de datos migrada:); Filas: ${result.rows.toLocaleString()}); Tamaño SQLite: ${(result.input_size / 1024 / 1024).toFixed(2)} MB); Tamaño Parquet: ${(result.output_size / 1024 / 1024).toFixed(2)} MB); Reducción: ${result.compression_ratio}%);`---
$3
javascriptconsole.log(
Tabla extraída: ${result.rows} filas);`---
$3
javascript`---
📊 Benchmarks y Performance
$3 | Tamaño | Filas | Formato | Tiempo | Velocidad | Compresión |
$3 | Tamaño | Filas | Formato | Tiempo | Velocidad | Memoria |
*Con streaming activado
$3 | Tamaño | Filas | Formato | Tiempo | Velocidad | Memoria |
🔥 Sin streaming, estos archivos causarían "Out of Memory"
$3 | Archivo | Modo Normal | Modo Streaming |
---
🛠️ Características Avanzadas
$3 El conversor detecta y corrige automáticamente:
✅ Columnas vacías - Eliminadas automáticamente
✅ Tipos incorrectos - Detecta y convierte
✅ Filas duplicadas - Eliminadas
✅ CSVs corruptos - Salta líneas malas
Desactivar auto-reparación:
bash`---
$3 Normaliza automáticamente:
✅ Nombres de columnas
✅ Columnas constantes - Eliminadas
Desactivar auto-normalización:
bash`---
$3 El modo streaming se activa:
1. Manualmente con
Automáticamente si el archivo >100MB¿Cómo funciona?
javascriptconsole.log(
Procesados ${result.chunks_processed} chunks);`---
$3 Detecta formatos por:
1. Extensión (rápido)
2. Contenido (inteligente)
Magic bytes detectados:
---
🎯 Ventajas de Parquet | Característica | CSV | JSON | Excel | Parquet |Tamaño | 100% | 120% | 80% | 15-30% ⚡ |Velocidad lectura | 1x | 0.8x | 0.5x | 10-100x ⚡ |Compresión | ❌ | ❌ | ✅ | ✅✅✅ |Schema | ❌ | Parcial | ✅ | ✅ Fuerte |Columnar | ❌ | ❌ | ❌ | ✅ |Big Data | Lento | Lento | ❌ | ✅ Optimizado |
Ejemplo real:
---
🐛 Solución de Problemas
$3
bashVerifica instalación
Si no está instalado: Windows: https://python.org (marca "Add to PATH") macOS: brew install python Ubuntu: sudo apt install python3 python3-pip `---
$3
bashReinstalar automáticamente
O manualmente
Linux/macOS puede necesitar pip3 `---
$3
bashActivar modo streaming
O aumentar memoria Node.js `---
$3
bashInstalar dependencias Node.js
Si instalaste globalmente `---
$3
bashEl auto-repair debería solucionarlo, pero si no: 1. Verifica encoding (debe ser UTF-8) 2. Activa verbose para ver errores
3. Si falla, reporta el issue con el archivo de ejemplo `---
🤝 Contribuir ¡Las contribuciones son bienvenidas!
$3
$3
$3 Ver CONTRIBUTING.md para más detalles.
---
📝 Licencia Apache-2.0 License - ver LICENSE
---
🙏 Agradecimientos
$3 Apache Arrow - Motor columnar ultra-rápidoPandas - Manipulación de datos en PythonPyArrow - Interfaz Python para ArrowNumPy - Computación numérica
$3 openpyxl - Lectura Excellxml - Parsing XML/HTMLPyYAML - Parsing YAMLfastavro - Apache Avropyreadstat - SPSS, SAS, Stata
$3 Commander.js - CLI frameworkChalk - Colores en terminalOra - Spinners animados---
📧 Soporte y Contacto
$3 GitHub Issues
$3 GitHub Discussions
$3 Email : electronicatodo2006@gmail.comCreador : Hepein Oficial x Brashkie---
📈 Roadmap
$3
$3
$3 ---
⭐ Estadísticas - Formatos soportados : 19Líneas de código : ~2,500Tests : Integración completaPlataformas : Windows, Linux, macOSPython : 3.8+Node.js : 18+
---
🏆 Comparación con Alternativas | Feature | ultra-parquet-converter | pandas.to_parquet | other-converter |19 | 1 | 6 |✅ | ❌ | ❌ |✅ | ❌ | ❌ |✅ Avanzado | ❌ | ✅ Básico |✅ Contenido | ❌ | ✅ Extensión |✅ | ❌ | ❌ |✅ | ❌ | ✅ |
---
Hecho con ❤️ para la comunidad de Data Engineering
Creador: Hepein Oficial x Brashkie
⭐ Si te gusta este proyecto, dale una estrella en GitHub !
---
Versión : 1.1.0 Última actualización : 25 de Noviembre, 2025 Licencia : Apache-2.0 NPM : ultra-parquet-converter