Milvus em 2021 - Ano em análise

2021 foi um ano fantástico para o Milvus enquanto projeto de código aberto. Gostaria de agradecer a todos os colaboradores e utilizadores do Milvus, bem como aos parceiros, por terem contribuído para um ano tão extraordinário.

Para mim, um dos momentos mais impressionantes deste ano foi o lançamento do Milvus 2.0. Antes de iniciarmos este projeto, apenas alguns membros da comunidade acreditavam que poderíamos fornecer a base de dados vetorial mais avançada do mundo, mas agora tenho o orgulho de dizer que o Milvus 2.0 GA está pronto para produção.

Já estamos a trabalhar num novo e excitante conjunto de desafios para 2022, mas achei que seria divertido celebrar alguns dos grandes passos que demos no ano passado. Aqui estão alguns:

Crescimento da comunidade

Primeiro, aqui está um resumo das estatísticas da comunidade do GitHub e do Slack. Até o final de dezembro de 2021:

• Os colaboradores aumentaram de 121 em dezembro de 2020 para 209 em dezembro de 2021 (aumento de 172%)

• As estrelas aumentaram de 4828 em dezembro de 2020 para 9090 em dezembro de 2021 (aumento de 188%)

• Os garfos aumentaram de 756 em dezembro de 2020 para 1383 em dezembro de 2021 (aumento de 182%)

• Os membros do Slack aumentaram de 541 em dezembro de 2020 para 1233 em dezembro de 2021 (aumento de 227%)

img

Governação e defesa da comunidade

Quando Milvus se tornou open source pela primeira vez em outubro de 2019, tínhamos uma equipa relativamente pequena e uma pequena comunidade, pelo que naturalmente o projeto era governado principalmente por alguns membros da equipa principal. Mas desde então a comunidade cresceu significativamente, percebemos que precisávamos de um sistema melhor para gerir o projeto para que pudéssemos acolher novos colaboradores de forma mais eficiente.

Como resultado, nomeámos 5 novos mantenedores em 2021 para acompanhar o trabalho em curso e os problemas reportados para garantir que são revistos e integrados atempadamente. Os IDs do GitHub dos cinco mantenedores são @xiaofan-luan; @congqixia; @scsven; @czs007; @yanliang567. Por favor, sinta-se à vontade para contactar estes mantenedores se precisar de ajuda com os seus PRs.

Também lançámos o Milvus Advocate Program e damos as boas-vindas a mais pessoas que se juntem a nós para partilharem as suas experiências, oferecerem ajuda aos membros da comunidade e obterem reconhecimento em troca.

img

(Imagem: Colaboradores do GitHub do Milvus, feita com o projeto dynamicwebpaige)

Anúncios e marcos do projeto Milvus

1. Número de versões lançadas：14

• Lançamento do Milvus 1.0
• Milvus 2.0 versão RC
• Milvus 2.0 versão PreGA

1. SDKs suportados pelo Milvus v2.0.0 GA

• PyMilvus (Disponível)

• Go SDK (Disponível)

• Java SDK (Disponível)

• Node.js SDK (Disponível)

• SDK C++ (em desenvolvimento)

3. Lançamento de novas ferramentas Milvus:

• Milvus_CLI (linha de comando do Milvus)
• Attu (GUI de gestão do Milvus)
• Milvus K8s Operator

4. Milvus tornou-se um projeto de graduação da LF AI & Data Foundation.

5. Milvus: Um sistema de gestão de dados vectoriais construído para fins específicos publicado no SIGMOD'2021).

6. Lançamento do Fórum da Comunidade Milvus.

Eventos da comunidade

Organizámos e participámos em muitos eventos este ano para que os membros da nossa comunidade global se possam encontrar (principalmente virtualmente), apesar da atual situação da Covid-19. No total, participámos em 21 conferências e fomos anfitriões:

• 6 reuniões técnicas
• 7 Horas de expediente Milvus
• 34 Webinars
• 3 Meetups offline

Estamos a planear mais eventos para 2022. Se quiser participar nos eventos perto de si, consulte a categoria Eventos e Meetup no nosso fórum da comunidade para ver os próximos eventos e as suas localizações. Se quiser ser nosso orador ou anfitrião em eventos futuros, contacte-nos através de community@milvus.io.

Rumo a 2022 - Roteiro e anúncio

Comunidade:

1. Melhorar a adesão ao Projeto Milvus para atrair/eleger mais mantenedores e committers para construir a comunidade em conjunto.
2. Lançar o Programa de Mentoria para oferecer mais ajuda aos recém-chegados que queiram juntar-se à comunidade e contribuir.
3. Melhorar a governação dos documentos da comunidade, incluindo documentos técnicos, guias do utilizador e documentos da comunidade. Em 2022, esperamos que os membros da nossa comunidade possam completar um Manual Milvus em conjunto para que as pessoas possam aprender a usar melhor o Milvus.
4. Reforçar a cooperação e a interação com outras comunidades de código aberto, incluindo comunidades de IA a montante e comunidades como Kubernetes, MinIO, etcd e Pulsar, nas quais o Milvus se baseia.
5. Tornarmo-nos mais orientados para a comunidade, realizando reuniões SIG mais regulares. Para além do sig-pymilvus que está a decorrer atualmente, o nosso plano é ter mais SIGs em 2022.

Projeto Milvus:

1. Afinação do desempenho

O excelente desempenho sempre foi uma razão importante para os utilizadores escolherem o Milvus. Em 2022, planeamos iniciar um projeto de otimização do desempenho para aumentar o rendimento e o atraso em pelo menos duas vezes. Também planeamos introduzir réplicas de memória para melhorar o rendimento e a estabilidade do sistema em pequenos conjuntos de dados, e apoiar a GPU para acelerar a criação de índices e o serviço online.

2. Funcionalidade

O Milvus 2.0 já suportou funcionalidades como a pesquisa híbrida vetorial/escalar, a eliminação de entidades e as viagens no tempo. Planeamos suportar as seguintes funcionalidades nas próximas duas grandes versões:

• Suporte para tipos de dados mais ricos: String, Blob, Geospatial, etc.
• Controlo de acesso baseado em funções
• Desduplicação de chaves primárias
• Suporte para pesquisa de intervalo em vetores (pesquisa onde a distância < 0,8)
• Suporte a APIs restritas e SDKs de outras linguagens

3. Facilidade de utilização

No próximo ano, planeamos desenvolver várias ferramentas para ajudar a implementar e gerir melhor o Milvus.

• Milvus up: Um componente de implementação que ajuda os utilizadores a instalar o Milvus num ambiente offline sem o cluster K8s. Ele também ajuda a implantar monitoramento, rastreamento e outros desenvolvimentos do Milvus.

• Attu - Vamos continuar a melhorar o Attu como o nosso sistema de gestão de clusters. Estamos a planear adicionar funcionalidades como o diagnóstico de saúde e a otimização de índices.

• Milvus DM: Ferramenta de migração de dados para migrar vectores de outras bases de dados ou ficheiros para o Milvus. Iremos primeiro suportar FAISS, HNSW, Milvus 1.0/2.0, e depois outras bases de dados como MySQL e Elasticsearch.

Sobre o autor

Xiaofan Luan, sócio e Diretor de Engenharia da Zilliz, e membro do Comité Técnico Consultivo da LF AI & Data Foundation. Trabalhou sucessivamente na sede da Oracle nos EUA e na Hedvig, uma startup de armazenamento definido por software. Juntou-se à equipa da Alibaba Cloud Database e foi responsável pelo desenvolvimento da base de dados NoSQL HBase e Lindorm. Luan obteve o seu mestrado em Engenharia Informática Eletrónica na Universidade de Cornell.