Replies: 1 comment 2 replies
-
|
@xjtupy If I understand correctly, you want to separate page_data into different sections based on its content or size. You can try using the HTMLHeaderTextSplitter or the RecursiveCharacterTextSplitter. |
Beta Was this translation helpful? Give feedback.
-
@feijoes What I want to achieve is: load any web page content without knowing the structure of the web page. However, there are two problems with the web page content returned by the code given above. First, the returned web page content becomes a string, without the clear segmentation effect of the web page content. Second, the returned web page content has the error of sticking the content together, such as 'categoriasEletrodomésticosTVsSmartphonesInformáticaMóveisColchõesAr' |
Beta Was this translation helpful? Give feedback.
-
|
@xjtupy maybe what what you could try is fetching the HTML directly using the import requests
from langchain.document_loaders import UnstructuredHTMLLoader
url = 'https://www.gazin.com.br/'
response = requests.get(url)
html_content = response.text # Raw HTML content
loader = UnstructuredHTMLLoader(file_path=None, content=html_content)
documents = loader.load() |
Beta Was this translation helpful? Give feedback.
-
Checked other resources
Commit to Help
Example Code
Description
The web page content obtained by executing the above code is as follows：
Details
'Gazin | Sua Loja de Telefonia, Eletrodomésticos e Muito MaisOlá! Sou o Téo da Gazin, seja bem-vindo!ContatosMeus pedidosPague sua parcela da lojaInforme seu CEPVeja as melhores formas de entrega para o seu CEP.OKSelecione CEPs cadastradosFazer LoginOlá! 😄Entre ou cadastre-seentrarNovo aqui? Cadastre-seMinha contaMeus pedidos00Carrinho vazioPague sua parcela da lojaTodas categoriasEletrodomésticosTVsSmartphonesInformáticaMóveisColchõesAr e VentilaçãoEletroportáteisEsporte e LazerAr e VentilaçãoBeleza e SaúdeCelulares e SmartphonesColchões e AcessóriosEletrônicosEletrodomésticosEletroportáteisInformáticaMóveisTV e VídeoTodas as CategoriasAr e VentilaçãoAquecedoresAr CondicionadoClimatizadoresKits de InstalaçãoVentiladoresUmidificadoresBeleza e SaúdeAparadores de cabelo e barbaBalançasChapinhaEscova de CabeloSecador de cabeloCelulares e SmartphonesSmartphonesAcessórios para CelularesCelulares BásicosColchões e AcessóriosColchõesColchões CasalColchões InfantilColchões King SizeColchões Queen SizeColchões SolteiroCamas BoxCamas Box CasalCamas Box KingCamas Box QueenCamas Box SolteiroBase Cama BoxTravesseirosEletrônicosAcessórios para TV e VídeoAntenasÁudioCaixas de SomCaixas de Som PortáteisMini SystemRádioHeadsets e Fones de OuvidoConversores DigitaisSoundbarsTVsSmart TVsTVs HDTVs Full HDTVs 4KTVs 8KVídeo-GamesEletrodomésticosAdega de VinhosAr CondicionadoBebedourosCentrífugasCervejeiraCoifas e DepuradoresCooktopsFogõesFornosFreezersFrigobarGeladeiras RefrigeradoresLava-LouçasLava e SecaMáquinas de LavarMicro-ondasTanquinhosEletroportáteisAspiradoresBatedeirasPurificador de ÁguaCafeteirasChaleiras ElétricasCrepeiraChurrasqueirasEspremedores de FrutaFerro de PassarFritadeiras ElétricasGrill, Sanduicheiras e TorradeirasKit de EletroportáteisLavadora de Alta PressãoLiquidificadores e MixersMáquinas de CosturaPanelas ElétricasProcessadores de AlimentosEsporte e LazerBicicletasCampingMusculação e FitnessPraia e PiscinaTendas e GazebosInformáticaComputadores DesktopAll in OneComputadoresEquipamentos de RedeModens e RoteadoresRepetidores de SinalSwitchesHeadsets e Fone de ouvidoImpressoras e MultifuncionaisImpressorasMultifuncionaisScannersSuprimentos de impressãoMonitoresMouses, Teclados e ControlesMousesTecladosNotebooksPeçasProjetoresProteção ElétricaEstabilizadoresFiltros de linhaNobreaksTabletsMóveisMóveis para EscritórioCadeirasMesas e EscrivaninhasMóveis para Copa e CozinhaArmáriosBalcõesBancos para CozinhaCadeiras para CozinhaConjuntos de CozinhaMesasTamposMóveis para Área ExternaBancos e cadeirasMóveis para Área de ServiçoArmários MultiusoTábuas de PassarMóveis para o QuartoBerçosCabeceirasCamasColchões e AcessóriosCômodasCriados-MudosGuarda-Roupa / RoupeiroMóveis Para Quarto de BebêMóveis para a SalaAparadoresCadeiras DecorativasCristaleirasEstantes para TVsMesas de CentroPainéis para TVsSofásTV e VídeoSmart TVsTVs 4KTVs 8KTVs Full HDTVs HDEstantes para TVsGamersCadeiras GamersFones e Headsets GamersGabinetes GamersKits de Teclado e Mouse GamerMesas GamersMicrofones GamersMonitores GamersMouses GamersNotebooks GamersTeclados GamersWebcans GamersAutomaçãoBalançasCalculadorasImpressora TérmicaLeitoresAutomotivoAcessórios para MotosCapacetesCasa e SegurançaCâmeras de SegurançaCofresInfantilAlimentação InfantilCadeirinha para AutomóvelCamas InfantisCarrinhos de BebêCarros a Pedal e QuadriciclosVelotrol e TriciclosFerramentasAramesAcessórios de FerramentasFerramentas ElétricasTelefoniaCelulares e SmartphonesSmartphonesCelulares BásicosAcessórios para celularesTelefonia FixaTelefonia RuralAparelhosUtilidade DomésticaMaterial de LimpezaUtensílios de CozinhaPanelasTodas as CategoriasAr e VentilaçãoBeleza e SaúdeCelulares e SmartphonesColchões e AcessóriosEletrônicosEletrodomésticosEletroportáteisEsporte e LazerInformáticaMóveisTV e VídeoGamersAutomaçãoAutomotivoCasa e SegurançaInfantilFerramentasTelefoniaUtilidade DomésticaPromoções ImperdíveisConfira mais promoçõesGazin tem muito maisNós queremos estar com você em todos os momentos especiais da sua vida. Conheça nossos outros serviços.TV GazinDe A a Z, conectada com você.ConsórciosTrabalhando para que grandes sonhos se tornem realidade.SegurosUma seguradora voltada para demandas de móveis e eletrodomésticos.CréditoCréditos concedidos através de produtos financeiros.AtacadoProdutos em atacado com descontos inacreditáveis.Aproveite nossas promoções!Cadastre seu e-mail e receba ofertas exclusivasquero receberPague em até 12x sem jurosEntregamos em todo Brasil!Compra 100% segura! 58 anos de históriaAtendimento0800 643 6809Segunda à sexta das 08:00h às 20:00hSábado das 08:00h às 16:00hDomingo e feriados das 08:00h às 14:00hInstitucionalA empresaNossas lojasTrabalhe conoscoDúvidasBlack FridayComo comprarEsqueci minha senhaCupons de descontoFormas de pagamento\xa0Acompanhar pedidoTroca e devoluçãoPague sua parcela da lojaPolítica de EntregaPrivacidade e SegurançaPolitica de Retenção de DadosFormas de pagamento\xa0Preços e condições de pagamento exclusivos para compras via Internet. Vendas sujeitas à analise e confirmação de dados. Fica garantida a empresa a eventual retificação das ofertas e erros de digitação que possam ter sido veiculados, podendo ser estornado o valor da compra.Gazin Indústria e Comércio De Móveis e Eletrodomésticos LTDA - CNPJ: 77.941.490/0294-80Endereço: ROD PR 082 SN - Centro - Douradina-PR - CEP: 87485-000Coletamos dados para melhorar o desempenho e segurança do site, além de personalizar conteúdos. Verifique mais informações em nossa Política de Privacidade.Entendi e fechar'How to implement segmented web page data loaded by WebBaseLoader and not connect them together？
System Info
System Information
Package Information
Other Dependencies
Beta Was this translation helpful? Give feedback.
All reactions