jjzjj

scraping

全部标签

javascript - JSON Scraping - 通过 Javascript 将军事时间转换为标准时间

我正在从url中抓取JSON数据。时间是军用时间,我想知道在客户端检索后是否有办法将其转换为标准时间。这是JSON:[{SaturdayClose:"21:00",SaturdayOpen:"10:00",SundayClose:"12:00",SundayOpen:"18:00",WeekdayClose:"21:00",WeekdayOpen:"10:00"}]这是我的index.html:Sun:${SundayOpen}a-${SundayClose}pMon-Sat:${SaturdayOpen}a${SaturdayClose}p这会返回这种类型的丑陋:周日:上午18:00

PHP Scraped 内容在底部加载

请考虑以下网页代码:");$table=substr($output,$start,($end-$start));echo($table);?>!!!!!!!!我希望页面按此顺序加载,但它似乎加载为:!!!!!!!TablefromURL现在我明白从另一个URL中提取内容比简单地呈现一些'!!!!'需要更长的时间,但是由于PHP在服务器端运行并且我相信同步运行我无法解释为什么会发生这种情况。如果有人可以解释情况并提出解决方案,我将不胜感激。编辑:我现在通过做一些Jquery来重新调整文档准备好的div的顺序来解决这个问题。感觉很老套,我不喜欢它,但现在它必须这样做。如果有人能找到更好的

php - Facebook Scraped URL 404 欢迎使用 Nginx 错误 [Ningx + PHP-FPM]

只是我的问题是:当我在Facebook上分享我的网站url时,它显示“404NotFound”标题或“WelcometoNingx”标题。我是Ningx的新手,我正在使用DebainLinux(Ningx+PHP-FPM)配置。此服务器上托管的所有站点都存在Facebook抓取信息的问题(开放图谱)https://developers.facebook.com/tools/debug/og/object?q=http%3A%2F%2Fopenspeedtest.com%2Fog:urlhttp://openspeedtest.com/og:typewebsiteog:titleWelc

php - 谷歌搜索 : Scrape results page in PHP for total results

是否可以使用PHP抓取Google搜索结果页面以提取找到的搜索结果总数?如果是这样,我该怎么做呢?谢谢 最佳答案 尝试使用phpsimplehtmlparser$search_query='google';$url=sprintf('http://www.google.com/search?q=%s',$search_query);$html=file_get_html($url);$results=$html->find('#resultStats/b',2)->innertext;echosprintf('Googlefound

java - 获取 javax.net.ssl.SSLException : Received fatal alert: protocol_version while scraping data using Jsoup

我正在尝试使用Jsoup从站点获取数据。该网站的链接是Clickhere!这是我获取数据的代码。`//WARNING:doitonlyifsecurityisn'timportant,otherwiseyouhave//tofollowthisadvices:http://stackoverflow.com/a/7745706/1363265//CreateatrustmanagerthatdoesnotvalidatecertificatechainsTrustManager[]trustAllCerts=newTrustManager[]{newX509TrustManager()

将页面从scrape-it npm分配给变量返回的结果承诺{< pending> }

我正在尝试将Scrape-IT用作我今天早些时候从NPM下载的依赖性。我能够收回我想要的内容,但需要将结果存储在变量中,而不是通过回调来处理它们。使用Scrape-It文档中的“示例”,当我尝试以下操作时:varmyVar=scrapeIt("http://ionicabizau.net",{title:".headerh1",desc:".headerh2",avatar:{selector:".headerimg",attr:"src"}}).then(page=>{returnpage;});console.log(myVar);我得到结果:Promise{<dending>

python - 错误 1 ​​(HY000) : Can't create/write to file './scraping/db.opt' (Errcode: 2)

通过“使用Python进行Web抓取”,我参与了其中使用MySQL的部分。在Google上找不到任何对此错误消息特别有用的信息-你们中的任何人都可以帮我解码吗?(并希望弄清楚如何修复它?!)我在输入命令后收到错误:ALTERDATABASEscrapingCHARACTERset=utf8mb4COLLATE=utf8mb4_unicode_ci;输出:ERROR1(HY000):Can'tcreate/writetofile'./scraping/db.opt'(Errcode:2)mysql> 最佳答案 你必须确保你的数据库被命

php - 如何抓取网站上的动态内容并保存?

例如我需要从http://gmail.com/中抓取免费存储数量:Over2757.272164megabytes(andcounting)offreestorage.然后将这些数字存储在MySql数据库中。如您所见,该数字正在动态变化。有没有一种方法可以设置一个服务器端脚本,每次更改时都会获取该数字,并将其保存到数据库中?谢谢。 最佳答案 由于Gmail不提供任何API来获取此信息,听起来您想做一些事情webscraping.Webscraping(alsocalledWebharvestingorWebdataextractio

python - Web Scraping Rap lyrics on Rap Genius w/Python

我有点像一个编码新手,我一直在努力从说唱天才身上抓取Andre3000的歌词,http://genius.com/artists/Andre-3000,通过使用BeautifulSoup(一个用于从HTML和XML文件中提取数据的Python库)。我的最终目标是以字符串格式获取数据。这是我目前所拥有的:frombs4importBeautifulSoupfromurllib2importurlopenartist_url="http://rapgenius.com/artists/Andre-3000"defget_song_links(url):html=urlopen(url).r

php - 如何使用简单的 html dom 解析器从 scrape 中抓取特定数据

我正在尝试从网页中抓取数据,但我需要获取thislink中的所有数据.include'simple_html_dom.php';$html1=file_get_html('http://www.aktive-buergerschaft.de/buergerstiftungen/unsere_leistungen/buergerstiftungsfinder');$info1=$html1->find('b[class=[whattoenterherer]',0);我需要从thissite中获取所有数据.BürgerstiftungLebensraumAachenrechtsfähige